免费GPU Google Colab保姆级使用攻略,实现数据集快速下载


在这里插入图片描述


Colab(Colaboratory)是一个基于云的交互式开发环境,专为数据科学、机器学习和人工智能任务设计。Colab 由 Google 提供,允许用户在浏览器中直接编写、运行、共享和协作处理 Python代码,特别是那些涉及大数据处理、计算密集型算法或使用 GPU/TPU 加速的代码。

Python环境 + 免费GPU


目录

  • 一、Colab基本使用
    • 1.1 准备工作
    • 1.2 Jupyter创建
    • 1.3 代码执行程序连接
    • 1.4 代码运行
    • 📣 注意事项
  • 二、数据上传
    • Kaggle API 进行下载(推荐)

一、Colab基本使用

1.1 准备工作

谷歌账户申请,主要是需要能接受短信的手机号码,具体的就不在这里展开了,当然申请谷歌账号之前,你还得先有能力访问谷歌(科学上网),这个我想网上教程很多…

1.2 Jupyter创建

按下图所示,即可新建笔记本。
在这里插入图片描述

1.3 代码执行程序连接

点击连接按钮即可连接到代码执行程序并分配实例空间,这时我们可以查看相应RAM和磁盘资源,或者更改运行时类型(选择GPU
在这里插入图片描述

1.4 代码运行

Colab的默认文件路径是 /content。Colab一般来说会搭配Google Drive使用,但其创建条件比较苛刻,很多小伙伴并不拥有,就比如我。如果有,那么就可以考虑挂载谷歌云盘。

from google.colab import drive
drive.mount('/content/gdrive')

并更换运行目录

import os
os.chdir("/content/gdrive/")

✅ 查看GPU信息

!nvidia-smi

Python依赖包安装

!pip install <package>

📣 注意事项

虽然Google Colab为用户提供免费的GPU,但资源的使用会受到限制。
以下几种情况会导致断开连接或者报错,那么实例空间(/content目录下)内的所有资源都会被释放:

  1. 模型训练的过程中超过了内存或磁盘的限制
  2. 空闲状态过长(无互动操作或正在执行的代码块)
  3. 连接时长到达上限(免费用户最长连接12小时)
  4. 关闭浏览器

二、数据上传

如果想要使用 Colab 训练自己的数据集(非 Colab 自带数据集),那么先上传数据集到 Colab 平台。

Kaggle API 进行下载(推荐)

借助 Kaggle API 就可以实现数据集的高速下载

  • 获取 API Token

    成功Kaggle 后,点击头像->Settings->Account->API->Create New Token,会生成一个 kaggle.json 文件,包含 username 和 key 信息。

在这里插入图片描述

  • 点击 Copy API command
    在这里插入图片描述

  • 下载数据集

    import json
    token = {"username":"XXX","key":"XXXXXXXXXXXX"}
    with open('/content/kaggle.json', 'w') as file:
      json.dump(token, file)
    
    !mkdir -p ~/.kaggle
    !cp /content/kaggle.json ~/.kaggle/
    !chmod 600 ~/.kaggle/kaggle.json
    !kaggle config set -n path -v /content
    
    !kaggle datasets download -d jiayuexu001/transportation0721
    

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/567259.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

CV每日论文--2024.4.22

1、BLINK: Multimodal Large Language Models Can See but Not Perceive 中文标题&#xff1a;BLINK&#xff1a;多模态大型语言模型可以看到但无法感知 简介&#xff1a;我们引入了Blink&#xff0c;这是一个全新的多模态语言模型&#xff08;LLMs&#xff09;基准&#xff0…

2024年城市规划与土木建筑国际学术会议(ICUPCA 2024)

2024年城市规划与土木建筑国际学术会议(ICUPCA 2024) 2024 International Conference on Urban Planning and Civil Architecture 一、【会议简介】 2024年城市规划与土木建筑国际学术会议&#xff0c;将汇集全球顶尖专家学者进行深入探讨。 这次会议的主题为“未来城市与土木…

上位机图像处理和嵌入式模块部署(树莓派4b开机启动脚本)

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 编写好程序之后&#xff0c;一般要求程序开机启动后就可以运行。所以这个时候&#xff0c;我们一般就会把程序流程放在开发板的启动脚本当中。如果…

Web入门-Tomcat

黑马程序员JavaWeb开发教程 文章目录 一、简介1、Web服务器2、Tomcat 二、基本使用三、入门程序解析 一、简介 1、Web服务器 对HTTP协议操作进行封装&#xff0c;简化web程序开发部署Web项目&#xff0c;对外提供网上信息浏览服务 2、Tomcat 概念&#xff1a;Tomcat是Apach…

入门指南:从零开始学习ReactJS

&#x1f482; 个人网站:【 摸鱼游戏】【神级代码资源网站】【工具大全】&#x1f91f; 一站式轻松构建小程序、Web网站、移动应用&#xff1a;&#x1f449;注册地址&#x1f91f; 基于Web端打造的&#xff1a;&#x1f449;轻量化工具创作平台&#x1f485; 想寻找共同学习交…

Kafak详解(1)

简介 消息队列 为什么要有消息队列 图-1 消息队列的使用 消息队列 1)消息Message&#xff1a;网络中的两台计算机或者两个通讯设备之间传递的数据。例如说&#xff1a;文本、音乐、视频等内容。 2)队列Queue&#xff1a;一种特殊的线性表(数据元素首尾相接)&#xff0c;特…

【React】Day6

项目搭建 基于CRA创建项目 CRA是一个底层基于webpack快速创建React项目的脚手架工具 # 使用npx创建项目 npx create-react-app react-jike# 进入到项 cd react-jike# 启动项目 npm start调整项目目录结构 -src-apis 项目接口函数-assets 项目资源文件&…

CANN 开发工具介绍

1、ATC工具 ATC&#xff08;Ascend Tensor Compiler&#xff09;是异构计 算架构CANN体系下的模型转换工具&#xff0c; 它可 以将开源框架的网络模型以及Ascend IR定义 的单算子描述文件&#xff08;json格式&#xff09;转换为昇腾 AI处理器支持的.om格式离线模型。 2、精度…

数新大数据平台迁移解决方案

随着企业的发展和数字化转型的不断深入&#xff0c;企业数据平台建设过去很多年&#xff0c;技术和架构过于落后&#xff0c;原有的大数据平台越来越难以满足业务需求。而在新的技术架构大数据平台的升级过程中&#xff0c;对数据和任务迁移的一致性、完整性有很高的要求&#…

JS绘制电流闪烁流动效果

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>电流闪动动效</title><style>.sd1 {dis…

linux信号机制分析

概念 信号递达&#xff1a;实际执行信号的处理动作就是信号递达 信号未决&#xff1a;信号从产生到递达之间的状态就是信号未决&#xff08;未决就是没有解决&#xff09; 收到某信号后&#xff0c;把未决信号集中的此信号置为1&#xff08;1表示未解决的信号&#xff09;&a…

kubeadmin搭建自建k8s集群

一、安装要求 在开始之前&#xff0c;部署Kubernetes集群的虚拟机需要满足以下几个条件&#xff1a; 操作系统 CentOS7.x-86_x64硬件配置&#xff1a;2GB或更多RAM&#xff0c;2个CPU或更多CPU&#xff0c;硬盘30GB或更多【注意master需要两核】可以访问外网&#xff0c;需要…

【QT进阶】Qt Web混合编程之使用ECharts显示各类折线图等

往期回顾 【QT进阶】Qt Web混合编程之QWebEngineView基本用法-CSDN博客 【QT进阶】Qt Web混合编程之CMake VS2019编译并使用QCefView&#xff08;图文并茂超详细版本&#xff09;-CSDN博客【QT进阶】Qt Web混合编程之html、 js的简单交互-CSDN博客 【QT进阶】Qt Web混合编程之使…

什么是信息熵?

什么是信息&#xff1f; ​ 我们在日常生活中吃瓜的时候总会说信息量太大了&#xff0c;那么这个信息是怎么个意思呢&#xff1f;我们在听到的时候很多原因都是因为这个消息是新鲜的&#xff0c;我们没见过的&#xff0c;没听说过&#xff0c;所以就说是信息量大。 信息熵 2…

YOLOv9训练结果分析->mAP、Precision、Recall、FPS、Confienc、混淆矩阵分析

简介 这篇博客&#xff0c;主要给大家讲解我们在训练yolov9时生成的结果文件中各个图片及其中指标的含义&#xff0c;帮助大家更深入的理解&#xff0c;以及我们在评估模型时和发表论文时主要关注的参数有那些。本文通过举例训练过程中的某一时间的结果来帮助大家理解&#xf…

【FineBI】强大处理、分析和可视化数据的工具

文章目录 前言功能丰富的数据处理深入的数据分析交互式的数据可视化协作与共享无缝的集成 总结 前言 在当今数据驱动的商业环境中&#xff0c;企业需要强大的工具来处理、分析和可视化数据&#xff0c;以便做出更明智的决策。FineBI就是这样一个工具&#xff0c;它是一个全面的…

维乐Angel Revo让你的骑行生活从此美得冒泡儿~重新定义『坐着的艺术』!

维乐「AngelRevo」美学系列坐垫荣获「2023年台北国际自行车展创新设计奖」是卓越品质和极致减碳的双重结合精品。底壳的YCut设计&#xff0c;前段的加长的透孔&#xff0c;减轻压迫&#xff0c;有效释放压力。在享受驰骋赛道的快感同时&#xff0c;提升舒适度。 这款坐垫采用了…

js获取某月往前推一年或半年的年月数组

前言 需求&#xff1a;需要显示某月份往前推一年或者半年的费用情况&#xff0c;显示到柱形图上&#xff0c;后台接口只返回有数据的年份&#xff0c;这就需要前端拿全部月份数组去比对并显示。 开始 上代码&#xff1a; // date:选择的月份,比如:2024-04,//n:半年或者1年,…

如何让复购率提升:亚马逊、Lazada、速卖通的营销技巧

跨境电商卖家必须抓住客户&#xff0c;而客户维护是提高复购率的关键。很多卖家热衷于吸引新客户&#xff0c;却忽略了旧客户的重要性。相较于投入广告和参与秒杀活动以吸引新客户&#xff0c;维护好旧客户并提高复购率的成本更低。然而&#xff0c;实现客户维护和复购率提升并…

Python获取上市公司报告,AI分析助力投资决策

折腾了几天&#xff0c;通过从巨潮信息网上获取上市公司的报告&#xff0c;然后实现调用大语言模型的API去分析报告内容&#xff0c;下面把相应的代码和过程分享给对这个感兴趣的兄弟姐妹们&#xff0c;希望能帮到大家。 1&#xff0c;首先去巨潮信息网首页&#xff0c;右上角…