Pycharm连接云算力远程服务器(AutoDL)训练深度学习模型全过程

前言:在上一篇windows搭建深度学习环境中,我试图使用笔记本联想小新air14的mx350显卡训练一个图像检测的深度学习模型,但是训练时长大概需要几天时间远超我的预期,所以我便选择租用GPU进行训练,在对多家平台对比后找到了经济实惠的AutoDL,接下来是我租用GPU–配置环境–连接Pycharm–训练模型的全过程,基于本人也是刚入门的新手,如果有不恰当的地方还请大家指教。

一、租用GPU

  • 首先进入官网AutoDL:https://www.autodl.com/home,注册登录(如果是学生还有优惠)
  • 点击算力市场
    在这里插入图片描述
  • 选择合适的计量方式,地区和GPU型号,
    (1)在选择地区时,一般选择距离自己最近的区,这样可以减少延迟,提高计算效率123。
    选择GPU
    (2)在选择GPU时,需要考虑GPU对应的地区,一般选择距离自己最近的区,整体区别不大。另外,GPU型号的选择也很重要,对应不同的显卡核心,不同的GPU型号的收费价格不同,越好的GPU收费越贵,看个人经济实力选择。
  • 选择镜像
    在本文中选择的是基础镜像,大家根据自己的项目要求选择合适的框架即可,
    在这里插入图片描述
  • 租用成功后界面
    在这里插入图片描述

二、配置环境

在这里我们首先选择无卡模式开机,顾名思义无卡模式开机即没有GPU有CPU开机(一般GPU被别人占满的时候,无卡模式还是依然能开机的),同时无卡模式只有0.1元/时,我们可以用它进行数据的传输和环境的配置,有卡模式就需要根据你所选择的配置进行收费,如选择的3090需要1.58元/时。
在这里插入图片描述

1、配置环境

(1)点击JupyterLab
在这里插入图片描述
(2)点击终端
在这里插入图片描述

  • 输入:vim ~/.bashrc

  • 点击i进入编辑模式

  • 开始进行编辑:输入i

  • 移动到文件的最后一行,加上source /root/miniconda3/etc/profile.d/conda.sh

  • 按Esc键,输入:wq,再回车(:q是推出不保存:q!是强制退出)
    输入bash后回车,即刷新一下
    在这里插入图片描述(3)进入环境:conda activate base
    创建新环境:conda create -n py37 python=3.7
    进入新环境,输入:conda activate py37
    (推出py37的代码示例:conda deactivate)
    在这里就可以根据项目需要配置相应的深度学习框架,我认为有三种方案,
    一是可以在conda环境下使用官网命令直接安装对应的包,如我的项目需要torch==1.12.0+cu113 torchvision==0.13.0+cu113 torchaudio==0.12.0就可以到Pytorch官网使用对应命令安装,但是我在安装过程中到最后总是被杀掉进程,所以在这里我使用的是第二种方法。
    二是可以使用远程连接工具xftp传输文件到云主机上进行离线安装,xftp下载链接
    三是可以直接将需要安装的包下载的本地电脑,再上传到租用主机的网盘上
    本文使用的是第二种方法,所以以下为第二种方法的具体步骤
    1、点击更多,点击无卡模式开机或有卡模式开机后会在ssh登录出现ssh登录指令和密码
    ssh登录指令格式如下
    ssh -p 123456 root@xxxxxx.xxxx.com

  • 用户名:root

  • 主机HOST:xxxxxx.xxxx.com(即@后的所有内容)

  • 端口号:123456
    在这里插入图片描述2、连接xftp

  • 首先新建文件

  • 名称可以随便起

  • 主机为xxxxxx.xxxx.com(即@后的所有内容)

  • 端口号为ssh -p 123456 root@xxxxxx.xxxx.com格式中的123456

  • 密码
    在这里插入图片描述连接后左侧为你电脑本机,右侧是云主机,在右侧打开你想要存放文件的文件夹,双击左侧本机文件即可将文件上传到云主机的对应文件夹。

在这里插入图片描述
3、离线安装
pytorch安装包路径
进入上传到的文件目录,使用pip命令安装
如我存放在了/root/autodl-fs文件夹下,首先在终端使用cd autodl-fs,使用ll可查看文件列表。
再使用pip 包的名称即可安装,包的名称可以使用tab自动补齐。
在这里插入图片描述4、jupyter页面更新(即在jupyter页面里增加一个基础环境:py38)

进入刚刚创建的虚拟环境,输入conda install ipykernel
再输入:ipython kernel install --user --name=py37
出现
在这里插入图片描述5、验证cuda是否可用 ***(到这里之前为了省钱都是无卡模式开机,为了验证环境是否配置成功需要先关机再开机,这次开机不要选择无卡模式了,需要根据你选择的配置进行按小时计费)***
进入notebook下的py37

import torchvision
import torch
print('你对应的torch的版本信息',torch.__version__)
print('返回true即为可用',torch.cuda.is_available())
# 1.12.0+cu113
# True

在这里插入图片描述

三、连接Pycharm

点击File,点击Settings,点击Python interpreter,点击小齿轮的Add
在这里插入图片描述
点击SSH interpreter,填写对应的Host和Username(即上文连接xftp的主机,用户名和端口号)
在这里插入图片描述
输入密码
在这里插入图片描述选择python和项目路径(一会会上传),如果你和我上文一样,新建了一个python3.7.1的conda环境则需要到/root/miniconda3/envs/py37寻找python
在这里插入图片描述

上传你的项目文件
在这里插入图片描述
开始连接,在下面会出现对应终端
在这里插入图片描述

在这里插入图片描述

四、训练模型

切换到项目存放的文件夹,执行python train.py && shutdown 我的训练模型代码放在train.py文件下,如果你的训练代码不在这里请自行修改。shutdown的作用是在代码运行结束后,云主机会自动关机,以防止再产生不必要消费。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/362380.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

在Arduino给自己的SSD1306 OLED显示定制Logo或者图片

我在使用Arduino上的SSD1306显示屏时,基本都用使用Adafruit的SSD1306库,但是Adafruit的开机logo实在没特色(如下图),如果在开机时,让自己的项目上显示自己的定制logo,甚至是照片(如果…

【蓝桥杯日记】复盘篇三——循环结构

前言 本篇内容是对循环结构进行复盘的,循环可谓是在基础阶段特别重要的东西,是三大结构(顺序结构、选择结构、循环结构)中最重要的结构之一。 目录 🍑1.找最小值 分析: 知识点: 代码如下 &…

Multi ElasticSearch Head插件基本操作

Multi ElasticSearch Head插件安装好之后我们可以进行一些基本的操作。 1、复合查询 因为ES提供了一些Restful风格的接口,可以让任何语言去调用,因此我们可以将之前的请求地址粘贴到Multi ElasticSearch Head插件里面,选择GET请求方式&#x…

【机器学习】监督学习算法之:线性回归

线性回归 1、引言2、线性回归2.1 定义2.2 基本原理2.3 公式2.4 实现2.5 代码示例 3、总结 1、引言 小屌丝:鱼哥,最近机器学习的文章写的不少啊。 小鱼:你还挺细心的哦。 小屌丝:那必须的,我要学习,我要成长…

【靶场实战】Pikachu靶场XSS跨站脚本关卡详解

Nx01 系统介绍 Pikachu是一个带有漏洞的Web应用系统,在这里包含了常见的web安全漏洞。 如果你是一个Web渗透测试学习人员且正发愁没有合适的靶场进行练习,那么Pikachu可能正合你意。 Nx02 XSS跨站脚本概述 Cross-Site Scripting 简称为“CSS”&#xff…

【大厂AI课学习笔记】1.3 人工智能产业发展(2)

(注:腾讯AI课学习笔记。) 1.3.1 需求侧 转型需求:人口红利转化为创新红利。 场景丰富:超大规模且多样的应用场景。主要是我们的场景大,数据资源丰富。 抗疫加速:疫情常态化,催生新…

微信小程序(二十七)列表渲染改变量名

注释很详细&#xff0c;直接上代码 上一篇 新增内容&#xff1a; 1.改变默认循环单元item变量名 2.改变默认循环下标index变量名 基础模板有问题可以先看上一篇 源码&#xff1a; index.wxml <view class"students"><view class"item"><te…

MFC串行化的应用实例

之前写过一篇MFC串行化的博文;下面看一个具体例子; 新建一个单文档应用程序;在最后一步,把View类的基类改为CFormView; 然后在资源面板编辑自己的字段; 然后到doc类的头文件添加对应变量, public:CString name;int age;CString sex;CString dept;CString zhiwu;CStrin…

Python+Selenium+Unittest 之selenium15--等待时间

在正常的自动化过程中&#xff0c;如果整篇代码中没有加等待时间的话&#xff0c;有时候可能页面跳转或者还没开始点击就执行到下一个流程了&#xff0c;这时候因为页面没有加载完毕&#xff0c;所以有可能会导致找不到对应的元素而报错&#xff0c;因此我们需要在整个代码流程…

C++语法学习

一、字符串 1.字符与整数的联系--ASCII表 0~9 :48~57 A~Z:65~90 a~z:97~122 字符与数字之间转换: 1.1字符转数字&#xff1a; 字符转数字&#xff1a; char c A;cout << c-A << endl; //输出0cout << (int)c << endl; //输出…

go并发编程-runtime、Channel与Goroutine

1. runtime包 1.1.1. runtime.Gosched() 让出CPU时间片&#xff0c;重新等待安排任务(大概意思就是本来计划的好好的周末出去烧烤&#xff0c;但是你妈让你去相亲,两种情况第一就是你相亲速度非常快&#xff0c;见面就黄不耽误你继续烧烤&#xff0c;第二种情况就是你相亲速度…

日志报错:Unexpected EOF read on the socket

记一次关于网关的问题及修复问题。 项目提测后&#xff0c;修改时web端页面出现502&#xff0c;查看后台服务日志发现&#xff1a; org.springframework.web.multipart.MultipartException: Failed to parse multipart servlet request; nested exception is java.io.IOExcept…

鸿蒙harmony--TypeScript基础语法

把青春献给身后那座辉煌的都市&#xff0c;为了这个美梦我们付出着代价 目录 一&#xff0c;基础类型 二&#xff0c;数组 三&#xff0c;any 四&#xff0c;变量的类型注释 五&#xff0c;函数 5.1 参数类型注解 5.2 返回类型注解 5.3 匿名函数 六&#xff0c;对象类型 可选属…

整数对最小和 - 华为OD统一考试

OD统一考试&#xff08;C卷&#xff09; 分值&#xff1a; 100分 题解&#xff1a; Java / Python / C 题目描述 给定两个整数数组array1、array2&#xff0c;数组元素按升序排列。 假设从array1、array2中分别取出一个元素可构成一对元素&#xff0c;现在需要取出k对元素&am…

【Java的基本数据类型及其占用内存大小和默认值】

Java的基本数据类型及其占用内存大小和默认值 Java的基本数据类型包括以下几种&#xff1a; byte&#xff08;字节型&#xff09;&#xff1a;占用1个字节&#xff0c;取值范围是-128到127&#xff0c;默认值为0。short&#xff08;短整型&#xff09;&#xff1a;占用2个字节&…

【LeetCode每日一题】1109. 航班预订统计1094. 拼车 (差分数组)

差分数组 差分数组的主要适用场景是频繁对原始数组的某个区间的元素进行增减。 一、基本概念&#xff1a; 差分数组的定义如下&#xff1a; 假设原始数组为arr&#xff0c;差分数组为diff&#xff0c;其中diff[i] arr[i] - arr[i-1]&#xff08;0 < i < n&#xff0…

Ubuntu-22.04上ToDest设置开机不弹出图形界面

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、开始操作1.设置图形端 总结 前言 有时候远程成为开发必不可少的工具&#xff0c;目前国内有很多相关的软件&#xff0c;比较有名的是向日葵、ToDesk、Rust…

美团面试:Sentinel底层滑动时间窗限流算法怎么实现的?

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中&#xff0c;最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格&#xff0c;遇到很多很重要的面试题&#xff1a; 问题1&#xff1a;Sentinel高可用熔断降级&#xff0c;是如何…

2023年06月CCF-GESP编程能力等级认证Python编程四级真题解析

一、单选题(共15题,共30分) 第1题 高级语言编写的程序需要经过以下( )操作,可以生成在计算机上运行的可执行代码。 A:编辑 B:保存 C:调试 D:编译 答案:D 第2题 排序算法是稳定的(Stable Sorting),就是指排序算法可以保证,在待排序数据中有两个相等记录的关…

GPT-5的功能界面曝光。。。

最近网络上流传的照片是否真实尚不可知&#xff0c;我们需要进一步的核实与分析。 GPT-5的预期发布已经引起了业界的极大关注。根据Roemmele的透露&#xff0c;GPT-5将是一个革命性的多模态模型&#xff0c;能够支持语音、图像、编程代码和视频等多种格式&#xff0c;这标志着…