【服务器】上传文件到服务器并训练深度学习模型下载服务器文件到本地

前言:本文教程为,上传文件到服务器并训练深度学习模型,与下载服务器文件到本地。演示指令输入,完整的上传文件到服务器,并训练模型过程;并演示完整的下载服务器文件到本地的过程。

本文使用的服务器为云服务器,为蓝耘云平台,注册登录链接如下:

https://cloud.lanyun.net/#/registerPage?promoterCode=11f606c51eicon-default.png?t=O83Ahttps://cloud.lanyun.net/#/registerPage?promoterCode=11f606c51e目录

1.上传文件到服务器并训练模型

2.下载服务器文件到本地


1.上传文件到服务器并训练模型

需要的指令如下,命令行终端Terminal依次输入:

unzip Archie_yolo11.zip

conda create -n Archie_yolo11 python=3.8.18

conda init 

conda activate Archie_yolo11

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

pip install -e .

python main.py

接下来演示指令输入,完整的上传文件到服务器,并训练模型过程(指令可按需,更换自己需要的版本,例如Python、pytorch版本等)


 首先,登录服务器,我用的是蓝耘元生代智算云平台

注册,登录链接如下:

https://cloud.lanyun.net/#/registerPage?promoterCode=11f606c51eicon-default.png?t=O83Ahttps://cloud.lanyun.net/#/registerPage?promoterCode=11f606c51e进入后,选择容器云

选择租用新实例

租一个服务器,如下为我租用的服务器详情,可按需自行选择

镜像:lanyun/pytorch-2.0.1-py3.8-cuda11.8-u20.04:v1.5

GPU:RTX 3090 * 1卡

CPU:Intel(R) Xeon(R) Gold 6152 CPU * 10核

内存:30GB

硬盘:系统盘: 30GB,数据盘: 50GB 


然后点击如下JupyterLab进入

 进入后,界面如下 ,点击进入lanyun-tmp文件夹

 将本地工程文件压缩包(我上传的是yolo11工程,文件名为Archie_yolo11),压缩包拖进该文件夹下,底部是上传压缩包文件进度,等待上传完成。

 上传文件完成后,在该文件夹下,点击Terminal进入命令行终端界面

 输入如下指令,进行解压缩,等待解压缩完成(Archie_yolo11是压缩包文件夹名字)

unzip Archie_yolo11.zip
  • 这是一个解压命令,用于解压名为Archie_yolo11.zip的压缩文件。在执行此命令前,确保当前目录下存在该压缩文件,并且你有读取该文件的权限。

解压完成后,输入如下指令

conda create -n Archie_yolo11 python=3.8.18
  • conda是一个流行的开源包管理系统和环境管理系统。
  • create表示创建一个新的环境。
  • -n Archie_yolo11指定新环境的名称为Archie_yolo11
  • python=3.8.18指定在新环境中安装的 Python 版本为 3.8.18。

碰到这个情况就输入y

进入解压后的文件夹打开Terminal进入命令行终端界面,输入如下指令

conda init 
  • 这个命令用于初始化conda,使conda能够在当前的终端环境中正常工作。它会修改终端的配置文件(如.bashrc.zshrc等,取决于你使用的终端),以便在每次启动终端时能够正确加载conda

接着输入如下指令

conda activate Archie_yolo11
  • 用于激活名为Archie_yolo11conda环境。激活后,后续安装的包和执行的命令都会在这个环境中进行,避免不同项目之间的包依赖冲突。

接着输入如下指令

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
  • 这是在当前激活的conda环境(Archie_yolo11)中安装 PyTorch 及其相关库。
  • pytorch==2.0.1指定安装的 PyTorch 版本为 2.0.1。
  • torchvision==0.15.2指定安装的torchvision版本为 0.15.2,torchvision提供了计算机视觉相关的工具和数据集。
  • torchaudio==2.0.2指定安装的torchaudio版本为 2.0.2,用于音频处理。
  • pytorch-cuda=11.7指定安装支持 CUDA 11.7 的 PyTorch 版本。
  • -c pytorch -c nvidia指定从pytorchnvidia这两个conda通道下载和安装这些包。

接着输入如下指令

pip install -e .
  • pip是 Python 的包管理工具。
  • -e表示 “可编辑模式”(editable mode),“.” 表示当前目录。这个命令会在当前激活的conda环境中以可编辑模式安装当前目录下的 Python 项目。这意味着你对项目源代码所做的任何更改都会立即生效,而不需要重新安装包。

修改例如dataset.yaml文件里的数据集路径为服务器下的路径,如有其他路径修改也一样

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: /root/lanyun-tmp/Archie_yolo11/datasets  # dataset root dir
train: /root/lanyun-tmp/Archie_yolo11/datasets/images/train      # train images (relative to 'path')  6471 images
val: /root/lanyun-tmp/Archie_yolo11/datasets/images/val         # val images (relative to 'path')  548 images
test: /root/lanyun-tmp/Archie_yolo11/datasets/images/test # test images (optional)  1610 images

 然后输入如下指令,运行main.py文件

python main.py
  • 这是在当前环境中执行名为main.py的 Python 脚本。在执行此命令前,确保main.py文件存在于当前目录,并且该脚本的依赖项都已正确安装。

即可开始训练模型

以上,完成上传文件到服务器并训练深度学习模型

2.下载服务器文件到本地

接下来演示完整的下载服务器文件到本地的过程。

需要下载两个软件:Xshell、Xftp(网上下载教程很多,自行下载)

如下为我使用的版本信息

安装完成以上两个软件后,打开Xshell软件,点击如下新建会话,或点击文件新建会话

进入如下界面

 复制服务器的如下登录指令,SSH和密码

例如我的SSH如下

 ssh -p 22xxx root@link.lanyun.net

用户名为root

协议为SSH

主机为link.lanyun.net

端口号为22xxx

如下名称为:新建会话(3),可自定义名称

然后点击连接即可

 然后弹出如下界面,可选择为接受并保存,或一次性接受

然后输入用户名为root 

然后会弹出输入密码,输入在服务器复制的密码输入即可 

如下所示,成功连接上服务器 

然后在Xshell软件点击如下图标,会自动打开Xftp软件,弹出的Xftp软件的右侧为服务器的文件夹

弹出如下窗口则选择接受并保存或选择一次性接受 

在Xftp软件中,将右侧服务器里的文件拖动到左侧即可下载到本地(本地电脑),底部为传输进度。

以上,完成了详细介绍上传文件到服务器并训练深度学习模型&下载服务器文件到本地

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/946497.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

什么是TDD测试驱动开发(Test Driven Development)?

什么是测试驱动开发? 软件开发团队通常会编写自动化测试套件来防止回归。这些测试通常是在编写应用程序功能代码之后编写的。我们将采用另一种方法:在实现应用程序代码之前编写测试。这称为测试驱动开发 (TDD)。 为什么要应用 TDD?通过在实…

LLaMA详解

LLaMA 进化史 大规模语言模型(Large Language Model, LLM)的快速发展正在以前所未有的速度推动人工智能(AI)技术的进步。 作为这一领域的先行者, Meta在其LLaMA(Large Language Model Meta AI)系列模型上取得了一系列重大突破。 近日, Meta官方正式宣布推出LLaMA-3, 作为继LL…

connect to host github.com port 22: Connection timed out 的解决方法

原因是 Github 被 GFW 屏蔽了。 Windows 系统,打开 C:\Windows\System32\drivers\etc,复制其中的 hosts 文件至桌面,用文本编辑器或者其他工具打开。 复制以下内容进去: 140.82.114.4 github.com 151.101.1.6 github.global.ss…

区块链安全常见的攻击分析——Unprotected callback - ERC721 SafeMint reentrancy【8】

区块链安全常见的攻击分析——Unprotected callback - ERC721 SafeMint reentrancy【8】 1.1 漏洞分析1.2 漏洞合约1.3 攻击分析1.4 攻击合约 重点:MaxMint721 漏洞合约的 mint 函数调用了 ERC721 合约中的 _checkOnERC721Received 函数,触发 to 地址中实…

springboot-启动流程

by shihang.mai 1. 启动流程图 查看springboot2.3.7源码后绘制下图。 springboot启动流程图 main启动,new SpringApplication()构造方法里面 判断当前应用程序类型reactive、servlet、none获取所有的ApplicationListener对应的对象获取所有的ApplicationContextInit…

Qt解决可执行程序的图标问题(CMake)

通常情况下,我们编译生成的可执行程序的图标长这个样子: 可以看到他的图标非常丑陋。。。 要想改变图标,你需要通过以下方式: CMakeLists.txt : cmake_minimum_required(VERSION 3.10)project(CountCode VERSION 1.0 LANGUAGE…

Docker Compose编排

什么是 Docker Compose? Docker Compose 是 Docker 官方推出的开源项目,用于快速编排和管理多个 Docker 容器的应用程序。它允许用户通过一个 YAML 格式的配置文件 docker-compose.yml 来定义和运行多个相关联的应用容器,从而实现对容器的统一管理和编…

Jenkins管理多版本python环境

场景:项目有用到python3.8和3.9,python环境直接安装在jenkins容器内。 1、进入jenkins容器 docker exec -it jenkins /bin/bash 2、安装前置编译环境 # 提前安装,以便接下来的配置操作 apt-get -y install gcc automake autoconf libtool ma…

PLCT-rvos-ch03 编译与链接 课后习题

练习3-1 问题 使⽤gcc编译代码并使⽤binutils⼯具对⽣成的⽬标文件和可执⾏文件(ELF 格式)进⾏分析。具体要求如下: 编写⼀个简单的打印 “hello world!” 的程序源文件:hello.c对源文件进⾏本地编译,⽣成…

Xilinx FPGA的Bitstream比特流加密设置方法

关于Xilinx FPGA的Bitstream比特流加密设置方法更多信息可参阅应用笔记xapp1084。 使用加密bitstream分两个步骤: 将bitstream的AES密钥存储在FPGA芯片内将使用AES密钥加密的Bitstream通过SPI Flash或JTAG加载至FPGA芯片 AES密钥可以存储在两个存储区之一&#x…

基于BiLSTM和随机森林回归模型的序列数据预测

本文以新冠疫情相关数据集为案例,进行新冠数量预测。(源码请留言或评论) 首先介绍相关理论概念: 序列数据特点 序列数据是人工智能和机器学习领域的重要研究对象,在多个应用领域展现出独特的特征。这种数据类型的核心特点是 元素之间的顺序至关重要 ,反映了数据内在的时…

生成文本格式日历的Python程序

2025年日历生成Python代码 功能介绍 这段代码用于生成2025年的完整日历,并以文本格式保存为一个文件。日历的每个月包含日期和星期的排列,清晰展示了一年的所有日期信息,最后保存为一个 .txt 文件。 实现步骤 导入 calendar 模块&#xff1…

多态超详细介绍

一、多态 1.多态的概念 多态的概念:通俗来说,多态就是多种形态。多态分为编译时多态(静态多态)和运行时多态(动态多态) ,这⾥我们重点讲运⾏时多态。编译时多态主要就是函数模板与函数重载&…

Xilinx Vivado环境下载bit后自动触发ILA采集

文章目录 前言操作方法注意事项参考资料 前言 为了观察一些信号变化的瞬间,我们通常将它们加入到ILA中,并设置触发条件,比如上升沿下降沿,或指定的某个值。大多数情况下,我们是下载完bit文件,并在FPGA运行…

[react+ts] useRef获取自定义组件dom或方法声明

想用useRef获取自定义组件? 如果获取dom,直接写 const sonRef useRef<HTMLDivElement>(null); 然后子组件用forwardRef包一层,注意是HTMLDivElement,别写错, 写HTMLElement不行 const Son forwardRef<HTMLDivElement, IProps>((props, ref) > {}) 切记这…

gitlab的搭建及使用

1、环境准备 服务器准备 CentOS Linux release 7.9.2009 (Core)&#xff0c;内存至少4G。 修改主机名和配置ip地址 hostnamectl set-hostname <hostname> 关闭主机的防火墙 # 关闭防火墙 systemctl stop firewalld #临时关闭防火墙 systemctl disable firewalld …

No.2十六届蓝桥杯备战|练习题4道|数据类型|字符型|整型|浮点型|布尔型|signed|unsigned(C++)

B2002 Hello,World! - 洛谷 #include <iostream> using namespace std; int main() { cout << "Hello,World!" << endl; return 0; }打印飞机 #include <iostream> using namespace std;int main() {cout << " …

Dockerfile运行指令

1.RUN 在build构建时执行命令。 举例&#xff1a;安装vim Shell命令格式 RUN yum install -y vim Exec命令格式 RUN ["yum","install","-y","vim"] 2.CMD 用于设置容器启动时默认执行的命令或参数。 如果Dockerfile中有多个CMD&a…

OpenAI发布o3:圣诞前夜的AI惊喜,颠覆性突破还是技术焦虑?

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

计算和可视化相对湿度结果

了解如何确定 CFD 模型中的相对湿度。 了解相对湿度 大气是干燥空气和水蒸气的混合物&#xff0c;每一种的压力之和等于蒸气压。相对湿度是指空气中的水分量与空气在特定温度下可以容纳的最大水分量之比。它通常以百分比表示。它的范围从 0&#xff08;干燥空气&#xff09;到…