驱动云创建保存自己的环境

驱动云创建保存自己的环境

    • 制作镜像
      • 方法一
      • 方法二
      • 报错

上一篇link介绍了如何在驱动云上部署llama2以及驱动云在训练大模型的方便之处。也说到了可以直接使用驱动云现有的环境,免得自己配置环境。

但是有的时候免不了自己想要安装一些包。

驱动云的环境是这样的,每次离开之后,他的环境就会变成你最初用的镜像,过程中你做的更改不会保留。但是下次用的时候或者想要提交离线任务的时候,就需要用你修改好的镜像。
怎么办呢?这里可以很容易的制作镜像,将自己需要的环境永久的保存下来。

制作镜像

  1. 比如对于一个项目,我已经选择好了镜像为官房的Pytorch 2.0.0
    在这里插入图片描述
    但是,在玩过程中,我需要vllm的包,但是咧,这个环境里面没有,并且恰好,在平台上找不到完美匹配需求的镜像,需要自己手动安装一些。
  2. 在当前调试过程中,很容易,直接在终端pip安装就可以了.
    比如更新accelerate到0.27.0
    在这里插入图片描述
    以及安装原来不存在的包trl
    在这里插入图片描述
    但是在调试完成之后,想要将当前的环境保存,该怎么办?
    我们可以点击下图中的保存当前环境来制作自己的镜像在这里插入图片描述
    然后点击构建为标准镜像
    在这里插入图片描述
    进入dockerfile配置页面

方法一

在这里插入图片描述

  • 镜像名称:随便写
  • 基础镜像:一般会有默认,就是最初启动该项目的时候配的镜像,也可以×掉自己重新选。
  • 在Dockerfile中,受限点个pip换源,会生成第一行。然后就是一行一行自己要添加的包,比如我们钱买你更新了accelerate,并安装了trl,就在这里对应写好。当然可以接着添加别的。

最后点击构建就可以了

方法二

在配置好环境之后,使用

!pip freeze > requirements.txt

输出当前环境的requirements.txt,文件会默认保存在/gemini/code下
在这里插入图片描述
可以将其下载下来
在这里插入图片描述
随后,同样点击保存当前环境,然后选择构建标准镜像
在这里插入图片描述
进入镜像制作页

在这里插入图片描述
同样填入镜像名称,默认的基础镜像
然后在上传文件处点击上传刚才保存的requirements.txt文件
接着点击pip换源
并添加如下代码

COPY requirements.txt /tmp/
RUN pip install -r /tmp/requirements.txt

最后点击构建即可
在这里插入图片描述

报错

如果镜像制作失败了,则可以点击 查看日志看看是什么原因
在这里插入图片描述
通常原因有两点:

  1. 使用方法一报错了。那大概率就是在调试过程中,配置环境的时候就出现了报错,比如包版本不兼容之类的。
    解决方法:记录下在调试过程中安装哪个版本的包不报错,以及安装包的顺序,或者有时候可能要先卸载掉某个包,最后一直到构建好自己的环境,并且没有出现报错,这时可以进行镜像制作。
  2. 使用方法二报错了,报错error: failed to solve: process “/bin/sh -c pip install -r /tmp/requirements.txt” did not complete successfully: exit code: 1。
    解决方法 使用方法一。因为我也不知道怎么解决hhhh, 如果哪位大神知道,请不吝赐教,谢谢。
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/556163.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

华为手机p70即将上市,国内手机市场或迎来新局面?

4月15日,华为官宣手机品牌全新升级,p系列品牌升级为Pura。华为P70系列手机预计将于2024年第一季度末发布,而网友也纷纷表示期待p70在拍照、性能上的全新突破。 网友们对华为P70系列的热情高涨,也印证了国内高端手机市场的潜力巨大…

遥感图像分割 | 基于一种类似UNet的Transformer算法实现遥感城市场景图像的语义分割_适用于卫星图像+航空图像+无人机图像

项目应用场景 面向遥感城市场景图像语义分割场景,项目采用类似 UNet 的 Transformer 深度学习算法来实现,项目适用于卫星图像、航空图像、无人机图像等。 项目效果 项目细节 > 具体参见项目 README.md (1) 安装依赖 conda create -n airs python3.8…

【2024 SCI一区】 基于DCS-BiLSTM-Attention的多元回归预测(Matlab实现)

【2024 SCI一区】 基于DCS-BiLSTM-Attention的多元回归预测(Matlab实现) 目录 【2024 SCI一区】 基于DCS-BiLSTM-Attention的多元回归预测(Matlab实现)效果一览基本介绍程序设计参考资料 效果一览 基本介绍 差异创意搜索算法&…

Flask 解决指定端口无法生效问题

问题重现 手动指定的IP端口是app.run(host0.0.0.0, port9304),但是启动的地址显示的却是http://127.0.0.1:5000。 if __name__ __main__:app.run(host0.0.0.0, port9304)启动地址如下: 解决方案 PyCharm会自动识别出来flask项目(即使你…

24位AD分辨率、256Ksps*16通道国产数据采集卡、uV级采集、支持IEPE

24位AD分辨率、256Ksps*16通道、uV级采集、USB数据传输、支持IEPE、C、LABVIEW、MATLAB、Python等多编程语言,提供例程,支持二次开发。 XM7016-以太网采集卡 XM7016是一款以太网型高速数据采集卡,具有16通道真差分输入,24位分辨率…

互联网技术底蕴探究 | 联网通信原理精析与网络协议通信机制

联网通信原理精析与网络协议入门导览 前提介绍网络网络结构与节点网络应用Sun公司的Jini技术 网络设备网卡(Netword Card)以太网卡 路由器(Router)处理数据模式安全控制访问 集线器(Hub)网关(Ga…

CSS的语法规则——基础选择器

元素&#xff1a; 用法&#xff1a; 标签名&#xff1a;{style的内容} 特点&#xff1a; 全局性&#xff0c;使用后&#xff0c;所有的相同标签都是同一种样式。 举例&#xff1a; <!DOCTYPE html> <html lang"en"><head><meta charset"UT…

【Linux冯诺依曼体系结构】

目录 1.冯诺依曼体系结构原理 1.冯诺依曼体系结构 我们常见的计算机&#xff0c;如笔记本。我们不常见的计算机&#xff0c;如服务器&#xff0c;大部分都遵守冯诺依曼体系。 截至目前&#xff0c;我们所认识的计算机&#xff0c;都是有一个个的硬件组件组成 输入单元&#…

【个人博客搭建】(9)使用日志

net自带日志与Serilog。 1、比较。net 8 webapi使用自带的日志功能与Serilog日志的异同&#xff0c;性能上有多少差距 在.NET 8 WebAPI中&#xff0c;使用自带的日志功能与使用Serilog日志框架存在一些异同。性能上的差距取决于具体的使用场景和配置&#xff0c;但通常Serilog…

详解 C++ 实现K-means算法

一、K-means算法概述 K-means算法是一种非常经典的聚类算法,其主要目的是将数据点划分为K个集群,以使得每个数据点与其所属集群的中心点(质心)的平方距离之和最小。这种算法在数据挖掘、图像处理、模式识别等领域有着广泛的应用。 二、K-means算法的基本原理 K-means算法…

source map 开发优化工具

什么是 Source map 简单来说 Source map 就是一个存储信息的文件&#xff0c;里面储存着位置信息。 Source map 英文释义&#xff1a;源程序映射。 位置信息&#xff1a;转换后的代码 对应的 转换前的代码 位置映射关系。 有了 Source map&#xff0c;就算线上运行的是转换…

大型网站系统架构演化实例_2.使用缓存改善网站性能

1.使用缓存改善网站性能 网站访问的特点和现实世界的财富分配一样遵循二八定律&#xff1a;80%的业务访问集中在20%的数据上。既然大部分业务访问集中在一小部分数据上&#xff0c;那么如果把这一小部分数据缓存在内存中&#xff0c;就可以减少数据库的访问压力&#xf…

深入剖析Tomcat(三) 实现一个简易连接器

Tomcat中的servlet容器叫做Catalina&#xff0c;Catalina有两个主要模块&#xff1a;连接器与容器。在本章&#xff0c;将会建立一个连接器来增强第二章中应用程序的功能&#xff0c;用一种更好的方式来创建request与response对象。 截止文章编写日期&#xff0c;servlet规范已…

docker 启动时报错

docker 启动时报如下错误 Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for details 因为安装docker时添加了镜像源 解决方案&#xff1a; mv /etc/…

学习部分排序,插入排序,冒泡排序以及希尔排序

1.插入排序 <1>.首先我们举个例子 我们要把6进行前面的插入&#xff0c;那我们要进行比较&#xff0c;首先确定一个end的指针&#xff0c;然后他指向的数字就是我们需要比较的&#xff0c;如果end指向的数比我们end1 的大的话&#xff0c;那我们就往前挪一个&#xff0c…

ElasticSearch虚拟机安装(单机版)

1.下载7.10.2 下载链接&#xff0c;选择LINUX X86_64下载 2.创建用户 useradd es也可以使用系统默认用户&#xff08;非root&#xff09;,root用户会报错 3.解压 tar xvf elasticsearch-7.10.2-linux-x86_64.tar.gz假定目录在/home/es/elasticsearch-7.10.2-linux-x86_64 …

读所罗门的密码笔记21_读后总结与感想兼导读

1. 基本信息 所罗门的密码&#xff1a;AI时代的价值、权力与信任 Solomons Code 奥拉夫格罗思 马克尼兹伯格 著 中信出版社,2022年5月出版 1.1. 读薄率 书籍总字数257千字&#xff0c;笔记总字数37780字。 读薄率37780257000≈14.7% 1.2. 读厚方向 千脑智能 脑机穿越 …

Java垃圾回收1

1.对象什么时候可以被垃圾器回收 1.垃圾回收的概念 为了让程序员更专注于代码的实现&#xff0c;而不用过多的考虑内存释放的问题&#xff0c;所以&#xff0c; 在Java语言中&#xff0c;有了自动的垃圾回收机制&#xff0c;也就是我们熟悉的GC(Garbage Collection)。 有了垃圾…

python中的守护进程、僵尸进程、孤儿进程

继续上一篇文章的探讨&#xff1a;https://blog.csdn.net/weixin_39743356/article/details/137885419 守护进程 守护进程&#xff08;Daemon Process&#xff09;是一种在后台运行的特殊类型的进程&#xff0c;它独立于控制终端&#xff0c;并且周期性地执行某种任务或等待处…

本地部署 Meta Llama3-8b 和 Llama3-70b

本地部署 Meta Llama3-8b 和 Llama3-70b 0. 引言1. Meta对Llama 3的目标2. Llama 3的性能3. 下载和安装 Ollama4. 使用 Ollama 运行 Llama3 0. 引言 今天&#xff0c;Meta 正式介绍Meta Llama 3&#xff0c;Meta 开源大型语言模型的下一代产品。 这次发布包括具有80亿&#xf…