【深度学习】服务器炼丹代码配置、Python使用指定gpu显卡运行代码

【显卡】服务器炼丹代码配置

  • 写在最前面
  • 一、查看哪几块显卡能用
  • 二、使用指定gpu运行代码
    • 1、指定使用GPU0运行脚本（默认是第一张显卡, 0代表第一张显卡的id,其他的以此类推）
    • 2、指定使用多张显卡运行脚本
  • 三、如何使用
    • 1、单块显卡使用
    • 2、多GPU训练
      • 使用`DataParallel`
      • 使用`DistributedDataParallel`
      • 两种方法的对比
      • 注意事项
      • 选择合适的方法
    • 参考资料
  • 四、小结
    • 关键点小结
    • 配置多GPU并行和数据加载器
      • 1. 设置`CUDA_VISIBLE_DEVICES`
      • 2. 配置PyTorch设备和模型
      • 3. 优化数据加载器
    • 整合后的代码示例

请添加图片描述

🌈你好呀！我是 是Yu欸
🌌 2024每日百字篆刻时光，感谢你的陪伴与支持 ~
🚀 欢迎一起踏上探险之旅，挖掘无限可能，共同成长！

写在最前面

深度学习（Deep Learning）已经成为众多领域中的重要技术，尤其在图像识别、自然语言处理、语音识别等方面表现出色。然而，深度学习模型的训练通常需要大量的计算资源，因此高性能计算（HPC）和GPU（图形处理单元）显卡变得至关重要。

在大型机构分配的服务器集群中，需要使用GPU的程序默认都会在第一张卡上进行，如果第一张卡倍别人占用或者显存不够的情况下，程序就会报错说没有显存容量，所以能够合理地利用GPU资源能帮助你更快更好地跑出实验效果。

本篇博客将介绍在服务器上进行深度学习炼丹（即训练模型）时如何配置代码，以及如何在Python中指定特定的GPU显卡来运行代码。

参考：https://cloud.tencent.com/developer/article/2352733

一、查看哪几块显卡能用

在进行深度学习任务之前，需要配置服务器环境。

登陆服务器，查看gpu是否可用，并确定CUDA版本

用ssh命令登录服务器（账号密码略），输入命令：nvidia-smi，查看gpu是否可用。

在我的这个案例中，可用显卡为：

  • 可用显卡: GPU 0, GPU 1, GPU 2, GPU 3
  • 部分使用中的显卡: GPU 4, GPU 5
  • 高负载使用中的显卡: GPU 6, GPU 7

GPU 0 到 GPU 3 目前几乎未被使用，温度和内存利用率都很低，适合用于新任务。GPU 4 和 GPU 5 在中等负载下，但仍有一定余量。GPU 6 和 GPU 7 负载较高，建议避免使用或等负载减小后再使用。

在这里插入图片描述

二、使用指定gpu运行代码

1、指定使用GPU0运行脚本（默认是第一张显卡, 0代表第一张显卡的id,其他的以此类推）

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

2、指定使用多张显卡运行脚本

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0,2,3"
# 注意：这两行代码必须在文件的最开头，在加载各种包之前

三、如何使用

1、单块显卡使用

在python文件中，定义需要加速的模型之后，加上：

model = ......
model.train(True) or model.train(False) # 看你是要训练还是测试
model.to('cuda') # 或者model.cuda()
# 后面需要输入model的变量也是需要.to('cuda')或者.cuda()的，不然会报错既用了cpu又用gpu，不兼容

2、多GPU训练

假如：为了让你的PyTorch代码在多块显卡（0,1,2,3）上运行，你可以使用torch.nn.DataParallel或者torch.nn.parallel.DistributedDataParallel来进行多GPU训练。

使用DataParallel

DataParallel 是一个相对简单的方法，它可以在多块GPU上进行数据并行处理。下面是如何使用DataParallel的方法：

import torch
import torch.nn as nn
import torch.optim as optim

# 假设你有一个简单的模型
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.fc = nn.Linear(100, 10)

    def forward(self, x):
        return self.fc(x)

# 创建模型
model = SimpleModel()

# 将模型转换为DataParallel，并指定使用的显卡
model = nn.DataParallel(model, device_ids=[0, 1, 2, 3])

# 将模型移至GPU
model = model.cuda()

# 创建一个优化器
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 创建数据
inputs = torch.randn(64, 100).cuda()
labels = torch.randn(64, 10).cuda()

# 训练步骤
outputs = model(inputs)
loss = nn.MSELoss()(outputs, labels)
loss.backward()
optimizer.step()

使用DistributedDataParallel

DistributedDataParallel 是一种更高级的方法，通常在大规模分布式训练中使用，但在单机多卡上也可以提升性能。下面是如何使用DistributedDataParallel的方法：

  1. 启动代码：
    在使用DistributedDataParallel时，你需要使用多进程方式启动程序。可以通过torch.multiprocessing或命令行启动。

  2. 代码修改：

import torch
import torch.distributed as dist
import torch.multiprocessing as mp
import torch.nn as nn
import torch.optim as optim
from torch.nn.parallel import DistributedDataParallel as DDP

# 简单模型定义
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.fc = nn.Linear(100, 10)

    def forward(self, x):
        return self.fc(x)

def setup(rank, world_size):
    # 初始化进程组
    dist.init_process_group("nccl", rank=rank, world_size=world_size)
    torch.cuda.set_device(rank)

def cleanup():
    dist.destroy_process_group()

def train(rank, world_size):
    setup(rank, world_size)
    
    # 模型
    model = SimpleModel().to(rank)
    ddp_model = DDP(model, device_ids=[rank])

    optimizer = optim.SGD(ddp_model.parameters(), lr=0.01)

    inputs = torch.randn(64, 100).to(rank)
    labels = torch.randn(64, 10).to(rank)

    outputs = ddp_model(inputs)
    loss = nn.MSELoss()(outputs, labels)
    loss.backward()
    optimizer.step()

    cleanup()

if __name__ == "__main__":
    world_size = 4
    mp.spawn(train,
             args=(world_size,),
             nprocs=world_size,
             join=True)

两种方法的对比

  • DataParallel：简单易用，适用于轻量级并行处理，但扩展性较差，在大规模分布式训练中性能不如DistributedDataParallel。
  • DistributedDataParallel：适用于大规模训练，可以获得更好的性能，但代码复杂度略高，需要使用多进程启动。

注意事项

  1. 模型和数据要发送到指定的设备：确保模型和数据都发送到指定的GPU，否则可能会报错。
  2. 同步BN：在多GPU环境下，使用同步批标准化（Batch Normalization）可能需要特殊处理。

选择合适的方法

  • 对于简单的多GPU训练任务，使用DataParallel。
  • 对于需要高性能、扩展性强的任务，使用DistributedDataParallel。

参考资料

  • PyTorch DataParallel Documentation
  • PyTorch DistributedDataParallel Documentation

这两种方法可以帮助你在多块显卡上高效地运行你的深度学习代码，选择适合你的需求的方法，来实现模型的多GPU训练。

四、小结

关键点小结

  1. 设置CUDA_VISIBLE_DEVICES: 指定多个GPU设备，使得代码只看到这些设备。
  2. 多GPU并行: 使用torch.nn.DataParallel包装模型，利用多个GPU。
  3. 数据加载优化: 设置num_workers参数优化数据加载，减少CPU负载。

这段代码展示了如何在PyTorch中配置多GPU训练和优化数据加载。这样可以有效利用多GPU的计算能力，并优化CPU资源使用。

为了将多GPU并行训练设置在代码中的适当位置并优化数据加载器，你需要在运行的第一个文件的开头设置os.environ["CUDA_VISIBLE_DEVICES"]，并根据设备情况设置模型的多GPU并行。以下是如何进行这些设置的步骤和示例代码。

配置多GPU并行和数据加载器

1. 设置CUDA_VISIBLE_DEVICES

在运行的第一个文件的最前面，添加设置环境变量的代码。这会使得后续的代码只看到指定的GPU设备：

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,6,7"

2. 配置PyTorch设备和模型

根据设备情况，使用torch.nn.DataParallel进行多GPU并行：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义设备
globalDevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 假设你有一个cnn模型
class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv = nn.Conv2d(3, 16, 3, 1)
        self.fc = nn.Linear(16 * 26 * 26, 10)

    def forward(self, x):
        x = self.conv(x)
        x = torch.relu(x)
        x = x.view(x.size(0), -1)
        x = self.fc(x)
        return x

cnn = CNN().to(globalDevice)

# 如果有多个GPU，使用DataParallel
if torch.cuda.device_count() > 1:
    print(f"Using {torch.cuda.device_count()} GPUs")
    net = nn.DataParallel(cnn)
else:
    print("Using single GPU or CPU")
    net = cnn

3. 优化数据加载器

使用num_workers参数优化数据加载，通常设置为CPU核心数的一半或略低于核心数。对于高效的训练，可以设置为20或40，这取决于你的CPU能力和任务需求。

from torch.utils.data import DataLoader, Dataset

# 假设你有一个简单的数据集
class SimpleDataset(Dataset):
    def __init__(self, size):
        self.size = size

    def __len__(self):
        return self.size

    def __getitem__(self, idx):
        return torch.randn(3, 28, 28), torch.tensor(1)

dataset = SimpleDataset(1000)
dataloader = DataLoader(dataset, batch_size=64, shuffle=True, num_workers=20)

整合后的代码示例

以下是整合后的代码示例，涵盖了从配置GPU、定义模型、设置数据加载器到运行训练过程的完整流程。

import os
import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, Dataset

# 设置环境变量
os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,6,7"

# 定义设备
globalDevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 定义简单的CNN模型
class CNN(nn.Module):
    def __init__(self):
        super(CNN, self).__init__()
        self.conv = nn.Conv2d(3, 16, 3, 1)
        self.fc = nn.Linear(16 * 26 * 26, 10)

    def forward(self, x):
        x = self.conv(x)
        x = torch.relu(x)
        x = x.view(x.size(0), -1)
        x = self.fc(x)
        return x

# 实例化模型
cnn = CNN().to(globalDevice)

# 检查GPU数量并设置DataParallel
if torch.cuda.device_count() > 1:
    print(f"Using {torch.cuda.device_count()} GPUs")
    net = nn.DataParallel(cnn)
else:
    print("Using single GPU or CPU")
    net = cnn

# 定义数据集和数据加载器
class SimpleDataset(Dataset):
    def __init__(self, size):
        self.size = size

    def __len__(self):
        return self.size

    def __getitem__(self, idx):
        return torch.randn(3, 28, 28), torch.tensor(1)

dataset = SimpleDataset(1000)
dataloader = DataLoader(dataset, batch_size=64, shuffle=True, num_workers=20)

# 定义优化器和损失函数
optimizer = optim.SGD(net.parameters(), lr=0.01)
criterion = nn.CrossEntropyLoss()

# 简单的训练过程
for epoch in range(2):
    for inputs, labels in dataloader:
        inputs, labels = inputs.to(globalDevice), labels.to(globalDevice)
        optimizer.zero_grad()
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
    print(f"Epoch {epoch+1}, Loss: {loss.item()}")

欢迎大家添加好友交流。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/753951.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

亚太杯赛题思路发布（中文版）

亚太杯赛题思路发布（中文版）

导读： 本文将继续修炼回归模型算法，并总结了一些常用的除线性回归模型之外的模型，其中包括一些单模型及集成学习器。 保序回归、多项式回归、多输出回归、多输出K近邻回归、决策树回归、多输出决策树回归、AdaBoost回归、梯度提升决策树回归…
阅读更多...
javaSE知识点整理总结（上）

javaSE知识点整理总结（上）

目录 一、面向对象 1. 类、对象、方法 2.面向对象三大特征 （1）封装 （2）继承 （3）多态 二、常用类 1.Object类 2.Array类 3.基本数据类型包装类 4.String类 5.StringBuffer类 6.Math类 7.Random…
阅读更多...
ONLYOFFICE 8.1 桌面编辑器测评：引领数字化办公新潮流

ONLYOFFICE 8.1 桌面编辑器测评：引领数字化办公新潮流

目录 前言 下载安装 新功能概述 1.PDF 编辑器的改进 2. 演示文稿中的幻灯片版式 3.语言支持的改进 4. 隐藏“连接到云”板块 5. 页面颜色设置和配色方案 界面设计：简洁大方，操作便捷 性能评测：稳定流畅，高效运行 办公环…
阅读更多...
恭喜！Apache SeaTunnel2024开源之夏学生中选名单出炉！

恭喜！Apache SeaTunnel2024开源之夏学生中选名单出炉！

经过严格的筛选，开源之夏组委会及导师已经选出并录取项目对应的学生，社区联合中科院开展的开源之夏活动也进入到了激动人心的中选公示阶段。 在这里，我们恭喜下面的同学，已成功匹配到Apache SeaTunnel社区的项目，即将开…
阅读更多...
主从复制、哨兵以及Cluster集群

主从复制、哨兵以及Cluster集群

目录 1.Redis高可用 2.Redis主从复制 2.1 主从复制的作用 2.2 主从复制流程 2.3 搭建Redis主从复制 2.3.1 修改Redis配置文件（Master节点操作） 2.3.2 修改Redis配置文件（Slave节点操作） 2.3.2 验证主从复制结果 3.Redis哨…
阅读更多...
数据分析三剑客-Matplotlib

数据分析三剑客-Matplotlib

数据分析三剑客 数据分析三剑客通常指的是在Python数据分析领域中，三个非常重要的工具和库：Pandas、NumPy和Matplotlib。Pandas主要负责数据处理和分析，NumPy专注于数值计算和数学运算，而Matplotlib则负责数据可视化。这三个库相…
阅读更多...
聊聊啥项目适合做自动化测试

聊聊啥项目适合做自动化测试

作为测试从业者，你是否遇到过这样的场景，某天公司大Boss找你谈话。 老板：小李，最近工作辛苦了 小李：常感谢您的认可，这不仅是对我个人的鼓励，更是对我们整个团队努力的认可。我们的成果离不开每…
阅读更多...
【python】一篇文零基础到入门：快来玩吧~

【python】一篇文零基础到入门：快来玩吧~

本笔记材料源于： PyCharm | 创建你的第一个项目_哔哩哔哩_bilibili Python 语法及入门 （超全超详细） 专为Python零基础 一篇博客让你完全掌握Python语法-CSDN博客 0为什么安装python和pycharm？ 不同于c，c&#xff0…
阅读更多...
NFT Insider #136：韩国将为NFT市场带来严格监管，The Sandbox DAO举办Twitter Space AMA

NFT Insider #136：韩国将为NFT市场带来严格监管，The Sandbox DAO举办Twitter Space AMA

引言：NFT Insider由NFT收藏组织WHALE Members （https://twitter.com/WHALEMembers）、BeepCrypto （https://twitter.com/beep_crypto）联合出品，浓缩每周NFT新闻，为大家带来关于NFT最全面、最新鲜…
阅读更多...
已解决javax.transaction.InvalidTransactionException：事务无效的正确解决方法，亲测有效！！！

已解决javax.transaction.InvalidTransactionException：事务无效的正确解决方法，亲测有效！！！

已解决javax.transaction.InvalidTransactionException：事务无效的正确解决方法，亲测有效！！！ 目录 问题分析 报错原因 解决思路 解决方法 1. 确保事务的正确启动和结束 Spring中的事务管理 2. 避免嵌套事务问题…
阅读更多...
【代码工厂】简单地图生成

【代码工厂】简单地图生成

要求 （图片来自codingame） 代码 # 定义一个函数，用于生成模式 def generate_pattern(n, a, border_char): # 初始化一个空列表，用于存储生成地图pattern []# 最上面那一行的处理line n * border_charpattern.append(line)# 遍…
阅读更多...
餐饮点餐系统

餐饮点餐系统

餐饮点餐系统是一款为餐厅和顾客提供便捷点餐服务的在线平台。 1.DDL CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY COMMENT 用户ID,username VARCHAR(50) NOT NULL UNIQUE COMMENT 用户名,password VARCHAR(255) NOT NULL COMMENT 密码,email VARCHAR(100) UNIQUE…
阅读更多...
5款提高工作效率的免费工具推荐

5款提高工作效率的免费工具推荐

SimpleTex SimpleTex是一款用于创建和编辑LaTeX公式的简单工具。它能够识别图片中的复杂公式并将其转换为可编辑的数据格式。该软件提供了一个直观的界面，用户可以在编辑LaTeX代码的同时实时预览公式的效果，无需额外的编译步骤。此外，SimpleT…
阅读更多...
MoneyPrinterPlus:AI自动短视频生成工具-腾讯云配置详解

MoneyPrinterPlus:AI自动短视频生成工具-腾讯云配置详解

MoneyPrinterPlus可以使用大模型自动生成短视频，其中的语音合成和语音识别部分需要借助于一些第三发云厂商的语音服务。 很多小伙伴可能不知道应该如何配置，这里给大家提供一个详细的腾讯云语音服务的配置教程。 项目已开源，代码地址&#…
阅读更多...
基于多模态知识图谱的多模态推理-MR-MKG

基于多模态知识图谱的多模态推理-MR-MKG

MR-MKG论文中提出了一种新的多模态推理方法，即利用多模态知识图（Multimodal Knowledge Graph, MMKG）进行多模态推理的方法。这种方法旨在通过从MMKG中学习，扩展大型语言模型（LLMs）的多模态知识。 1 三个模…
阅读更多...
嘉立创学习

嘉立创学习

1.两个设置，一般用左边那个 2.焊盘分类 基本焊盘 热风盘：也叫花焊盘（负片） 隔离焊盘：外面那圈黑色，用作隔离（负片） 钢网层：（锡膏） 阻焊层&…
阅读更多...
AI大模型日报#0628：谷歌开源9B 27B版Gemma2、AI首次实时生成视频、讯飞星火4.0发布

AI大模型日报#0628：谷歌开源9B 27B版Gemma2、AI首次实时生成视频、讯飞星火4.0发布

导读：AI大模型日报，爬虫LLM自动生成，一文览尽每日AI大模型要点资讯！目前采用“文心一言”（ERNIE-4.0-8K-latest）生成了今日要点以及每条资讯的摘要。欢迎阅读！《AI大模型日报》今日要点&#xf…
阅读更多...
http服务网络请求如何确保数据安全(含python示例源码)

http服务网络请求如何确保数据安全(含python示例源码)

深度学习类文章回顾 【YOLO深度学习系列】图像分类、物体检测、实例分割、物体追踪、姿态估计、定向边框检测演示系统【含源码】 【深度学习】物体检测/实例分割/物体追踪/姿态估计/定向边框/图像分类检测演示系统【含源码】 【深度学习】YOLOV8数据标注及模型训练方法整体流程…
阅读更多...
Charles抓包工具系列文章（三）-- 接口映射工具（Map Remote和Map Local）

Charles抓包工具系列文章（三）-- 接口映射工具（Map Remote和Map Local）

一、背景 前文的http请求都是静态的，像compose a new request，仅适用于接口的自测。 回放repeat 一个 http 请求，也无法做到动态调试。 这里的动态还是静态，是站在客户端的角度，数据是实时的，可调试的。 …
阅读更多...
市场拓展招聘：完整指南

市场拓展招聘：完整指南

扩大招聘业务会给你带来很多挑战，更不用说你已经在处理的问题了。助教专业人士每周花近13个小时为一个角色寻找候选人。此外，客户的需求也在不断变化，招聘机构之间的竞争也在加剧。毫无疑问，对增长有战略的方法会有很大的帮助。一…
阅读更多...
最新文章

Copyright @ 2022~2023