Hugging Face Accelerate 两个后端的故事：FSDP 与 DeepSpeed

社区中有两个流行的零冗余优化器 (Zero Redundancy Optimizer，ZeRO)算法实现，一个来自DeepSpeed，另一个来自PyTorch。Hugging FaceAccelerate对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中之一。

本文重点介绍了 Accelerate 对外暴露的这两个后端之间的差异。为了让用户能够在这两个后端之间无缝切换，我们在 Accelerate 中合并了一个精度相关的 PR及一个新的概念指南。

  • 零冗余优化器 (Zero Redundancy Optimizer，ZeRO)https://arxiv.org/abs/1910.02054

  • DeepSpeedhttps://github.com/microsoft/DeepSpeed

  • PyTorchhttps://pytorch.org/docs/stable/fsdp.html

  • Acceleratehttps://hf.co/docs/accelerate/en/index

  • 一个精度相关的 PRhttps://github.com/huggingface/accelerate/issues/2624

  • 一个新的概念指南https://hf.co/docs/accelerate/concept_guides/fsdp_and_deepspeed

FSDP 和 DeepSpeed 可以互换吗？

最近，我们尝试分别使用 DeepSpeed 和 PyTorch FSDP 进行训练，发现两者表现有所不同。我们使用的是 Mistral-7B 基础模型，并以半精度 (bfloat16) 加载。可以看到 DeepSpeed (蓝色) 损失函数收敛良好，但 FSDP (橙色) 损失函数没有收敛，如图 1 所示。

8a14918ed7dfb7f513ff78f540a7dc75.png

我们猜想可能需要根据 GPU 数量对学习率进行缩放，且由于我们使用了 4 个 GPU，于是我们将学习率提高了 4 倍。然后，损失表现如图 2 所示。

c2eec36e23f3e42b226a18df283e92a5.png

看起来，通过按 GPU 数量缩放 FSDP 学习率，已经达到了预期！然而，当我们在不进行缩放的情况下尝试其他学习率 (1e-5) 时，我们却又观察到这两个框架的损失和梯度范数特征又是趋近一致的，如图 3 所示。

4b11b02ceec22bbde20f9eafe2444974.png

精度很重要

在 DeepSpeed 代码库的 DeepSpeedZeroOptimizer_Stage3 (顾名思义，处理第 3 阶段优化器分片) 实现代码中，我们注意到 trainable_param_groups (可训参数组) 被传入一个内部函数 _setup_for_real_optimizer，该函数会调用另一个名为 _create_fp32_partitions 的函数。正如其名称中的 fp32 所示，DeepSpeed 内部执行了精度上转，并在设计上始终将主权重保持为 fp32 精度。而上转至全精度意味着：同一个学习率，上转后的优化器可以收敛，而原始低精度下的优化器则可能不会收敛。前述现象就是这种精度差异的产物。

在 FSDP 中，在把模型和优化器参数分片到各 GPU 上之前，这些参数首先会被“展平”为一维张量。FSDP 和 DeepSpeed 对这些“展平”参数使用了不同的 dtype，这会影响 PyTorch 优化器的表现。表 1 概述了两个框架各自的处理流程，“本地？”列说明了当前步骤是否是由各 GPU 本地执行的，如果是这样的话，那么上转的内存开销就可以分摊到各个 GPU。

流程本地？框架详情
模型加载 (如 AutoModel.from_pretrained(..., torch_dtype=torch_dtype))❌

准备，如创建“展平参数”✅FSDP
DeepSpeed		使用 torch_dtype
不管 torch_dtype，直接创建为 float32
优化器初始化✅FSDP
DeepSpeed		用 torch_dtype 创建参数
用 float32 创建参数
训练步 (前向、后向、归约)❌FSDP
DeepSpeed		遵循fsdp.MixedPrecision
遵循 deepspeed_config_file 中的混合精度设置
优化器 (准备阶段)✅FSDP
DeepSpeed		按需上转至 torch_dtype
所有均上转至 float32
优化器 (实际执行阶段)✅FSDP
DeepSpeed		以 torch_dtype 精度进行
以 float32 精度进行

表 1：FSDP 与 DeepSpeed 混合精度处理异同

  • fsdp.MixedPrecisionhttps://pytorch.org/docs/stable/fsdp.html#torch.distributed.fsdp.MixedPrecision

几个要点：

  • 正如 🤗 Accelerate 上的这一问题所述，混合精度训练的经验法则是将可训参数精度保持为 float32。

  • 当在大量 GPU 上进行分片时，上转 (如 DeepSpeed 中所做的那样) 对内存消耗的影响可能可以忽略不计。然而，当在少量 GPU 上使用 DeepSpeed 时，内存消耗会显著增加，高达 2 倍。

  • FSDP 的 PyTorch 原生实现不会强制上转，其支持用户以低精度操作 PyTorch 优化器，因此相比 DeepSpeed 提供了更大的灵活性。

  • 这一问题https://github.com/huggingface/accelerate/issues/2624#issuecomment-2058402753

在 🤗 Accelerate 中对齐 DeepSpeed 和 FSDP 的行为

为了在🤗 Accelerate 中更好地对齐 DeepSpeed 和 FSDP 的行为，我们可以在启用混合精度时自动对 FSDP 执行上转。我们为此做了一个 PR，该 PR 现已包含在0.30.0 版本中了。

  • 0.30.0 版本https://github.com/huggingface/accelerate/releases/tag/v0.30.0

cdbb25770a3c65bbb3f87990fd626d09.png

有了这个 PR，FSDP 就能以两种模式运行：

  • 与 DeepSpeed 一致的混合精度模式

  • 针对内存受限场景的低精度模式，如图 4 所示。

表 2 总结了两种新的 FSDP 模式，并与 DeepSpeed 进行了比较。

框架模型加载 (torch_dtype)混合精度准备 (本地)训练优化器 (本地)
FSDP (低精度模式)bf16缺省 (无)bf16bf16bf16
FSDP (混合精度模式)bf16bf16fp32bf16fp32
DeepSpeedbf16bf16fp32bf16fp32

表 2：两种新 FSDP 模式总结及与 DeepSpeed 的对比

吞吐量测试结果

我们使用IBM Granite 7B模型 (其架构为 Meta Llama2) 进行吞吐量比较。我们比较了模型的浮点算力利用率 (Model Flops Utilization，MFU) 和每 GPU 每秒词元数这两个指标，并针对 FSDP (完全分片) 和 DeepSpeed (ZeRO3) 两个场景进行了测量。

  • IBM Granite 7Bhttps://hf.co/ibm-granite/granite-7b-base

如上文，我们使用 4 张 A100 GPU，超参如下：

  • batch size 为 8

  • 模型加载为 torch.bfloat16

  • 使用 torch.bfloat16 混合精度

表 3 表明 FSDP 和 DeepSpeed 的表现类似，这与我们的预期相符。

随着大规模对齐技术 (如InstructLab及GLAN) 的流行，我们计划对结合各种提高吞吐量的方法 (如，序列组装 + 4D 掩码、torch.compile、选择性 checkpointing) 进行全面的吞吐量对比基准测试。

  • InstructLabhttps://github.com/instructlab

  • GLANhttps://arxiv.org/abs/2402.13064

框架每 GPU 每秒词元数**每步耗时 (s) ****浮点算力利用率 (MFU) **
FSDP (混合精度模式)3158.710.40.41
DeepSpeed3094.510.60.40

表 3：四张 A100 GPU 上 FSDP 和 DeepSpeed 之间的大致吞吐量比较。

最后的话

我们提供了新的概念指南以帮助用户在两个框架之间迁移。该指南可以帮助用户厘清以下问题：

  • 如何实现等效的分片策略？

  • 如何进行高效的模型加载？

  • FSDP 和 DeepSpeed 中如何管理权重预取？

  • 与 DeepSpeed 对等的 FSDP 封装是什么？

我们在 🤗 Accelerate 中考虑了配置这些框架的各种方式:

  • 使用 accelerate launch 从命令行配置

  • 从🤗 Accelerate 提供给DeepSpeedhttps://hf.co/docs/accelerate/main/en/package_reference/deepspeed和FSDPhttps://hf.co/docs/accelerate/main/en/package_reference/fsdp的各种 Plugin 类中配置

🤗 Accelerate 使得在 FSDP 和 DeepSpeed 之间切换非常丝滑，大部分工作都只涉及更改 Accelerate 配置文件 (有关这方面的说明，请参阅新的概念指南) 。

除了配置变更之外，还有一些如检查点处理方式的差异等，我们一并在指南中进行了说明。

本文中的所有实验都可以使用原始 🤗 Accelerate 问题中的代码重现。

  • 概念指南https://hf.co/docs/accelerate/v0.31.0/en/concept_guides/fsdp_and_deepspeed

  • 原始 🤗 Accelerate 问题https://github.com/huggingface/accelerate/issues/2624

我们计划后续在更大规模 GPU 上进行吞吐量比较，并对各种不同技术进行比较，以在保持模型质量的前提下更好地利用更多的 GPU 进行微调和对齐。

致谢

本工作凝聚了来自多个组织的多个团队的共同努力。始于 IBM 研究中心，特别是发现该问题的 Aldo Pareja 和发现精度差距并解决该问题的 Fabian Lim。Zach Mueller 和Stas Bekman在提供反馈和修复 accelerate 的问题上表现出色。Meta PyTorch 团队的 Less Wright 对有关 FSDP 参数的问题非常有帮助。最后，我们还要感谢 DeepSpeed 团队对本文提供的反馈。

  • Stas Bekmanhttps://github.com/stas00

  • DeepSpeedhttps://www.deepspeed.ai/

英文原文: https://hf.co/blog/deepspeed-to-fsdp-and-back

原文作者: Yu Chin Fabian, aldo pareja, Zachary Mueller, Stas Bekman

译者: Matrix Yao (姚伟峰)，英特尔深度学习工程师，工作方向为 transformer-family 模型在各模态数据上的应用及大规模模型的训练推理。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/754946.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

zabbix-server的搭建

zabbix-server的搭建

zabbix-server的搭建 部署 zabbix 服务端(192.168.99.180) rpm -ivh https://mirrors.aliyun.com/zabbix/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm cd /etc/yum.repos.d sed -i s#http://repo.zabbix.com#https://mirrors.aliyun.com/zabbix# zabbix.r…
阅读更多...
关于FPGA对 DDR4 （MT40A256M16）的读写控制 4

关于FPGA对 DDR4 （MT40A256M16）的读写控制 4

关于FPGA对 DDR4 （MT40A256M16）的读写控制 4 语言 ：Verilg HDL 、VHDL EDA工具：ISE、Vivado、Quartus II 关于FPGA对 DDR4 （MT40A256M16）的读写控制 4一、引言二、DDR4 SDRAM设备中模式寄存器重要的模式寄存…
阅读更多...
Arduino - LED 矩阵

Arduino - LED 矩阵

Arduino - LED 矩阵 Arduino - LED Matrix LED matrix display, also known as LED display, or dot matrix display, are wide-used. In this tutorial, we are going to learn: LED矩阵显示器，也称为LED显示器，或点阵显示器，应用广泛。在…
阅读更多...
“Hello, World!“ 历史由来

“Hello, World!“ 历史由来

布莱恩W.克尼汉（Brian W. Kernighan）—— Unix 和 C 语言背后的巨人 布莱恩W.克尼汉在 1942 年出生在加拿大多伦多，他在普林斯顿大学取得了电气工程的博士学位，2000 年之后取得普林斯顿大学计算机科学的教授教职。 1973 年&#…
阅读更多...
C++ | Leetcode C++题解之第203题移除链表元素

C++ | Leetcode C++题解之第203题移除链表元素

题目： 题解： class Solution { public:ListNode* removeElements(ListNode* head, int val) {struct ListNode* dummyHead new ListNode(0, head);struct ListNode* temp dummyHead;while (temp->next ! NULL) {if (temp->next->val val) {…
阅读更多...
小柴冲刺软考中级嵌入式系统设计师系列一、计算机系统基础知识（1）嵌入式计算机系统概述

小柴冲刺软考中级嵌入式系统设计师系列一、计算机系统基础知识（1）嵌入式计算机系统概述

flechazohttps://www.zhihu.com/people/jiu_sheng 小柴冲刺嵌入式系统设计师系列总目录https://blog.csdn.net/qianshang52013/article/details/139975720?spm1001.2014.3001.5501 根据IEEE（国际电气电子工程师协会）的定义，嵌入式系统是&q…
阅读更多...
Linux高并发服务器开发（六）线程

Linux高并发服务器开发（六）线程

文章目录 1. 前言2 线程相关操作3 线程的创建4 进程数据段共享和回收5 线程分离6 线程退出和取消7 线程属性（了解）8 资源竞争9 互斥锁9.1 同步与互斥9.2 互斥锁 10 死锁11 读写锁12 条件变量13 生产者消费者模型14 信号量15 哲学家就餐 1. 前言 进程是C…
阅读更多...
哪吒汽车，正在等待“太乙真人”的拯救

哪吒汽车，正在等待“太乙真人”的拯救

文丨刘俊宏 在360创始人、哪吒汽车股东周鸿祎近日连续且着急的“督战”中，哪吒汽车（下简称哪吒）终究还是顶不住了。 6月26日，哪吒通过母公司合众新能源在港交所提交了IPO文件，急迫地希望成为第五家登陆港股的造车新势力…
阅读更多...
uniapp中实现瀑布流 短视频页面展示

uniapp中实现瀑布流 短视频页面展示

直接上干货 第一部分为结构 <swiper class"list" :currentindex change"swiperchange" scrolltolower"onReachBottom"><swiper-item style"overflow: scroll;" v-for"(item,index) in 2" :key"index"&g…
阅读更多...
DataV大屏组件库

DataV大屏组件库

DataV官方文档 DataV组件库基于Vue &#xff08;React版 (opens new window)&#xff09; &#xff0c;主要用于构建大屏&#xff08;全屏&#xff09;数据展示页面即数据可视化&#xff0c;具有多种类型组件可供使用&#xff1a; 源码下载
阅读更多...
Golang | Leetcode Golang题解之第204题计数质数

Golang | Leetcode Golang题解之第204题计数质数

题目&#xff1a; 题解&#xff1a; func countPrimes(n int) int {primes : []int{}isPrime : make([]bool, n)for i : range isPrime {isPrime[i] true}for i : 2; i < n; i {if isPrime[i] {primes append(primes, i)}for _, p : range primes {if i*p > n {break}…
阅读更多...
智能交通（1）——杭州交通数据集

智能交通（1）——杭州交通数据集

赛题简介 在本地赛题中&#xff0c;参赛团队需要在平台提供的仿真交通场景下&#xff0c;通过算法模型驱动交通信号灯&#xff0c;以在各种交通状况&#xff08;高峰期、雨天等&#xff09;下都能最大程度地服务车辆&#xff0c;使其在模拟环境中获得综合最大得分。 数据集 …
阅读更多...
Docker 部署 MariaDB 数据库 与 Adminer 数据库管理工具

Docker 部署 MariaDB 数据库 与 Adminer 数据库管理工具

文章目录 MariaDBmariadb.cnf开启 binlog Adminerdocker-compose.ymlAdminer 连接 MariaDB MariaDB MariaDB是一个流行的开源关系型数据库管理系统&#xff08;RDBMS&#xff09;&#xff0c;它是MySQL的一个分支和替代品。 官网&#xff1a;https://mariadb.com/镜像&#xff…
阅读更多...
GPU算力是什么，哪些行业需要用到GPU算力？

GPU算力是什么，哪些行业需要用到GPU算力？

近两年&#xff0c;计算能力已成为推动各行各业发展的关键因素。而GPU&#xff08;图形处理器&#xff09;算力&#xff0c;作为现代计算技术的重要分支&#xff0c;正逐渐在多个领域展现出其强大的潜力和价值。尚云将简要介绍GPU算力的定义和基本原理&#xff0c;并探讨其在哪…
阅读更多...
对于CDA一级考试该咋准备？？！

对于CDA一级考试该咋准备？？！

一、了解考试内容和结构 CDA一级考试主要涉及的内容包括&#xff1a;数据分析概述与职业操守、数据结构、数据库基础与数据模型、数据可视化分析与报表制作、Power BI应用、业务数据分析与报告编写等。 CDA Level Ⅰ 认证考试大纲:https://edu.cda.cn/group/4/thread/174335 …
阅读更多...
从架构设计的角度分析ios自带网络库和AFNetworking

从架构设计的角度分析ios自带网络库和AFNetworking

总结&#xff08;先说明文章分析出的一些‘认知’&#xff09; 从本文中&#xff0c;我们可以总结出一些框架设计上的“认知”&#xff1a; 对于通用的常规配置信息方面的设计&#xff0c;我们可以通过定义一个“类似于NSURLSessionConfiguration、NSURLRequest”的类来完成设…
阅读更多...
Python | Leetcode Python题解之第203题移除链表元素

Python | Leetcode Python题解之第203题移除链表元素

题目&#xff1a; 题解&#xff1a; # Definition for singly-linked list. # class ListNode: # def __init__(self, val0, nextNone): # self.val val # self.next next class Solution:def removeElements(self, head: ListNode, val: int) -> Li…
阅读更多...
ArkTS自定义组件

ArkTS自定义组件

一、自定义组件基本结构 // 定义自定义组件 ButtonCom.ets Component export struct BtnCom{State msg: string "按钮";build() {Row(){Text(this.msg).onClick(() > {this.msg "测试"})}} } // 引入自定义组件 import {BtnCom} from "./Butto…
阅读更多...
[Go Web] Kratos 使用的简单总结

[Go Web] Kratos 使用的简单总结

文章目录 1.Kratos 简介2.传输协议3.日志4.错误处理5.配置管理6.wire 1.Kratos 简介 Kratos并不绑定于特定的基础设施&#xff0c;不限定于某种注册中心&#xff0c;或数据库ORM等&#xff0c;所以您可以十分轻松地将任意库集成进项目里&#xff0c;与Kratos共同运作。 API -&…
阅读更多...
正版软件 | R-Drive Image：数据安全守护者，您的智能备份专家

正版软件 | R-Drive Image：数据安全守护者，您的智能备份专家

在数字化时代&#xff0c;数据安全的重要性不言而喻。R-Drive Image 是一款功能强大的备份和恢复软件&#xff0c;为您提供了全面的解决方案&#xff0c;确保您的数据安全无忧。 精确备份&#xff0c;全面保护 R-Drive Image 能够创建硬盘驱动器的逐字节副本&#xff0c;无论是…
阅读更多...
最新文章

Copyright @ 2022~2023