LLM——用于微调预训练大型语言模型（LLM）的GPU内存优化与微调

前言

GPT-4、Bloom 和 LLaMA 等大型语言模型（LLM）通过扩展至数十亿参数，实现了卓越的性能。然而，这些模型因其庞大的内存需求，在部署进行推理或微调时面临挑战。这里将探讨关于内存的优化技术，旨在估计并优化在 LLM 推理以及在多样化硬件配置上进行微调过程中的内存消耗。

首先，需要认识到大型语言模型在运行时的内存消耗主要受以下几个因素影响：

  1. 模型规模：模型拥有的参数数量直接决定了其对内存的需求。参数数量越多，模型文件体积越大，加载和执行模型所需的内存也就越多。
  2. 输入数据量：处理的输入数据量增加，也会相应增加内存的使用。例如，处理更长的文本序列或更复杂的查询任务将需要更多的内存资源。
  3. 并行计算：虽然并行处理可以加快模型的执行速度，但同时也可能导致内存消耗的增加，因为每个处理核心可能都需要存储模型的一部分数据。
  4. 优化策略：采用模型剪枝、量化或知识蒸馏等技术可以有效减少模型的大小，从而降低其内存占用。

内存计算

加载大型语言模型（LLM）所需的内存量主要受模型参数的数量和参数存储所使用的数值精度的影响。在推理过程中，内存占用主要受以下两个因素影响：

  1. 模型参数：加载模型本身所需的内存量。
  2. 激活张量：在推理过程中，模型的每层都会产生临时的激活张量，这些张量同样需要占用内存。

推理期间的峰值内存使用量可以粗略地估算为加载模型参数所需的内存与激活张量所需的内存之和。
以下估算所需内存的量示例：

  • 对于以32位浮点数（即单精度浮点数）存储的模型，每十亿（Billion）参数大约需要4X GB的VRAM。
  • 对于以16位浮点数（如bfloat16或float16）存储的模型，每十亿参数大约需要2X GB的VRAM。

以拥有175B（即175十亿）参数的GPT-3模型为例，若采用bfloat16精度，则加载该模型将需要大约350GB的VRAM。截至目前，市面上最大的商用GPU，如NVIDIA的A100或H100，通常仅提供最高80GB的VRAM。因此，为了有效地部署这些庞大的模型，必须采用张量并行（tensor parallelism）和模型并行（model parallelism）等技术。

量化推理内存

这里使用 OctoCode 模型来量化推理的内存需求，该模型具有大约 15 亿个 bfloat16 格式的参数（约 31GB）。将使用transformers加载模型并生成文本：

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
import torch
model = AutoModelForCausalLM.from_pretrained("bigcode/octocoder",
torch_dtype=torch.bfloat16,
device_map="auto",
pad_token_id=0)
tokenizer = AutoTokenizer.from_pretrained("bigcode/octocoder")
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
prompt = "Question: Please write a Python function to convert bytes to gigabytes.nnAnswer:"
result = pipe(prompt, max_new_tokens=60)[0]["generated_text"][len(prompt):]
def bytes_to_gigabytes(bytes):
return bytes / 1024 / 1024 / 1024
bytes_to_gigabytes(torch.cuda.max_memory_allocated())

输出：

29.0260648727417

峰值GPU内存使用量大约为29GB，这一数值与我们估算的用于加载bfloat31格式模型参数所需的16GB内存大致相符。通过量化技术优化推理内存使用，尽管bfloat16是训练大型语言模型（LLM）时常用的数值精度，但研究人员已经发现，将模型权重量化为更低精度的数据类型，例如8位整数（int8）或4位整数，可以在最小化推理任务精度损失的同时显著减少内存使用量。这种方法特别适用于文本生成等场景，其中模型的输出主要由其生成的文本序列的质量来评估，而不是由模型的精确数值精度决定。

bfloat16、int8、int4 是数据类型的缩写，它们用于在机器学习和深度学习中以不同的精度表示数值。

  1. bfloat16 (Brain Floating Point 16-bit):bfloat16是一种浮点数格式，提供了与32位单精度浮点数（fp32）相似的动态范围，但只使用了16位的存储空间。它在深度学习中被用于减少模型的内存占用，同时尽量保持较高的数值精度。
  2. int8 (8-bit Integer):int8是一种整数格式，能够表示-128到127的整数值。在深度学习模型的量化中，int8常用于减少模型大小和内存需求，加快推理速度，但相比于浮点数，它会有一定的精度损失。
  3. int4 (4-bit Integer):int4是一种低精度的整数格式，用于表示较小的整数值。在量化中使用int4可以进一步减少模型的内存占用，但这种精度的降低可能会导致较大的精度损失，适用于对精度要求不高的应用场景。

在深度学习中，从标准的32位单精度浮点数（fp32）到更低精度的格式（如bfloat16、int8或int4）的转换，可以在模型部署时显著减少内存占用和提高计算速度，但这种转换需要在模型精度和性能之间做出权衡。量化是实现模型优化以适应不同硬件平台的常用技术之一。

量化的优势在于它减少了模型文件的大小，从而降低了加载模型到内存中所需的空间。此外，量化还可以减少模型在推理时的计算需求，因为较低精度的运算通常比高精度的运算更快、更高效。

让我们看看 OctoCode 模型的 8 位和 4 位量化所节省的内存：

# 8-bit quantization
model = AutoModelForCausalLM.from_pretrained("bigcode/octocoder", load_in_8bit=True, 
pad_token_id=0)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
result = pipe(prompt, max_new_tokens=60)[0]["generated_text"][len(prompt):]
bytes_to_gigabytes(torch.cuda.max_memory_allocated())</pre>

输出：

`15.219234466552734`

#4-bit quantization
model = AutoModelForCausalLM.from_pretrained("bigcode/octocoder", load_in_4bit=True,
low_cpu_mem_usage=True, pad_token_id=0)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
result = pipe(prompt, max_new_tokens=60)[0]["generated_text"][len(prompt):]
bytes_to_gigabytes(torch.cuda.max_memory_allocated())

输出：

9.543574333190918

通过采用8位量化，模型的内存需求可以从31GB降低到15GB，而进一步采用4位量化可以将内存需求减少至仅9.5GB。这样的内存优化使得在消费级GPU，如具有3090GB VRAM的RTX 15，运行拥有24B（即240亿）参数的OctoCode模型成为可能。

然而，需要注意的是，相比于4位或bfloat8（即8位浮点数）精度，更激进的量化策略（例如16位）有时可能会导致模型精度的下降。因此，用户应根据自己的应用场景仔细评估内存节省和准确性之间的权衡。

量化技术是一种强大的工具，它通过显著减少内存占用，使得大型语言模型（LLM）能够在资源受限的环境中部署，这包括云服务器实例、边缘设备，甚至是移动设备。量化不仅有助于降低模型的存储和传输需求，还可以减少模型推理时的计算负载，从而提高运行效率。

量化也会对模型的精度产生一定的影响，具体如下：

  1. 精度损失：量化过程中将浮点数转换为整数或更低精度的格式，这会导致数值表示的精度降低。模型权重和激活函数的量化可能会导致模型无法精确地表示其原始参数，从而影响模型的性能。
  2. 过拟合风险：量化可能会改变模型的学习动态，有时会导致过拟合的风险增加。这是因为量化后的模型可能更容易记住训练数据中的噪声，而不是学习泛化的模式。
  3. 梯度稀疏：在训练过程中使用量化可能会减少梯度的非零值数量，导致梯度稀疏。这可能会影响梯度下降算法的效率，从而影响模型的训练效果。
  4. 特定层的影响：量化对模型中不同层的影响可能不同。例如，深度学习网络的早期层通常对输入数据进行高度非线性变换，这些层可能对量化更敏感。
  5. 数据类型选择：选择不同的量化数据类型（如int8、int16、bfloat16等）对精度的影响也不同。一般来说，数据类型的位数越多，量化误差越小，但内存和计算成本也越高。
  6. 量化感知训练：为了减少量化对精度的负面影响，可以采用量化感知训练（Quantization Aware Training, QAT）。QAT在训练过程中模拟量化，使模型能够适应量化误差，从而在量化后保持较高的精度。
  7. 量化策略：不同的量化策略（如均匀量化、非均匀量化、逐层量化等）对模型精度的影响也不同。选择合适的量化策略对于在精度和效率之间取得平衡至关重要。
  8. 任务敏感性：不同的应用任务对模型精度的敏感度不同。例如，一些对精度要求极高的任务（如医疗图像分析）可能不适合使用量化，而其他任务（如语音识别）可能能够容忍一定程度的精度损失。

估计内存进行微调

量化确实是为了高效推理而广泛使用的技术，它通过减少模型参数的数值精度来降低模型的内存占用和加速推理过程。然而，在模型训练阶段，尤其是在微调大型语言模型（LLM）时，张量并行性和模型并行性等技术对于管理内存需求同样至关重要。

微调是指在特定任务的数据集上对预训练模型进行额外的训练，以使其更好地适应该任务。由于以下原因，微调期间的峰值内存消耗通常会比推理时高出3-4倍：

  1. 渐变：在训练过程中，需要存储模型参数的渐变信息，以便进行梯度下降等优化操作。
  2. 优化器状态：大多数现代优化器（如Adam）会存储关于模型参数的额外状态信息，如梯度的一阶和二阶矩。
  3. 激活存储：为了进行反向传播，需要存储前向传播过程中的中间激活值。

因此，对于具有X亿个参数的LLM，微调时的内存需求可以保守估计为大约4 * (2X) = 8X GB的VRAM，这里假设使用bfloat16精度。例如，微调一个7B（即70亿）参数的LLaMA模型，每个GPU大约需要7 * 8 = 56GB的显存以bfloat16精度进行微调。这个内存需求超出了当前大多数商用GPU的内存容量，因此需要使用分布式微调技术。

分布式微调涉及在多个GPU或机器上并行地训练模型，这样可以分散内存和计算负载，使得可以处理更大的模型或更复杂的任务。这通常需要额外的通信开销，但通过适当的优化和同步策略，可以有效地利用多个计算资源来训练或微调大型语言模型。

在微调大型模型时，除了内存需求外，还需要考虑计算资源、训练时间、模型性能和最终部署的效率之间的平衡。通过采用适当的量化、并行化技术和优化策略，可以在有限的资源下实现有效的模型微调和部署。

分布式微调技术

为了克服大型模型的 GPU 内存限制，目前有研究人员提出了以下几种分布式微调方法：

  1. 数据并行：经典的数据并行方法在多个 GPU 上复制整个模型，同时分割和分配训练数据批次。这会随着 GPU 数量的增加而线性减少训练时间，但不会减少每个 GPU 的峰值内存需求。
  2. ZeRO 第 3 阶段：一种高级形式的数据并行性，可跨 GPU 划分模型参数、梯度和优化器状态。与传统的数据并行相比，它通过在训练的不同阶段仅在每个 GPU 上保留所需的分区数据来减少内存。
  3. 张量并行：张量并行不是复制模型，而是将模型参数划分为行或列，并将它们分布在 GPU 上。每个 GPU 都在一组分区的参数、梯度和优化器状态上运行，从而节省大量内存。
  4. 流水线并行：该技术将模型层划分到不同的 GPU/worker 上，每个设备执行层的子集。激活在工作人员之间传递，减少了峰值内存，但增加了通信开销。

估计这些分布式方法的内存使用量并非易事，因为参数、梯度、激活和优化器状态的分布因技术而异。此外，不同的组件（例如变压器主体和语言建模头）可能会表现出不同的内存分配行为。

LLMem的GPU内存使用量

LLMem是一种在跨多个 GPU 对 LLM 应用分布式微调方法时准确估计 GPU 内存消耗的解决方案。

[估计 GPU 内存使用情况以微调预训练的 LLM
估计GPU内存使用情况以微调预训练的大型语言模型（LLM），LLMem考虑了多个因素，包括计算前重新组合参数（ZeRO的第三阶段）、反向传播中的输出收集（张量并行性），以及变换器主体和语言建模头部的不同内存分配策略。

实验结果显示，LLMem能够以高达1.6%的误差率估计在单个GPU上微调LLM时的峰值GPU内存使用量，这比最先进的DNNMem的平均误差率**42.6%要准确得多。当将分布式微调方法应用于在多个GPU上运行、参数超过10亿的LLM时，LLMem实现了平均误差率3.0%**的卓越性能。

通过提前准确估算内存需求，LLMem可以帮助用户选择最有效的分布式微调方法，避免内存不足的问题，同时尽可能减少训练时间。这种预先的估算对于确保微调过程的顺利进行和优化计算资源的使用至关重要。

当前研究现状

虽然量化、张量并行和模型并行等技术已经成熟，但研究人员仍在不断探索新方法，以进一步提高大型语言模型（LLM）训练和部署的效率。

  1. LoRA 和 QLoRA：这些技术涉及训练较小的残差适配器模块，用于更新预训练的LLM，使其适应新知识，而不是直接对大量参数进行微调。这种方法能够在保持模型大部分性能的同时，显著节省内存。
  2. FlashAttention：自注意力机制是Transformer模型中的内存和计算瓶颈。FlashAttention通过以线性复杂度逼近标准注意力机制，将输入序列长度的内存需求从二次方降低到线性，从而提高效率。
  3. 混合专家（Mixture of Experts）：这种方法将每个输入数据样本有条件地路由到专门的专家模型，而不是让整个模型对其进行处理。这种动态稀疏性通过仅激活每个样本所需的专家子集来节省内存。
  4. 模型剪枝（Pruning）：研究人员通过迭代删除如注意力头等相对不重要的组件，来探索模型压缩，以此在准确性和内存/速度之间做出权衡。
  5. 卸载（Offloading）：将参数、优化器状态或激活卸载到CPU RAM或磁盘的技术，可以作为对大型模型有限GPU内存的补充，从而允许更大的模型或更长的序列处理。
    这些尖端方法反映了一个活跃的研究生态系统，专注于实现在多样化硬件环境中高效训练和部署LLM的目标，推动了大型模型的民主化进程。通过这些技术，研究人员和工程师可以更灵活地在不同的应用场景中利用LLM，无论是在资源受限的个人设备上还是在大规模的云计算环境中。

结论

大型语言模型的内存要求对其在实际应用中的广泛采用提出了重大挑战。通过了解内存估计技术并利用量化、分布式训练策略和新兴创新，可以优化资源受限设备上的 LLM 部署。
LLMem 等工具为准确的内存估计铺平了道路，使用户能够选择最合适的微调配置。随着硬件的发展和研究的进步，我们可以预见更高效的训练和推理，从而推动自然语言处理和人工智能的进步。
在模型容量、准确性和资源利用率之间取得适当的平衡对于释放跨不同领域和用例的大型语言模型的全部潜力至关重要。通过采用内存优化技术，我们距离最先进的语言人工智能可访问、可扩展和可持续的未来又近了一步。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/596777.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

2025第23届太原煤炭（能源）工业技术与装备展览会

2025第23届太原煤炭（能源）工业技术与装备展览会

第二十三届太原煤炭&#xff08;能源&#xff09;工业技术与装备展览会 邀 请 函 指导单位&#xff1a; 中国煤炭工业协会 主办单位&#xff1a;山西省煤炭工业协会 承办单位&#xff1a;太原奇新展览有限公司 展览时间&#xff1a;2025年4月22-24日 展览地点&#xff1a…
阅读更多...
jenkins+gitlab+sonar自由风格项目配置

jenkins+gitlab+sonar自由风格项目配置

新建项目&基本配置 gitlab侧配置 sonar.projectKeytest_sonar sonar.projectNametest_sonar sonar.projectVersion1.0 sonar.sources. sonar.exclusionssrc/layout/** sonar.sourceEncodingUTF-8 sonar.nodejs.executable/app/nodejs/node-v16.20.2-linux-x64/bin/node配置…
阅读更多...
cURL：命令行下的网络工具

cURL：命令行下的网络工具

序言 在当今互联网时代&#xff0c;我们经常需要与远程服务器通信&#xff0c;获取数据、发送请求或下载文件。在这些情况下&#xff0c;cURL 是一个强大而灵活的工具&#xff0c;它允许我们通过命令行进行各种类型的网络交互。本文将深入探讨 cURL 的基本用法以及一些高级功能…
阅读更多...
智能AI摄像头项目

智能AI摄像头项目

项目概要 硬件说明&#xff1a;易百纳rv1126 38板&#xff0c;易百纳GC2053摄像头&#xff0c;拓展版&#xff08;自绘&#xff09;&#xff0c;屏幕驱动板&#xff08;自绘&#xff09;&#xff0c;3.1inch mipi屏&#xff0c;FT5316触摸屏 开发环境 硬件分析 开发环境及sd…
阅读更多...
数据结构十一：数组相关经典面试题

数据结构十一：数组相关经典面试题

本篇博客详细介绍分析数组/顺序表常见的面试题&#xff0c;对于前面所学知识进行一个巩固&#xff0c;同时介绍一些力扣刷题中的一些概念&#xff1a;如&#xff1a;输出型参数等&#xff0c;在刷题中培养自己的编程思维&#xff0c;掌握常见的编程套路&#xff0c;形成题感&am…
阅读更多...
KernelSU 如何不通过模块，直接修改系统分区

KernelSU 如何不通过模块，直接修改系统分区

刚刚看了术哥发的视频，发现kernelSU通过挂载OverlayFS实现无需模块，即可直接修改系统分区，很是方便，并且安全性也很高，于是便有了这篇文章。 下面的教程与原视频存在差异，建议观看原视频后再结合本文章进行操作。 在未进行修改前，我们打开/system/文件夹，并在里面创建…
阅读更多...
Junit 测试中如何对异常进行断言

Junit 测试中如何对异常进行断言

本文对在 Junit 测试中如何对异常进行断言的几种方法进行说明。 使用 Junit 5 如果你使用 Junit 5 的话，你可以直接使用 assertThrows 方法来对异常进行断言。 代码如下： Exception exception = assertThrows(NumberFormatException.class, () -> {new Integer("on…
阅读更多...
fiscobcos 3.x linux安装与java简单调用

fiscobcos 3.x linux安装与java简单调用

所用环境 vmware 16 Pro centos7.6 jdk11.0.6 ideal 2022 1、安装fiscobcos # 创建操作目录 # cd ~ && mkdir -p fisco && cd fisco# 下载建链脚本 # curl -#LO https://github.com/FISCO-BCOS/FISCO-BCOS/releases/download/v3.6.0/build_chain.sh &a…
阅读更多...
Spring Security + JWT 实现登录认证和权限控制

Spring Security + JWT 实现登录认证和权限控制

Spring Security JWT 实现登录认证和权限控制 准备步骤 准备好一些常用的工具类&#xff0c;比如jwtUtil&#xff0c;redisUtil等。引入数据库&#xff0c;mybatis等&#xff0c;配置好controller&#xff0c;service&#xff0c;mapper&#xff0c;保证能够正常的数据请求。…
阅读更多...
【python】条件语句与循环语句

【python】条件语句与循环语句

目录 一.条件语句 1.定义 2.条件语句格式 &#xff08;1&#xff09;if &#xff08;2&#xff09;if-else &#xff08;3&#xff09;elif功能 &#xff08;4&#xff09;if嵌套使用 3.猜拳游戏 二.循环语句 1. while循环 2.while嵌套 3.for循环 4.break和conti…
阅读更多...
k8s部署skywalking(helm)

k8s部署skywalking(helm)

官方文档 官方文档说明&#xff1a;Backend setup | Apache SkyWalking官方helm源码&#xff1a;apache/skywalking-helm官方下载&#xff08;包括agent、apm&#xff09;:Downloads | Apache SkyWalking 部署 根据官方helm提示&#xff0c;选择你自己部署的方式&#xff0c…
阅读更多...
PyTorch深度学习框架：从入门到实战

PyTorch深度学习框架：从入门到实战

前言 学习 PyTorch 深度学习框架之前先学会深度学习和卷积神经网络 CNN &#xff0c;这样学习起来会更香嗷。 Windows系统下PyTorch的环境配置 Anaconda是什么&#xff1a; Anaconda是一个开源的Python发行版本&#xff0c;专注于数据分析领域。它包含了conda、Python等190多…
阅读更多...
解决python/pycharm中import导入模块时报红却能运行的问题

解决python/pycharm中import导入模块时报红却能运行的问题

一、问题 导入时报红&#xff0c;如下 二、解决 右键单击项目&#xff0c;将项目Mark Directory as→Sources Root 三、效果 报红消失 学习导航&#xff1a;http://www.xqnav.top
阅读更多...
Docker网络基础

Docker网络基础

简介 Docker 本身的技术依赖于近年来 Linux 内核虚拟化技术的发展，Docker 对 Linux 内核的特性有很强的依赖。Docker 使用到的与 Linux 网络有关的主要技术有：网络命名空间、veth 设备对、网桥、ipatables 、路由。 网络命名空间 为了支持网络协议栈的多个实例，Linux在网络栈…
阅读更多...
使用Docker安装Jenkins

使用Docker安装Jenkins

大家好&#xff0c;今天给大家分享如何使用docker安装jenkins&#xff0c;关于docker的安装和常用命令可以参考下面两篇文章&#xff0c;使用docker可以提高资源利用率&#xff0c;能够在不同的环境中轻松迁移和部署应用&#xff0c;在本文中就不过多赘述了。 Docker常用命令 …
阅读更多...
大数据BI可视化(Echarts组件)项目开发-熟悉动画使用功能4.0

大数据BI可视化(Echarts组件)项目开发-熟悉动画使用功能4.0

加载动画 数据源 [{ "gender": "female", "height": 161.2, "weight": 51.6 }, { "gender": "female", "height": 167.5, "weight": 59 }, { "gender": "female", &quo…
阅读更多...
opencv基础篇 ——（十六）图形绘制与填充

opencv基础篇 ——（十六）图形绘制与填充

OpenCV 提供了丰富的图形绘制和填充功能&#xff0c;主要通过 cv::rectangle, cv::circle, cv::line, cv::polylines, cv::fillPoly 和 cv::ellipse 等函数实现。以下是一些基本的图形绘制和填充操作的说明&#xff1a; 矩形: 函数: cv::rectangle语法: cv::rectangle(img, rec…
阅读更多...
一文2500字Robot Framework自动化测试框架超强教程

一文2500字Robot Framework自动化测试框架超强教程

1、Robot Framework简介 Robot Framework是一个基于Python的可扩展关键字驱动的自动化框架&#xff0c;用于验收测试&#xff0c;验收测试驱动开发&#xff08;ATDD&#xff09;&#xff0c;行为驱动开发&#xff08;BDD&#xff09;和机器人流程自动化&#xff08;RPA&#xf…
阅读更多...
SqlException 口令已经失效

SqlException 口令已经失效

Orcle密码过期了 //查看过期时间 SELECT * FROM dba_profiles s WHERE s.profileDEFAULT AND resource_namePASSWORD_LIFE_TIME;//修改过期时间 alter PROFILE DEFAULT LIMIT PASSWORD_LIFE_TIME UNLIMITED;
阅读更多...
Debian是什么？有哪些常用命令

Debian是什么？有哪些常用命令

目录 一、Debian是什么&#xff1f; 二、Debian常用命令 三、Debian和CentOS的区别 四、Debian和CentOS的优缺点 五、Debian和CentOS的运用场景 一、Debian是什么&#xff1f; Debian是一种流行的开源Linux操作系统。 Debian是一个以Linux内核为基础的操…
阅读更多...
最新文章

Copyright @ 2022~2023