大语言模型微调与 XTuner 微调实战

1 大语言模型微调

1.1 什么是微调

大语言模型微调（Fine-tuning of Large Language Models）是指在预训练的大型语言模型基础上，使用特定任务的数据进一步训练模型，以使其更好地适应和执行特定任务的过程，用于使LLM（Large Language Models）获得处理特殊任务的能力。

1.2 微调范式

LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式：

1.2.1 增量预训练微调

使用场景：让基座模型学习到一些新知识，如某个垂类领域的常识
训练数据：文章、书籍、代码等
增量训练的数据都是一个一个的陈述句，没有问答形式存在。

为了让LLM知道什么时候开始一段话，什么时候结束一段话，实际训练时需要对数据添加起始符（BOS）和结束符(EOS)。大多数的模型都是使用 < s >作为起始符，< / s> 作为结束符。
示例：< s >世界第一高峰是珠穆朗玛峰< /s >

训练LLM时，为了让模型学会“世界第一高峰是珠穆朗玛峰”，并知道何时停止，对应的训练数据以及标签如下所示：
在这里插入图片描述

1.2.2 指令跟随微调

使用场景：让模型学会对话模板，根据人类指令进行对话
训练数据：高质量的对话、问答数据

在实际对话时，通常会有三种角色：

System：给定一些上下文信息，比如“你是一个安全的AI助手
User：实际用户，会提出一些问题，比如“世界第一高峰是？“
Assistant：根据User的输入，结合System的上下文信息，做出回答.比如“珠穆朗玛峰”

在使用对话模型时，通常是不会感知到这三种角色的。

在这里插入图片描述

简单示例：
在这里插入图片描述

对话模板
对话模板是为了能够让LLM区分出，System、User和Assistant，不同的模型会有不同的模板。
Loss 计算
不同于增量预训练微调，数据中会有 Input 和 Output，希望模型学会的是答案(Output)，而不是问题 (Input)，训练时只会对答案 (Output) 部分计算Loss。
训练时，会和推理时保持一致，对数据添加相应的对话模板，以下为InternLM的训练数据和标签

2 微调原理

2.1 LORA

Lora（Low-Rank Adaptation of Large Langage Models）,大语言模型的低阶适应，是一种参数高效性微调方法。

详情请见论文 Lora: Low-Rank Adaptation of Large Langage Models。

LLM的参数量主要集中在模型中的Linear，训练这些参数会耗费大量的显存。LoRA通过在原本的Linear旁，新增一个支路，包含两个连续的小Linear，新增的这个支路通常叫做Adapter，Adapter参数量远小于原本的Linear，能大幅降低训练的显存消耗。

LoRA利用对应下游任务的数据，只通过训练新加部分参数来适配下游任务。当训练好新的参数后，将新参数和老的模型参数合并，这样既能在新任务上到达fine-tune整个模型的效果，又不会在推理的时候增加耗时。

在这里插入图片描述

图中蓝色部分为预训练好的模型参数，LoRA 在预训练好的模型结构旁边加入了 A 和 B 两个结构，这两个结构的参数分别初始化为高斯分布和 0。A 的输入维度和 B 的输出维度分别与原始模型的输入输出维度相同，而A的输出维度和B 的输入维度是一个远小于原始模型输入输出维度的值，这就是 low-rank 的体现，可以极大地减少待训练的参数。

在训练时只更新 A、B 构成的 Adapter 的参数，预训练好的模型参数是固定不变的。在推断时利用重参数思想，将 Adapter 与 W 合并，这样在推断时不会引入额外的计算。而且对于不同的下游任务，只需要在预训练模型基础上重新训练 Adapter，这样也能加快大模型的训练节奏。

BaseModel:

BaseModel 参与训练并更新参数
需要保存 BaseModel 中参数的优化器状态

LoRA:

BaseModel 只参与 Forward
只有 Adapter 部分 Backward 更新参数
只需保存 Adapter 中参数的优化器状态

2.1.1 本征维度

LoRA的工作原理是因为大模型存在本征维度的概念，只需要调整少量参数就能在下游任务上得到很好的效果。

对于一个参数量为D的模型，训练该模型，也就意味着在D维空间上寻找有效的解。但是D可能是冗余的，可能实际上只需要优化其中的d个参数就可以找到一个有效的解。

公式：
$\quad\theta^{(D)}=\theta_0^{(D)}+P\theta^{(d)}$

$\theta^{(D)}$ 表示模型原有的 $D$ 维的优化参数，这写参数是在训练时需要不断更新的
$\theta_0^{(D)}$ 表示随机初始化的一个参数并且在训练时是不进行更新的， $P$ 是一个随机初始化的 $D \times d$ 大小的矩阵且训练时也不进行更新
$θ$ 表示待优化的 $d$ 维参数。也就是说可以在训练网络时只更新d维参数，就可以达到该网络应有的效果
这个 $d$ 就是所谓的该模型的本征维度

在这里插入图片描述

预训练模型表征能力越强（训练得越好），本征维度越小；模型参数量越大，本征维度越小；泛化性能越好，本征维度越小。

2.2 QLORA

QLoRA是一种高效的模型微调方法，使用一种新颖的高精度技术将预训练模型量化为4-bit，然后添加一小组可学习的低秩适配器权重（ Low-rank Adapter weights），这些权重通过量化权重的反向传播梯度进行调优。
在这里插入图片描述
QLORA包含一种低精度存储数据类型（4-bit NormalFloat，简写为NF4）和一种计算数据类型（16-bit BrainFloat）。在实践中，QLORA权重张量使用时，需要将将张量去量化为BFloat16，然后在16位计算精度下进行矩阵乘法运算，在计算梯度时只对LoRA的参数计算梯度。

详情请见论文 QLoRA: Efficient Finetuning of Quantized LLMs

BaseModel 量化为 4-bit
优化器状态在 CPU 与 GPU 间 Offload
BaseModel 只参与Forward
只有 Adapter 部分 Backward 更新参数
只需保存 Adapter 中参数的优化器状态

3 XTuner 微调实践

3.1 XTuner

XTuner 是一个高效、灵活且全能的大模型微调工具库，兼容多种大语言模型和多模态图文模型的预训练与微调，支持各种数据格式和微调算法。提供增量预训练、指令微调与 Agent 微调等多种微调方式。
在这里插入图片描述

3.1.1 XTuner数据引擎

XTuner数据引擎支持多数据样本拼接，增强并行性，充分利用显存资源。

在这里插入图片描述

3.1.2 优化技巧

Flash Attention 和 DeepSpeed ZeRO 是 XTuner 最重要的两个优化技巧。

Flash Attention
Flash Attention 将 Attention 计算并行化，避免了计算过程中Attention Score NxN的显存占用（训练过程中的N都比较大）。XTuner 默认启动Flash Attention。
DeepSpeed ZeRO
ZeRO 优化，通过将训练过程中的参数、梯度和优化器状态切片保存，能够在多 GPU 训练时显著节省显存。除了将训练中间状态切片外，DeepSpeed 训练时使用 FP16 的权重，相较于 Pytorch 的 AMP 训练，在单 GPU 上也能大幅节省显存。

在这里插入图片描述

3.2 实践环境配置与数据准备

本节中，我们将演示如何安装 XTuner。推荐使用 Python-3.10 的 conda 虚拟环境安装 XTuner。

3.2.1 环境配置

步骤 0. 使用 conda 先构建一个 Python-3.10 的虚拟环境

cd ~
#git clone 本repo
git clone https://github.com/InternLM/Tutorial.git -b camp4
mkdir -p /root/finetune && cd /root/finetune
conda create -n xtuner-env python=3.10 -y
conda activate xtuner-env

步骤 1. 安装 XTuner

git clone https://github.com/InternLM/xtuner.git
cd /root/finetune/xtuner

pip install  -e '.[all]'
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cu121
pip install transformers==4.39.0

如果安装出错：

ERROR: Could not find a version that satisfies the requirement
bitsandbytes>=0.40.0.post4 (from xtuner) (from versions: none)

可以 Ctrl + C 退出后换成 pip install --trusted-host mirrors.aliyun.com -e ‘.[deepspeed]’ -i https://mirrors.aliyun.com/pypi/simple/

查看安装：

pip show xtuner

3.2.2 数据准备

步骤 0. 创建一个新的文件夹用于存储微调数据

mkdir -p /root/finetune/data && cd /root/finetune/data
cp -r /root/Tutorial/data/assistant_Tuner.jsonl  /root/finetune/data

步骤 1. 创建修改脚本
我们写一个脚本生成修改我们需要的微调训练数据，在当前目录下创建一个 change_script.py 文件，内容如下：

# 创建 `change_script.py` 文件
touch /root/finetune/data/change_script.py

change_script.py内容如下

import json
import argparse
from tqdm import tqdm

def process_line(line, old_text, new_text):
    # 解析 JSON 行
    data = json.loads(line)
    
    # 递归函数来处理嵌套的字典和列表
    def replace_text(obj):
        if isinstance(obj, dict):
            return {k: replace_text(v) for k, v in obj.items()}
        elif isinstance(obj, list):
            return [replace_text(item) for item in obj]
        elif isinstance(obj, str):
            return obj.replace(old_text, new_text)
        else:
            return obj
    
    # 处理整个 JSON 对象
    processed_data = replace_text(data)
    
    # 将处理后的对象转回 JSON 字符串
    return json.dumps(processed_data, ensure_ascii=False)

def main(input_file, output_file, old_text, new_text):
    with open(input_file, 'r', encoding='utf-8') as infile, \
         open(output_file, 'w', encoding='utf-8') as outfile:
        
        # 计算总行数用于进度条
        total_lines = sum(1 for _ in infile)
        infile.seek(0)  # 重置文件指针到开头
        
        # 使用 tqdm 创建进度条
        for line in tqdm(infile, total=total_lines, desc="Processing"):
            processed_line = process_line(line.strip(), old_text, new_text)
            outfile.write(processed_line + '\n')

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description="Replace text in a JSONL file.")
    parser.add_argument("input_file", help="Input JSONL file to process")
    parser.add_argument("output_file", help="Output file for processed JSONL")
    parser.add_argument("--old_text", default="尖米", help="Text to be replaced")
    parser.add_argument("--new_text", default="闻星", help="Text to replace with")
    args = parser.parse_args()

    main(args.input_file, args.output_file, args.old_text, args.new_text)

然后修改如下：修改 --new_text 中 default=“闻星” 为你的名字：
在这里插入图片描述

步骤 2. 执行脚本

# usage：python change_script.py {input_file.jsonl} {output_file.jsonl}
cd ~/finetune/data
python change_script.py ./assistant_Tuner.jsonl ./assistant_Tuner_change.jsonl

assistant_Tuner_change.jsonl 是修改后符合 XTuner 格式的训练数据。

步骤 3. 查看数据

cat assistant_Tuner_change.jsonl | head -n 3

3.3 模型启动

步骤 0. 复制模型

在InternStudio开发机中的已经提供了微调模型，可以直接软链接即可。

本模型位于/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat

mkdir /root/finetune/models

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/finetune/models/internlm2_5-7b-chat

步骤 1. 修改 Config
获取官方写好的 config，修改部分为

cd /root/finetune
mkdir ./config
cd config
xtuner copy-cfg internlm2_5_chat_7b_qlora_alpaca_e3 ./

#######################################################################
#                          PART 1  Settings                           #
#######################################################################
- pretrained_model_name_or_path = 'internlm/internlm2_5-7b-chat'
+ pretrained_model_name_or_path = '/root/finetune/models/internlm2_5-7b-chat'

- alpaca_en_path = 'tatsu-lab/alpaca'
+ alpaca_en_path = '/root/finetune/data/assistant_Tuner_change.jsonl'


evaluation_inputs = [
-    '请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
+    '请介绍一下你自己', 'Please introduce yourself'
]

#######################################################################
#                      PART 3  Dataset & Dataloader                   #
#######################################################################
alpaca_en = dict(
    type=process_hf_dataset,
-   dataset=dict(type=load_dataset, path=alpaca_en_path),
+   dataset=dict(type=load_dataset, path='json', data_files=dict(train=alpaca_en_path)),
    tokenizer=tokenizer,
    max_length=max_length,
-   dataset_map_fn=alpaca_map_fn,
+   dataset_map_fn=None,
    template_map_fn=dict(
        type=template_map_fn_factory, template=prompt_template),
    remove_unused_columns=True,
    shuffle_before_pack=True,
    pack_to_max_length=pack_to_max_length,
    use_varlen_attn=use_varlen_attn)

步骤 2. 启动微调
完成了所有的准备工作后，我们就可以正式的开始我们下一阶段的旅程：XTuner 启动~！

当我们准备好了所有内容，我们只需要将使用 xtuner train 命令令即可开始训练。

xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。这里我们使用修改好的配置文件
internlm2_5_chat_7b_qlora_alpaca_e3_copy.py。
训练过程中产生的所有文件，包括日志、配置文件、检查点文件、微调后的模型等，默认保存在 work_dirs 目录下，我们也可以通过添加
–work-dir 指定特定的文件保存位置。–deepspeed 则为使用 deepspeed， deepspeed 可以节约显存。

运行命令进行微调：

cd /root/finetune
conda activate xtuner-env

xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner

步骤 3. 权重转换

模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件，那么我们可以通过以下命令来实现一键转换。

我们可以使用 xtuner convert pth_to_hf 命令来进行模型格式转换。

xtuner convert pth_to_hf 命令用于进行模型格式转换。该命令需要三个参数：
CONFIG 表示微调的配置文件，
PATH_TO_PTH_MODEL 表示微调的模型权重文件路径，即要转换的模型权重，
SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。

除此之外，我们其实还可以在转换的命令中添加几个额外的参数，包括：

参数名	解释
–fp32	代表以fp32的精度开启，假如不输入则默认为fp16
–max-shard-size {GB}	代表每个权重文件最大的大小（默认为2GB）

cd /root/finetune/work_dirs/assistTuner

conda activate xtuner-env

# 先获取最后保存的一个pth文件
pth_file=`ls -t /root/finetune/work_dirs/assistTuner/*.pth | head -n 1 | sed 's/:$//'`
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_5_chat_7b_qlora_alpaca_e3_copy.py ${pth_file} ./hf

转换完成后，可以看到模型被转换为 HuggingFace 中常用的 .bin 格式文件，这就代表着文件成功被转化为 HuggingFace 格式了。

此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”。

可以简单理解：LoRA 模型文件 = Adapter。

步骤 4. 模型合并
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。

对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter，因此是不需要进行模型整合的。

在 XTuner 中提供了一键合并的命令 xtuner convert merge，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。

xtuner convert merge 命令用于合并模型。该命令需要三个参数：LLM 表示原模型路径，ADAPTER 表示 Adapter 层的路径， SAVE_PATH 表示合并后的模型最终的保存路径。

参数名	解释
–max-shard-size {GB}	代表每个权重文件最大的大小（默认为2GB）
–device {device_name}}	这里指的就是device的名称，可选择的有cuda、cpu和auto，默认为cuda即使用gpu进行运算
–is-clip	这个参数主要用于确定模型是不是CLIP模型，假如是的话就要加上，不是就不需要添加

在模型合并完成后，我们就可以看到最终的模型和原模型文件夹非常相似，包括了分词器、权重文件、配置信息等等。

3.4 模型 WebUI 对话

微调完成后，我们可以再次运行 xtuner_streamlit_demo.py 脚本来观察微调后的对话效果，不过在运行之前，我们需要将脚本中的模型路径修改为微调后的模型的路径。

cd ~/Tutorial/tools/L1_XTuner_code

直接修改脚本文件第18行

model_name_or_path = “Shanghai_AI_Laboratory/internlm2_5-7b-chat”

model_name_or_path = “/root/finetune/work_dirs/assistTuner/merged”

然后，我们可以直接启动应用。

conda activate xtuner-env

streamlit run /root/Tutorial/tools/L1_XTuner_code/xtuner_streamlit_demo.py

运行后，确保端口映射正常，如果映射已断开则需要重新做一次端口映射。

ssh -CNg -L 8501:127.0.0.1:8501 用户名@你的服务器域名或者IP -p SSH端口号

最后，通过浏览器访问:

在这里插入图片描述