在增量预训练阶段或有监督微调阶段使用高效微调方法（Lora）时会产生adapter文件，相当于是一个“补丁”。那么如何将“补丁”与原始模型合并呢？

下面将对模型合并代码进行解读。

相关代码将全部上传到github：

https://github.com/hjandlm/LLM_Train

欢迎关注公众号

代码解读

1. 导入包

import argparse
from loguru import logger

import torch
from peft import PeftModel, PeftConfig
from transformers import (
    AutoModel,
    AutoTokenizer