【参考：tutorial/xtuner/README.md at main · InternLM/tutorial】
【参考：(4)XTuner 大模型单卡低成本微调实战_哔哩哔哩_bilibili-【OpenMMLab】】
总结
- 学到了
linux系统中 tmux 的使用
- 了解了
XTuner 大模型微调框架的使用
pth格式参数转Hugging Face格式
Merge模型参数
学习记录
tmux
apt update -y # 更新源
apt install tmux -y # 安装
tmux new -s finetune # 新建一个名称为finetune的session
现在进入了finetune的session
按ctrl+b 然后放开按键，再按d，离开
tmux attach -t finetune # 回到finetune
输入
xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py --deepspeed deepspeed_zero2
作业
【参考：tutorial/xtuner/self.md at main · InternLM/tutorial】
在本地终端输入以下指令.
6006是在服务器中打开的端口，而35144是根据开发机的端口进行更改。
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 35144
数据2000条，2个epoch，感觉不太行
数据10000条，3个epoch
