XTuner 大模型单卡低成本微调实战
- 0. 课程链接
- 1. 课后作业
- 1.2 进阶作业
0. 课程链接
课程链接:https://github.com/InternLM/tutorial/blob/main/xtuner/README.md
1. 课后作业
构建数据集,使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手,效果如下图所示,本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称!
微调前(回答比较官方)
微调后(对自己的身份有了清晰的认知)
这个作业就是不断给AI模型喂数据,直到完成给AI洗脑的目标,好比当一个人告诉你太阳是方的,你不相信,当一亿人反复告诉你太阳是方的,你再看太阳,真的变方了。你方了吗?
1.2 进阶作业
将训练好的Adapter模型权重上传到 OpenXLab、Hugging Face 或者 MoelScope 任一一平台。
待办Todo