个人笔记目录

一、lora 微调 alpaca 笔记

二、全量微调 Llama2-7b笔记

三、Huggingface trainer 与 from_pretrained简单介绍（笔记）

四、vscode调试launch.json常用格式

五、huggingface generate函数简介

六、Trl: llama2-7b-hf使用QLora 4bit量化后ds zero3加上flash atten v2单机多卡训练(笔记)

六、chatglm相关笔记

八、deepspeed chat相关笔记

九、Trl 不同trainer笔记

一、lora 微调 alpaca 笔记

微调alpaca-lora遇到的一些问题-CSDN博客文章浏览阅读297次，点赞2次，收藏5次。环境：系统：Ubuntupeft：0.9.0。https://blog.csdn.net/qq_16555103/article/details/136921779

二、全量微调 Llama2-7b笔记

全量微调Llama2-7b遇到的错误(stanford_alpaca)_cannot import name 'openai_object' from 'openai-CSDN博客文章浏览阅读675次，点赞20次，收藏9次。模型：Llama-2-7b-chat-hf。openai的版本不对，更换版本。_cannot import name 'openai_object' from 'openaihttps://blog.csdn.net/qq_16555103/article/details/136998043

三、Huggingface trainer 与 from_pretrained简单介绍（笔记）

Huggingface trainer 与 from_pretrained简单介绍（笔记）_trainer.place_model_on_device-CSDN博客文章浏览阅读372次，点赞4次，收藏7次。总的来说,这个函数负责完成训练前的所有准备工作,包括加载检查点、设置超参数搜索、配置训练环境等,最终调用内部训练循环执行实际的训练过程。它提供了一些可配置选项,如从检查点恢复训练、超参数搜索和忽略评估时的某些键等,以满足不同的训练需求。类的主要训练入口点。它负责设置训练环境、加载模型检查点、配置超参数搜索、寻找可执行的批次大小,并最终执行内部训练循环。函数是 Hugging Face Transformers 库中。_trainer.place_model_on_devicehttps://blog.csdn.net/qq_16555103/article/details/137210875

四、vscode调试launch.json常用格式

vscode调试launch.json常用格式_vscode launch.json env-CSDN博客文章浏览阅读390次，点赞7次，收藏5次。命令行deepspeed 进行执行，构建launch.json 思路。进行执行，构建launch.json 思路。与调试单个文件同理，只是重复。_vscode launch.json envhttps://blog.csdn.net/qq_16555103/article/details/136938822

五、huggingface generate函数简介

huggingface generate函数简介_model.generate参数-CSDN博客文章浏览阅读867次，点赞19次，收藏23次。函数的一些重要参数,它们控制了生成过程的各个方面,如起始输入、序列长度、解码策略、采样行为等。根据具体任务和需求,适当调整这些参数可以获得更好的生成效果。函数是用于生成文本序列的核心函数。它通常应用于自然语言生成任务,如机器翻译、文本摘要、对话系统等。其他参数可以使用默认值,除非你有特殊的需求。合理设置这些参数对于获得良好的生成效果非常重要。在 Hugging Face Transformers 库中,通常,你只需要根据任务需求设置。和生成策略相关参数(_model.generate参数https://blog.csdn.net/qq_16555103/article/details/136805147

六、Trl: llama2-7b-hf使用QLora 4bit量化后ds zero3加上flash atten v2单机多卡训练(笔记)

Trl: llama2-7b-hf使用QLora 4bit量化后ds zero3加上flash atten v2单机多卡训练(笔记)-CSDN博客文章浏览阅读688次，点赞16次，收藏23次。第三参考官方命令: https://github.com/Dao-AILab/flash-attention。第一确保 linux "外界"的 cuda版本与 conda 虚拟环境中cuda版本一致。第二安装好 c++ g++ ninja。https://blog.csdn.net/qq_16555103/article/details/137677561