怎么使用数据集微调大模型LLM

项目运行后目录结构

1. 导入必要的库

from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer
from datasets import Dataset
import torch

• AutoTokenizer：transformers 库中的一个类&#x