一起来体验一下吧~
google/gemma-7b-it · Hugging Face
此型号卡对应于 Gemma 型号的 7B 指令版本。还可以选择 2B 基本模型、7B 基本模型和 2B 指导模型的模型卡。
微调
- 使用 QLoRA 对 UltraChat 数据集执行监督微调 （SFT） 的脚本
- 在 TPU 设备上使用 FSDP 执行 SFT 的脚本
- 可以在免费套餐 Google Colab 实例上运行的笔记本，用于对英语报价数据集执行 SFT
实战
环境设置
pip install -U transformers
pip install packaging
pip install accelerategit clone https://huggingface.co/google/gemma-7b-it/
cd gemma-7b-it 
在CPU上运行，这里省略
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("google/gemma-7b-it")
model = AutoModelForCausalLM.from_pretrained("google/gemma-7b-it")
input_text = "Write me a poem about Machine Learning."
input_ids = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))
在单个/多个 GPU 上运行模型
# pip install accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("google/gemma-7b-it")
model = AutoModelForCausalLM.from_pretrained("google/gemma-7b-it", device_map="auto")
input_text = "Write me a poem about Machine Learning."
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))运行后
专业数据微调正在更新~
PS
【PS1】 Traceback (most recent call last):
File "/root/anaconda3/envs/sam/lib/python3.8/site-packages/huggingface_hub/utils/_errors.py", line 304, in hf_raise_for_status
response.raise_for_status()
File "/root/anaconda3/envs/sam/lib/python3.8/site-packages/requests/models.py", line 1021, in raise_for_status
raise HTTPError(http_error_msg, response=self)
requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/google/gemma-7b-it/resolve/main/config.json
from huggingface_hub import login
login()在自己的huggingface账号上创建一个token,然后复制进去~
点击自己账号->Access Tokens
登录
