AgentTuning 是清华大学和智谱AI共同推出的 AI Agent方案。
AgentTuning可以令LLM具备更强大的泛化能力,而且同时保持其通用语言能力,项目中包含的AgentInstruct 数据集和 AgentLM 模型均已开源。
项目地址:https://github.com/THUDM/AgentTuning
在矩池云上安装AgentTuning的具体方法如下。
1 租用机器
进入矩池云官网 https://matpool.com/
选择“产品服务” “GPU”
选择单卡3090或2卡A2000 (保证总显存 >=24G)
2 基础镜像
选择基础镜像名称为“Pytorch 2.0.1”
3 安装信息
使用魔搭方法仅需一行代码即可完成模型文件的下载,根据官方给出的示例快速上手:
魔搭网址 https://modelscope.cn/models/ZhipuAI/agentlm-7b/summary
pip install modelscope
import torch
from modelscope import Model, AutoTokenizer
model = Model.from_pretrained("ZhipuAI/agentlm-7b", revision='master', device_map='auto', torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("ZhipuAI/agentlm-7b", revision='master')
prompt = """<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant.
<</SYS>>
There's a llama in my garden 😱 What should I do? [/INST]"""
inputs = tokenizer(prompt, return_tensors="pt")
# Generate
generate_ids = model.generate(inputs.input_ids.to(model.device), max_new_tokens=512)
print(tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0])
实测显存占用情况
单卡 A3090 ,一次推理的峰值情况如下,以供参考