文章目录
- 使用OpenCompass评测llm的步骤
- 实践操作
- 参考资料
为什么要做大模型的评测
- 为了了解llm的优势和限制
- 指导和改进人类与llm的交互
- 规划llm未来的发展
- 根据llm的评测报告，针对不同的问题，选择最合适的模型
评测对象
基座模型和chat模型
使用OpenCompass评测llm的步骤
- 配置：配置整个评估过程，选择要评估的模型和数据集，选择评估策略、计算后端等，定义显示结果的方式
- 推理和评估
- 可视化
实践操作
安装opencompass工具
评测数据准备
/share/temp/datasets/OpenCompassData-core-20231110.zip # 数据集地址
unzip OpenCompassData-core-20231110.zip # 解压缩
查看支持的数据集和模型
启动评测
首先以--debug模式启动评估
python run.py --datasets ceval_gen --hf-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-path /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --tokenizer-kwargs padding_side='left' truncation='left' trust_remote_code=True --model-kwargs trust_remote_code=True device_map='auto' --max-seq-len 1024 --max-out-len 16 --batch-size 2 --num-gpus 1 --debug
评测结果
参考资料
- OpenCompass大模型评测实战
