学习目标:
- 大模型开源体系
学习内容:
- 大模型简述
- 大模型性能
- 开源体系
学习时间:
- 周四上午 10点
学习记录:
- 大模型简述
- 大模型是发展通用人工智能的重要途经
- 专用模型到通用大模型
- 实验室开源历程,大模型系列7B-20B-123B
- 大模型性能
- 达到Llama2-70B
- 大模型应用:智能客服,个人助手,行业应用
- 从模型到应用:
- 数据,预训练,微调,部署,评测,应用
- 开源体系
- 数据:文本数据,图像-文本数据,视频数据。2TB
- opendatalab
- 预训练:高扩展性,极致性能优化,兼容主流,开箱即用
- 微调:增量续训,有监督微调(全参数,部分参数)。框架XTuner适配多种生态,多种硬件
- 评测:OpenCompass评测平台
- 部署:大模型语言特点,技术挑战,部署方案。LMDeploy
- 智能体:Lagent,多模态智能体工具箱AgentLego