Llama3-Tutorial（Llama 3 超级课堂）-- 笔记

第1节—Llama 3 本地 Web Demo 部署

在这里插入图片描述

[图片]

端口转发

vscode里面设置端口转发
https://a-aide-20240416-b4c2755-160476.intern-ai.org.cn/proxy/8501/
[图片]

ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 43681

参考

https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/hello_world.md

第2节–Llama 3 微调个人小助手认知（XTuner 版）

[图片]

参考

https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/assistant.md

第3节–Llama 3 图片理解能力微调（XTuner+LLaVA 版）

第4节–Llama 3 高效部署实践（LMDeploy 版）

[图片]

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/
nvidia-smi

[图片]

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5

有一点变化，变化不大，从39998MB到37366MB。
[图片]

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.01
然后与模型对话，可以看到，此时显存占用仅为16213M，代价是会降低模型推理速度。

[图片]

Meta-Llama-3-8B-Instruct_4bit
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01

[图片]

lmdeploy serve api_server
lmdeploy serve api_server \
    /root/model/Meta-Llama-3-8B-Instruct \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

端口转发

ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 43681
[图片]

参考

https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/lmdeploy.md

第5节–Llama 3 Agent 能力体验与微调

第6节–Llama 3 能力评测（OpenCompass 版）

课程信息

【结课时间】
我们的结课时间已经延迟到5月12日，同样，我们的算力支持和共学计划的有效期也会延迟到5月12日

【结课福利】

可加入人均大佬的【Llama 3 结课大佬】群，并可参加书生·浦语（InternLM）的特别兴趣小组和后续活动
精美的结课证书（结课后 1 个月内可领取）
24 GB 算力的额外支持（有效期至5月12日）

【结课条件】

完成所有视频的观看
完成 Llama 3 Web Demo 部署
使用 XTuner 完成小助手认知微调
使用 LMDeploy 成功部署 Llama 3 模型

【结课福利领取方式】
通过下方“作业提交问卷”提交基础作业后，即可联系班级助教帮忙拉进【Llama 3 结课大佬】群，结课福利的相关信息会在结课群内通知

📰 作业提交问卷：https://aicarrier.feishu.cn/share/base/form/shrcnjQM61uIwVIZxkoGy6kc0Bh

📰 学习手册：学习手册

📰 课程文档：
https://github.com/SmartFlowAI/Llama3-Tutorial

📺 课程视频：
https://space.bilibili.com/3546636263360696/channel/series

【共学计划】
邀请 3 位同学即可获得 24GB 的算力，24 GB 足够完成所有基础作业了。详见：https://llama3.vansin.top/

【FQA】

出现算力点不足的学员，请来联系我补充
出现显存不足问题（out of memory），一般群聊天记录里会有解决方案（搜索：【oom问题】），或者通过共学计划提升算力支持

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/616974.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！