Llama 3超级课堂作业笔记

文章目录

  • 基础作业
    • 完成 Llama 3 Web Demo 部署
      • 环境配置
      • 下载模型
      • Web Demo 部署
      • 对话截图
    • 使用 XTuner 完成小助手认知微调
      • Web Demo 部署
      • 自我认知训练数据集准备
      • 训练模型
      • 推理验证
    • 使用 LMDeploy 成功部署 Llama 3 模型
      • 环境，模型准备
      • LMDeploy CLI chat
      • LMDeploy模型量化(lite)
        • 1. 设置最大KV Cache缓存大小
        • 2. 使用W4A16量化
      • LMDeploy服务(serve)
        • 1. 启动API服务器
        • 2. 命令行客户端连接API服务器
        • 3. 网页客户端连接API服务器
  • 进阶作业
    • 多模态 Llava 微调和部署
    • Llama3 工具调用能力训练

Github 文档：https://github.com/SmartFlowAI/Llama3-Tutorial
B站视频：https://www.bilibili.com/video/BV1Kr421u71u/

基础作业

完成 Llama 3 Web Demo 部署

环境配置

注意，这里用的是12.1的CUDA版本，在新建开发机时不要选错了。

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

在这里插入图片描述

下载模型

软链接 InternStudio 中的模型

mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

在这里插入图片描述

Web Demo 部署

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

安装 XTuner 时会自动安装其他依赖

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

在这里插入图片描述
添加端口映射
在这里插入图片描述

运行 web_demo.py

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

点击这里进入网页。
在这里插入图片描述

对话截图

在这里插入图片描述

使用 XTuner 完成小助手认知微调

Web Demo 部署

同作业一

自我认知训练数据集准备

进入 tools/gdata.py 脚本，修改身份认知

import json

# 输入你的名字
name = '猫猫卷'
# 重复次数
n = 2000

data = [
    {
        "conversation": [
            {
                "system":"你是一个懂中文的小助手",
                "input": "你是（请用中文回答）",
                "output": "您好，我是{}，一个由 SmartFlowAI 打造的人工智能助手，请问有什么可以帮助您的吗？".format(name)

               
            }
        ]
    }
]

for i in range(n):
    data.append(data[0])

with open('data/personal_assistant.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)


cd ~/Llama3-Tutorial
python tools/gdata.py

在这里插入图片描述
以上脚本在生成了 ~/Llama3-Tutorial/data/personal_assistant.json 数据文件格式如下所示：

[
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "你是（请用中文回答）",
                "output": "您好，我是猫猫卷，一个由 SmartFlowAI 打造的人工智能助手，请问有什么可以帮助您的吗？"
            }
        ]
    }
]

训练模型

cd ~/Llama3-Tutorial

# 开始训练,使用 deepspeed 加速，A100 40G显存 耗时24分钟。
# train之后包含了两个路径，一个是训练的config，一个是训练的工作路径。工作路径将保存我们的微调权重。
xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth

# Adapter PTH 转 HF 格式
xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \
  /root/llama3_pth/iter_500.pth \
  /root/llama3_hf_adapter

# 模型合并
# 由三个路径组成，分别是原始的llama3权重路径，刚刚转换好的huggingface的adapter路径，以及最后合并完成后的路径
export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
  /root/llama3_hf_adapter\
  /root/llama3_hf_merged

训练时的显存占用情况：
在这里插入图片描述
训练时命令行输出：
在这里插入图片描述
模型权重转化：
在这里插入图片描述
合并模型权重：
在这里插入图片描述

最终权重保存在/root/llama3_hf_merged中

推理验证

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  /root/llama3_hf_merged

在这里插入图片描述
在这里插入图片描述

使用 LMDeploy 成功部署 Llama 3 模型

环境，模型准备

# 如果你是InternStudio 可以直接使用
# studio-conda -t lmdeploy -o pytorch-2.1.2
# 初始化环境
conda create -n lmdeploy python=3.10
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

安装lmdeploy最新版。

pip install -U lmdeploy[all]

llama3下载：（在作业一中已经软链接过了）

LMDeploy CLI chat

直接在终端运行

conda activate lmdeploy
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct

在这里插入图片描述
运行效果：
在这里插入图片描述
在这里插入图片描述

LMDeploy模型量化(lite)

对模型进行量化。主要包括 KV8量化和W4A16量化。

1. 设置最大KV Cache缓存大小

模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8。

下面通过几个例子，来看一下调整--cache-max-entry-count参数的效果。首先保持不加该参数（默认0.8），运行 Llama3-8b 模型。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/

对话效果：
在这里插入图片描述

新建一个终端运行

# 如果你是InternStudio 就使用
# studio-smi
nvidia-smi

在使用chat进行对话时的显存占用为36240MiB

在这里插入图片描述
下面，改变–cache-max-entry-count参数，设为0.5。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5

对话效果：
在这里插入图片描述
在这里插入图片描述

看到显存占用明显降低，变为28680MiB。

把–cache-max-entry-count参数设置为0.01，约等于禁止KV Cache占用显存。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.01

对话效果：在这里插入图片描述

可以看到，此时显存占用仅为16400M，代价是会降低模型推理速度。
在这里插入图片描述

2. 使用W4A16量化

仅需执行一条命令，就可以完成模型量化工作。

lmdeploy lite auto_awq \
   /root/model/Meta-Llama-3-8B-Instruct \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/model/Meta-Llama-3-8B-Instruct_4bit

运行时间较长，需要耐心等待。量化工作结束后，新的HF模型被保存到Meta-Llama-3-8B-Instruct_4bit目录。下面使用Chat功能运行W4A16量化后的模型。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq

在这里插入图片描述

在这里插入图片描述
显存占用为34294MiB。

为了更加明显体会到W4A16的作用，我们将KV Cache比例再次调为0.01，查看显存占用情况。（W4A16量化+KV Cache量化）

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01

在这里插入图片描述

在这里插入图片描述
显存占用为6738MiB。

LMDeploy服务(serve)

在前面的章节，我们都是在本地直接推理大模型，这种方式成为本地部署。在生产环境下，我们有时会将大模型封装为 API 接口服务，供客户端访问。

1. 启动API服务器

通过以下命令启动API服务器，推理Meta-Llama-3-8B-Instruct模型：

lmdeploy serve api_server \
    /root/model/Meta-Llama-3-8B-Instruct \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

在这里插入图片描述
其中，model-format、quant-policy这些参数是与第三章中量化推理模型一致的；server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。 通过运行以上指令，我们成功启动了API服务器，请勿关闭该窗口，后面我们要新建客户端连接该服务。 也可以直接打开http://{host}:23333查看接口的具体使用说明，如下图所示。

在这里插入图片描述
这代表API接口启动成功了。

这一步由于Server在远程服务器上，所以本地需要做一下ssh转发才能直接访问。在你本地打开一个cmd窗口，输入命令如下：

<intern-studio的开发机端口号>

```打开`127.0.0.1:23333`
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/65fef3dd6cf0445e88dcd06798f3c83d.png)
2. 命令行客户端连接API服务器

在“1.”中，我们在终端里新开了一个API服务器。 本节中，我们要新建一个命令行客户端去连接API服务器。首先通过VS Code新建一个终端：
激活conda环境

conda activate lmdeploy

运行命令行客户端：

lmdeploy serve api_client http://localhost:23333

运行后，可以通过命令行窗口直接与模型对话
在这里插入图片描述

3. 网页客户端连接API服务器

关闭刚刚的VSCode终端，但服务器端的终端不要关闭。 运行之前确保自己的gradio版本低于4.0.0。

pip install gradio==3.50.2

新建一个VSCode终端，激活conda环境。

conda activate lmdeploy

使用Gradio作为前端，启动网页客户端。

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

打开浏览器，访问地址http://127.0.0.1:6006 然后就可以与模型进行对话了！

在这里插入图片描述

进阶作业

多模态 Llava 微调和部署

没有100%的A100。。。

Llama3 工具调用能力训练

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/634205.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

php 连接sqlserver步骤

php 连接sqlserver步骤

1.首先要确定使用的是sqlserver的哪个版本&#xff0c;比如sqlserver2012 2.确定服务器是64位还是32位的 3.确认一下使用php的哪个版本&#xff0c;比如php7.1 SQL Server 的 Microsoft PHP 驱动程序 Microsoft Drivers for PHP 支持矩阵 - PHP drivers for SQL Server | Mi…
阅读更多...
【传知代码】从零开始搭建图像去雾神经网络-论文复现

【传知代码】从零开始搭建图像去雾神经网络-论文复现

文章目录 概述原理介绍网络结构 核心逻辑迁移学习子网数据拟合子网 环境配置训练本次复现代码所用数据集测试本次复现代码所用的评价指标 结果展示在O-Haze数据集上的结果在I-Haze数据集上的结果 小结 本文涉及的源码可从从零开始搭建图像去雾神经网络该文章下方附件获取 本文复…
阅读更多...
SAP Credit Management-Reconcile Documented Credit Decisions

SAP Credit Management-Reconcile Documented Credit Decisions

ECC 升级S4后&#xff0c;经过事后迁移后&#xff0c;出现如下报错 找到了这里的配置路径&#xff1a; DCD settings – to maintain/complete Create Profile for Case Search -> no entry UKM_CASE – DCD search -> no search fields BC set UKM_DCD_CUST not activa…
阅读更多...
open drain 与 push pull

open drain 与 push pull

Open drain: open drain 输出&#xff1a;输出端相当于三极管的集电极&#xff0c;要得到高电平需要上拉电阻才行。 栅极输入为0时&#xff0c;NMOS 的漏极和源极导通&#xff0c;输出为0。即Uce 0 V。 栅极输入为1时&#xff0c;NMOS不导通&#xff0c;漏极高祖&#xff0…
阅读更多...
Element组件 el-select设置滚动条+滚动加载(两种写法: 原生Js和自定义指令)

Element组件 el-select设置滚动条+滚动加载(两种写法: 原生Js和自定义指令)

系列文章目录 提示&#xff1a;下面是简单的功能实现(时间紧迫,大晚上赶工) el-select滚动条相关功能 系列文章目录背景与展望一、使用原生的js实现触底加载1.效果图如下&#xff1a;2.HTML如下3.JS代码如下 二、使用自定义指令解决问题(已补全-2024-05-19)1.效果图如下:2.新增…
阅读更多...
如何提交网站到谷歌网站收录？

如何提交网站到谷歌网站收录？

其实就那么几个步骤&#xff0c;要做谷歌那肯定是需要一个谷歌账号的&#xff0c;然后找到Google Search Console这个谷歌的官方平台&#xff0c;这是最权威的可以统计来自谷歌流量的平台了&#xff0c;毕竟是谷歌自家的&#xff0c;肯定也不可能作假&#xff0c;然后就是跟着平…
阅读更多...
使用DockerFile 编写 指令来构建镜像

使用DockerFile 编写 指令来构建镜像

文章目录 前言使用DockerFile 编写 指令来构建镜像1. 构建2. 验证 前言 如果您觉得有用的话&#xff0c;记得给博主点个赞&#xff0c;评论&#xff0c;收藏一键三连啊&#xff0c;写作不易啊^ _ ^。   而且听说点赞的人每天的运气都不会太差&#xff0c;实在白嫖的话&#x…
阅读更多...
二进制部署k8s集群 部署高可用master节点

二进制部署k8s集群 部署高可用master节点

目录 本次部署的环境 一、master02 节点部署 二、负载均衡部署 安装nginx服务 部署keepalive服务 修改node节点上的配置文件 在master节点上创建pod 三、部署 Dashboard 二进制部署k8s集群部署的步骤总结 &#xff08;1&#xff09;k8s的数据存储中中心的搭建 etcd &…
阅读更多...
UNION的使用

UNION的使用

UNION的使用 给出将多条查询语句组合成单个结果集&#xff0c;两个表对应的列数和数据类型必须相同 UNION操作符&#xff1a; 返回两个查询结果集的并集&#xff0c;并去除重复记录 UNION ALL操作符 返回两个查询的结果集的并集。不去掉两个结果集的重复部分&#xff0c;重…
阅读更多...
【Linux】Linux信号产生，接受与处理机制

【Linux】Linux信号产生，接受与处理机制

理解Linux信号产生&#xff0c;接受与处理机制 信号是Linux操作系统中一种用于进程间通信和异步事件处理的机制。在本文中&#xff0c;我们将结合Linux的源码&#xff0c;深入分析信号的产生、发送、接收和处理的底层原理。 文章目录 理解Linux信号产生&#xff0c;接受与处理…
阅读更多...
一、QGroundControl地面站使用介绍

一、QGroundControl地面站使用介绍

文章目录 环境功能介绍飞行视图规划视图飞机设置分析工具程序设置 连接飞机飞机设置分析工具飞行视图规划任务 总结参考 环境 QGroundControl V4.2.0PX4-Autopilot V1.3.0devGazebo 模拟无人机 功能介绍 飞行视图规划视图飞机设置分析工具程序设置 飞行视图 软件打开后为飞…
阅读更多...
跟着鲁sir学CV_Opencv（10）卡尔曼滤波

跟着鲁sir学CV_Opencv（10）卡尔曼滤波

简介 卡尔曼滤波器由鲁道夫卡尔曼&#xff08;Rudolf E. Klmn&#xff09;在1960年提出&#xff0c;广泛应用于导航系统、信号处理、机器人定位、金融等多个领域。 主要分为两阶段&#xff1a;预测与更新 贝叶斯滤波器 贝叶斯框架下&#xff1a;预测&#xff08;先验&#x…
阅读更多...
楼道堆积物视觉识别监控系统

楼道堆积物视觉识别监控系统

楼道堆积物视觉识别监控系统采用了AI神经网络和深度学习算法&#xff0c;楼道堆积物视觉识别监控系统通过摄像头实时监测楼道的情况&#xff0c;通过图像处理、物体识别和目标跟踪算法&#xff0c;系统能够精确地识别楼道通道是否被堆积物阻塞。楼道堆积物视觉识别监控系统检测…
阅读更多...
K210的MicroPython扩展例程——自动驾驶例程（视觉循迹）

K210的MicroPython扩展例程——自动驾驶例程（视觉循迹）

前言 该例程实现的功能是循迹功能&#xff0c;可为想拿K210做视觉循迹开发作为参考 例程使用前需要搭建好MicroPython的开发环境 K210开发板MicroPython开发环境搭建 一、将K210连接好后打开CanMV IDE&#xff0c;连接成功后&#xff0c;三角形变成绿色 二、然后要把小车驱动…
阅读更多...
接口测试怎么测？为什么要做接口测试？

接口测试怎么测？为什么要做接口测试？

一、前言 接口测试是测试系统组件间接口的一种测试。接口测试主要用于检测外部系统与系统之间及内部各个子系统之间的交互点。测试的重点是检查数据的交换、传递和控制管理过程&#xff0c;以及系统间的逻辑依赖关系等。 简单地说&#xff0c;接口测试就是通过URL向服务器或者…
阅读更多...
leetCode-hot100-数组专题之区间问题

leetCode-hot100-数组专题之区间问题

数组专题之区间问题 知识点&#xff1a;解决思路&#xff1a;例题56.合并区间57.插入区间253.会议室 Ⅱ485.无重叠区间 数组区间问题是算法中常见的一类问题&#xff0c;它们通常涉及对数组中的区间进行排序、合并、插入或删除操作。无论是合并区间、插入区间还是删除重复空间&…
阅读更多...
azure gpt 技术教程教学 | 在Azure OpenAI 上部署GPT-4o

azure gpt 技术教程教学 | 在Azure OpenAI 上部署GPT-4o

Azure OpenAI GPT-4o是OpenAI推出的最新旗舰级人工智能模型。GPT-4o模型设计为能够实时对音频、视觉和文本进行推理&#xff0c;这是迈向更自然人机交互的重要一步。该模型的一大特点是能够处理多种类型的数据输入和输出&#xff0c;包括文本、音频和图像&#xff0c;实现了跨模…
阅读更多...
适用于Windows 电脑的最佳视频恢复软件和方法

适用于Windows 电脑的最佳视频恢复软件和方法

毫无疑问&#xff0c;丢失您的基本数据总是有压力的&#xff0c;尤其是当这些是您为捕捉最美好回忆而收集的重要视频文件时。要恢复丢失或损坏的视频文件&#xff0c;您可以借助视频恢复工具。但是&#xff0c;在选择最佳视频恢复工具时&#xff0c;您必须考虑多个扫描选项&…
阅读更多...
Windows10安装python3.8.2

Windows10安装python3.8.2

1、下载与安装 下载地址&#xff1a;https://www.python.org/downloads/release/python-382/ 滑动到页面底部 下载好的安装包安装到合适的位置&#xff08;默认安装到C盘&#xff09; 安装的时候&#xff0c;见到Add Python 3.8 to PATH 记得勾选. 2、检测安装是否成功 cm…
阅读更多...
Facebook隐私保护：数据安全的前沿挑战

Facebook隐私保护：数据安全的前沿挑战

在数字化时代&#xff0c;随着社交媒体的普及和应用&#xff0c;个人数据的隐私保护问题日益受到关注。作为全球最大的社交平台之一&#xff0c;Facebook承载了数十亿用户的社交活动和信息交流&#xff0c;但与此同时&#xff0c;也面临着来自内外部的数据安全挑战。本文将深入…
阅读更多...
最新文章

Copyright @ 2022~2023