书生·浦语大模型实战营Day04OpenXLab 部署

书生·浦语大模型实战营Day04OpenXLab 部署

  • 如何在 OpenXLab 部署一个 InternLM2-7B chat 的应用。

OpenXLab·浦源平台介绍

OpenXLab 浦源平台以开源为核心，旨在构建开源开放的人工智能生态，促进学术成果的开放共享。OpenXLab面向 AI 研究员和开发者提供 AI 领域的一站式服务平台，包含数据集中心、模型中心和应用中心，致力于推动人工智能对产学研各领域全面赋能，为构建人工智能开放生态，推动人工智能科研与技术突破、交叉创新和产业落地提供全方位的平台支撑。

部署 InternLM2

在这里插入图片描述

  • InternLM2 GitHub文档：https://github.com/InternLM/InternLM

  • Gradio官方说明文档：https://www.gradio.app/docs/interface

  • OpenXLab平台地址：https://openxlab.org.cn/home

模型准备

准备InternLM2-Chat-7B的预训练模型。InternLM2-Chat-7B的模型权重链接如下：

ModelOpenXLabHugging FaceModelScope
InternLM2-Chat-7BOpenLMLab/internlm2-chat-7binternlm/internlm2-chat-7bShanghai_AI_Laboratory/internlm2-chat-7b

  1. 如有自己微调的模型，跳过该步骤，用自己训练好的模型即可。

  2. 如需获取 InternLM2其他模型，可查看 GitHub 的 Model Zoo 文档

上传模型

若 OpenXLab 模型中心已托管你所需要的模型，可跳过模型上传的步骤

在这里插入图片描述

初始化 Git 配置

安装Git的命令取决于您使用的操作系统。以下是在不同操作系统上安装 Git 的常见方法：

Windows:

  1. 访问Git官方网站下载页面：Git - Downloads
  2. 点击“Windows”下载Git安装程序。
  3. 运行下载的安装程序并按照向导指示完成安装。
# use git install lfs
git lfs install

Linux:

安装 git 和 git lfs，命令如下

# install git
# sudo apt-get update
# sudo apt-get install git

# install git lfs
sudo apt-get update
sudo apt-get install git-lfs

# use git install lfs
git lfs install

设置您的 Git 用户名，OpenXLab 使用你在平台的用户名作为 Git的用户名，具体获取路径，可登录 OpenXLab 后，点击个人头像下的 【账号与安全】查看个人的用户名

配置 Git Username，用于作为 Git 提交的身份标识。

git config --global user.name "sunxiaobei"

需要将 Username 替换成你在 OpenXLab 平台上的用户名

配置 Git Email

git config --global user.email "1371815174@qq.com"
获取 Git Access Token

在 OpenXLab 的密钥管理添加 Git 令牌

进入密钥管理页面，点击添加令牌，输入一个令牌名称和选择可写的权限

在这里插入图片描述

添加完令牌后，记得复制生成的 Access Token，如下图所示，在后续上传模型文件，执行git push 命令时会需要填入 Username 和 Access Token 信息

拉取模型仓库

首先需要在 OpenXLab 先创建一个模型空仓库，填写模型仓库的基本信息，包括仓库名称、任务类型、访问权限等。

创建完成空的模型仓库后，找到该仓库的 git 地址并拉取该空仓库至本地，空仓库的地址在模型文件的下载按钮下。

cd /root/
git clone https://code.openxlab.org.cn/sunxiaobei/personal_assistant.git
# git clone git@code.openxlab.org.cn:sunxiaobei/personal_assistant.git
cd personal_assistant
git lfs install
上传模型文件

在克隆的仓库目录中整理模型文件，即将你的模型文件放入至clone的目录中，并执行git push命令将模型推送至远程仓库

cp /root/demo/ft/final_model/* /root/personal_assistant/

在执行 git push 之前，如果您的仓库中包含大型文件，并且您希望使用 Git LFS 来管理这些文件，您需要先标记这些文件以便 Git LFS 能够识别它们。这通常是通过使用 git lfs track 命令来标记。以下是使用 git lfs track 命令的基本步骤：

LFS管理大文件：使用 git lfs track 命令来标记你希望通过 Git LFS 管理的大文件。例如，您想要通过LFS管理所有的 .bin和 .model的模型文件，可以使用以下命令：

git lfs track "*.bin"
git lfs track "*.model"

标记LFS管理的文件后，提交更新的信息，执行 git push 上传模型，命令如下所示：

cd personal_assistant
git add -A
git commit -m "upload model"
git push

命令行解释

  1. cd internlm2-chat-7b：切换到名为internlm2-chat-7b的目录。
  2. git add -A：添加所有新文件、修改过的文件和删除的文件到暂存区。
  3. git commit -m "upload model"：创建一个新的提交，附带提交信息"upload model"。
  4. git push：将本地的提交推送到远程仓库。

在这里插入图片描述

在执行 git push 时会弹出身份验证的弹窗，填入 Username 和 Access Token 信息，如图所示

其他身份验证方式

平台也提供SSH密钥方式身份验证，本小节不再赘述，如想了解 SSH 密钥身份验证可参考：https://openxlab.org.cn/docs/models/%E4%B8%8A%E4%BC%A0%E6%A8%A1%E5%9E%8B.html#%E4%B8%8A%E4%BC%A0%E6%A8%A1%E5%9E%8B%E6%96%87%E4%BB%B6

# 生成密钥文件
ssh-keygen -t rsa -C "1371815174@qq.com"

# 公钥信息 复制到配置
ssh-rsa AAAAB3  ******************


git clone git@code.openxlab.org.cn:sunxiaobei/personal_assistant.git

在这里插入图片描述

编写代码

本小节为编写 chat 的 web-ui 代码，主要包括项目结构初始化、应用环境配置和 gradio 应用代码的编写

在这里插入图片描述

初始化项目结构

创建一个新的 GitHub 仓库来存放您的 gradio 应用代码。推荐的项目结构如下：

  • https://github.com/sunxiaobei/internlm_assistant
├─GitHub_Repo_Name
│  ├─app.py                 # Gradio 应用默认启动文件为app.py，应用代码相关的文件包含模型推理，应用的前端配置代码
│  ├─requirements.txt       # 安装运行所需要的 Python 库依赖（pip 安装）
│  ├─packages.txt           # 安装运行所需要的 Debian 依赖项（ apt-get 安装）
|  ├─README.md              # 编写应用相关的介绍性的文档
│  └─...

示例代码仓库： https://github.com/keyhsw/internlm2-chat-7b-git

 

应用环境配置

依赖管理：配置应用所需的运行环境,如有 Python 依赖项（ pip 安装）可写入 requirements.txt 中，Debian 依赖项（ apt-get 安装）可写入 packages.txt 中，并存放至代码仓库的根目录下。

requirement.txt 配置 python相关的依赖包，例如 gradio、torch、transformers 等

gradio==4.10.0
transformers
sentencepiece
einops
accelerate
tiktoken

packages.txt 配置下载模型权重的工具包 git 和 git-lfs

git
git-lfs

其他环境安装：若您需要安装除了 Python 以外的包，如需要通过 mim 安装 mmcv，您可先在 requirement.txt 中填写 mim，然后在 app.py 中写入以下代码，即可完成相关包的安装：

import os
os.system("mim install mmcv-full")

 

编写 gradio 应用代码

编写一个app.py文件，里面可以通过transformers框架进行模型实例化并通过gradio组件搭建chat聊天界面，本次代码都存放在 GitHub示例代码仓库中，如需查看详细代码编写，可浏览 https://github.com/keyhsw/internlm2-chat-7b-git

import gradio as gr
import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoModel

# download internlm2 to the base_path directory using git tool
base_path = './internlm2-chat-7b'
os.system(f'git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-7b.git {base_path}')
os.system(f'cd {base_path} && git lfs pull')

tokenizer = AutoTokenizer.from_pretrained(base_path,trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(base_path,trust_remote_code=True, torch_dtype=torch.float16).cuda()

def chat(message,history):
    for response,history in model.stream_chat(tokenizer,message,history,max_length=2048,top_p=0.7,temperature=1):
        yield response

gr.ChatInterface(chat,
                 title="InternLM2-Chat-7B",
                description="""
InternLM is mainly developed by Shanghai AI Laboratory.  
                 """,
                 ).queue(1).launch()

 
应用代码注意事项 ：在 app.py 文件中，如需下载模型和了解文件存放路径

  1. 工作目录：OpenXLab 应用代码默认存储的位置为 /home/xlab-app-center，如需指定存储路径，可用相对路径“./”表示，本示例采用相对路径方式
  2. 模型下载：若需要在app.py中快速导入模型，可前往 模型中心上传模型权重后，通过平台提供的 git 方式进行下载，详情可参考 应用如何导入模型中心的模型，模型上传的详细步骤可查看 模型上传详细流程
import os
# download internlm2 to the base_path directory using git tool
base_path = './internlm2-chat-7b'
os.system(f'git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-7b.git {base_path}')
os.system(f'cd {base_path} && git lfs pull')

 

推送代码至 GitHub

编写完应用代码，记得推动您的应用代码至 GitHub 仓库中，推送本地代码至 GitHub 的命令如下：

cd personal_assistant
git add -A
git commit -m "add app.py requirements.txt packages.txt"
git push

 

部署应用

本小节为在OpenXLab浦源平台中，部署写好的 chat web-ui 的应用，具体步骤如下。

在这里插入图片描述

创建入口

创建入口在导航栏的右侧 + 创建 应用 Gradio

应用配置

填写 Chat 应用的基础信息，包括应用的名称和应用对应的任务类型，并填入 GitHub 仓库的地址，选择硬件资源后，即可立即创建啦~

应用配置注意事项

  1. GitHub 授权：若未进行 GitHub 授权,请先前往授权
  2. 自定义启动文件：若您有需要自定义启动的文件,可以通过配置选择启动文件的路径
  3. 资源申请：若当前您的资源quota不能满足您的应用需求,也可以填写硬件资源申请表单进行 申请获取
  • 如需部署 InternLM2-7b 模型建议申请 8vCPU 32GB Nvidia A10 24GB 规格资源
  • 如需部署 InternLM2-20b 模型建议申请 12vCPU 48GB Nvidia A100 40GB 规格资源
  1. 环境变量配置：若您有不方便在代码中暴露的变量信息,可通过高级配置中的环境变量进行配置

  在这里插入图片描述

应用构建和启动

查看日志，调试应用代码，若应用代码无问题，运行成功，可体验应用，并将应用进行公开

在这里插入图片描述

构建应用过程中，可以尽量去完善应用的信息，包括应用封面、中文别称、关联论文和关联模型等信息，有利于后续的平台的推荐~

 
构建过程中，可查看应用的构建日志，及时查看应用的构建进度和启动情况

由于平台资源有限，可能会因为没有资源启动而进入排队中，请耐心等候

 

应用公开

应用成功运行后，可以进行测试应用是否能跑通，跑通后可以将应用进行公开，让更多人可以看到您的应用哦~

课程资料

  • 课程视频：https://www.bilibili.com/video/BV1Rc411b7ns
  • OpenXLab：https://studio.intern-ai.org.cn
  • 学习手册：https://kvudif1helh.feishu.cn/docx/Xx8hdqGwmopi5NxWxNWc76AOnPf
  • OpenXLab 平台介绍 ：https://openxlab.org.cn/docs/intro.html
  • OpenXLab Gradio 应用教程：https://openxlab.org.cn/docs/apps/Gradio%E5%BA%94%E7%94%A8.html
  • OpenXLab 上传模型教程：https://openxlab.org.cn/docs/models/%E4%B8%8A%E4%BC%A0%E6%A8%A1%E5%9E%8B.html

在这里插入图片描述
个人小站：https://www.xiaowangyun.com

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/561011.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【python】使用python和selenium实现某平台自动化上传作品的全步骤

【python】使用python和selenium实现某平台自动化上传作品的全步骤

第一，我们需要下载python并安装 下载地址：https://www.python.org/downloads/release/python-3123/ 3.x版本的python自带pip工具，因此不需要额外下载。 ModuleNotFoundError: No module named seleniumpip用于下载python适用的各类模块&…
阅读更多...
yolov8自带的P2层如何开启

yolov8自带的P2层如何开启

YOLOv8模型 简述YOLOv8不同size模型简述 在最开始的YOLOv8提供的不同size的版本，包括n、s、m、l、x（模型规模依次增大，通过depth, width, max_channels控制大小），这些都是通过P3、P4和P5提取图片特征； 正…
阅读更多...
网络编程 -- 简易TCP网络程序

网络编程 -- 简易TCP网络程序

一 字符串回响 1.1 核心功能 字符串回响程序类似于 echo 指令，客户端向服务器发送消息，服务器在收到消息后会将消息发送给客户端，该程序实现起来比较简单，同时能很好的体现 socket 套接字编程的流程。 1.2 程序结构 这个程序我们…
阅读更多...
Python编程玩转二维码

Python编程玩转二维码

文章目录 Python编程玩转二维码第一部分：背景介绍第二部分：qrcode库是什么？第三部分：如何安装这个库？第四部分：库函数使用方法第五部分：场景应用第六部分：常见Bug及解决方案第七部分…
阅读更多...
动力学重构/微分方程参数拟合 - 基于模型

动力学重构/微分方程参数拟合 - 基于模型

这一篇文章，主要是给非线性动力学，对微分方程模型参数拟合感兴趣的朋友写的。笼统的来说，这与混沌系统的预测有关；传统的机器学习的模式识别虽然也会谈论预测结果，但他们一般不会涉及连续的预测。这里我们考虑的是&…
阅读更多...
Git ignore、exclude for TortoiseGit 小结

Git ignore、exclude for TortoiseGit 小结

1.Ignore Type：忽略类型，也即忽略规则，如何去忽略文件? 1.1.Ignore item(s) only in containing folder(s)：仅忽略在包含在文件夹中项目。 仅忽略该文件夹下选定的patterns。the patterns其实就是文件类型，比如.txt后…
阅读更多...
文本美学：text-image打造视觉吸引力

文本美学：text-image打造视觉吸引力

当我最近浏览 GitHub 时，偶然发现了一个项目，它能够将文字、图片和视频转化为文本，我觉得非常有趣。于是我就花了一些时间了解了一下，发现它的使用也非常简单方便。今天我打算和家人们分享这个发现。 项目介绍 话不多说&#xf…
阅读更多...
面试（05）————Redis篇

面试（05）————Redis篇

目录 一、项目中哪些地方使用了redis 问题一：发生了缓存穿透该怎么解决？ 方案一：缓存空数据 方案二：布隆过滤器 模拟面试 问题二： 发生了缓存击穿该怎么解决？ 方案一：互斥锁 方案二&#xff…
阅读更多...
【GPTs分享】GPTs分享之Image Recreate | img2img​

【GPTs分享】GPTs分享之Image Recreate | img2img​

简介 该GPT是一个专门用于图像编辑、重建和合并的工具。它通过详细的自动图像描述和生成，帮助用户从源图像中重现或修改图像。此工具设计用于为视障用户提供图像内容的详细描述，并生成全新的图像，以满足特定的视觉需求。 主要功能 \1. 图像…
阅读更多...
Clion 2023.1.5 最新详细破解安装教程

Clion 2023.1.5 最新详细破解安装教程

CLion 最大的优点是跨平台，在Linux、Mac、Windows 上都可以运行。CLion 还同时支持 GCC、Clang、MSVC 这 3 种编译器，使用 CLion 编写程序，程序员可以根据需要随意切换使用的编译器。 第一步: 下载最新的 Clion 2023.1.5 版本安装包 我们先…
阅读更多...
掌握字幕艺术：pysrt 库指南

掌握字幕艺术：pysrt 库指南

文章目录 掌握字幕艺术：pysrt 库指南第一部分：背景介绍第二部分：库是什么？第三部分：如何安装这个库？第四部分：库函数使用方法第五部分：场景应用第六部分：常见Bug及解决方…
阅读更多...
Hive基础3

Hive基础3

一、表的分区 大数据开发数据量较大，在进行数据查询计算时，需要对数据进行拆分，提升的查询速度 1-1 单个分区 单个分区是创建单个目录 -- 创建表指定分区，对原始数据进行分区保存 create table new_tb_user(id int,name string,ag…
阅读更多...
Linux嵌入式驱动开发-linux中断

Linux嵌入式驱动开发-linux中断

文章目录 linux中断原理中断控制器GIC中断源分类 中断ID、中断线(中断号/中断源)中断ID中断线(中断号/中断源)MX6U中断源 上半部与下半部（顶半部和底半部）下半部实现机制linux软中断注册软中断触发软中断初始化软中断 taskletasklet_init：初始…
阅读更多...
【AIGC】文本与音频生成引领行业革新

【AIGC】文本与音频生成引领行业革新

AIGC技术崛起 一、AIGC技术概述二、文本生成：结构化与创作型并进三、实例与代码解析四、音频生成：语音合成技术大放异彩五、结语 在科技的浪潮中，人工智能与大数据的结合不断推动着时代的进步。其中，AIGC（Artificial I…
阅读更多...
安居水站：水站经营秘籍：年入30万不是梦。水站创业指南。

安居水站：水站经营秘籍：年入30万不是梦。水站创业指南。

在这个快节奏的社会里，初创企业家们总是在寻找一条明路，以在竞争激烈的市场中立足。为了帮助他们更好地实现这一目标，我根据经验决定制定一份水站经营指导手册。这份手册将详细阐述如何从零起步，如何运营，如何进行市场…
阅读更多...
智慧浪潮下的产业园区：解读智慧化转型如何打造高效、绿色、安全的新产业高地

智慧浪潮下的产业园区：解读智慧化转型如何打造高效、绿色、安全的新产业高地

随着信息技术的飞速发展，智慧化转型已经成为产业园区发展的重要趋势。在智慧浪潮的推动下，产业园区通过集成应用物联网、大数据、云计算、人工智能等先进技术手段，实现园区的智慧化、高效化、绿色化和安全化，从而打造成为新产业高…
阅读更多...
x-cmd ai | x openai - 用于发送 openai API 请求，以及与 ChatGPT 对话

x-cmd ai | x openai - 用于发送 openai API 请求，以及与 ChatGPT 对话

介绍 Openai 模块是 Openai 大模型 Chatgpt 3 和 ChatGPT 4 命令行实现。x-cmd 提供了多个不同平台间多种 AI 大模型的调用能力。无论是本地模型还是 Web 服务上的模型，用户都可以在不同的 AI 大模型间直接无缝切换，并能把之前的聊天记录发送给新的大模…
阅读更多...
【PCL】教程conditional_euclidean_clustering 对输入的点云数据进行条件欧式聚类分析...

【PCL】教程conditional_euclidean_clustering 对输入的点云数据进行条件欧式聚类分析...

[done, 3349.09 ms : 19553780 points] Available dimensions: x y z intensity 源点云 Statues_4.pcd 不同条件函数output.pcd 【按5切换到强度通道可视化】 终端输出： Loading... >> Done: 1200.46 ms, 19553780 points Downsampling... >> Done: 411…
阅读更多...
【JavaWeb】Day50.Mybatis的XML配置文件

【JavaWeb】Day50.Mybatis的XML配置文件

XML配置文件规范 使用Mybatis的注解方式，主要是来完成一些简单的增删改查功能。如果需要实现复杂的SQL功能，建议使用XML来配置映射语句，也就是将SQL语句写在XML配置文件中。 在Mybatis中使用XML映射文件方式开发，需要符合一定的规…
阅读更多...
Nginx解决跨域访问难题：轻松实现跨域资源共享！

Nginx解决跨域访问难题：轻松实现跨域资源共享！

点击下方关注我，然后右上角点击...“设为星标”，就能第一时间收到更新推送啦~~~ 跨域资源共享（CORS，Cross-Origin Resource Sharing）是一种网络浏览器的安全功能，它限制了一个源（域、协议和端口…
阅读更多...
最新文章

Copyright @ 2022~2023