OpenXLab网址
网址:OpenXLab浦源
模型
创建模型
页面右上角选择【创建】然后选择【创建模型】
创建模型的页面如下
感觉页面中的提示信息填写相应的内容,全部填完后点页面下方的【立即创建】完成模型的创建
模型上传
安装所需的工具
apt install git-lfs
git lfs install
配置用户名
git config --global user.name "Username"
Tips: 请将用户名替换为您的真实用户名(非昵称),您可通过下述方法找到您的用户名
执行git命令将模型代码仓拉取到本地
git clone https://code.openxlab.org.cn//username/reponame.git
Tips: 此处的username为你的用户名,reponame为模型的名字
其实点击模型页面的【下载】按钮也可以看到对应的命令
登陆Git账号
执行git clone 命令后,会出现弹窗,需要输入用户名和密码进行登陆
用户名:输入内容同第一步的“用户名”
密码:Git Access Token
Git Access Token获取方法:
点击右上角的头像然后选择密钥管理,里面选择【Git访问令牌】下面就有你的访问令牌了
在Access Token的有个复制按钮,直接复制粘贴就可以了。
上传文件
将你要上传的模型文件全部复制到刚才git clone下来的文件夹里,然后执行下面命令
cd reponame
git add -A
git commit -m "commit message"
git push
reponame:你代码仓文件夹的名字
commit message :类似于git上传的同样信息
等待git push完后进入到模型仓库里面就能看到上传的模型文件了
Tips:上传模型文件的话直接把文件拷贝到git clone的文件夹里就可以了,最好不要带文件夹。
应用
创建应用也是点【创建】然后选择【创建应用】
点击创建之后会弹出一个页面需要选择一下页面类型,根据实际情况来选择把。static一般多为静态的网页页面,gradio一般就是常用的那个类型,包括Streamlit的话也选择Gradio。
和前面创建模型一样,填写相应的信息即可
另外硬件资源的话默认可能只有2vCPU 8GB,根据使用经验可能只能运行一些简单的应用,所以有好的应用创意需要跑的话,点【申请硬件资源】可以尝试申请更好的资源。
应用的话主要是通过github代码仓进行同步
代码仓文件结构
├─GitHub repo
│ ├─app.py # 应用代码相关的文件,包含模型推理,应用的前端配置代码,默认应用的启动脚本为根目录下的app.py文件
│ ├─requirements.txt # 安装运行所需要的 Python 库依赖(pip 安装)
│ ├─packages.txt # 安装运行所需要的 Debian 依赖项( apt-get 安装)
│ └─...
简单说你的程序需要pip install的写在requirements.txt,需要apt install的写在package.txt
然后app.py的话就是我们的主代码文件了,如果不是app.py的话,或者说是stramlit应用的话,可以写一个start.py。然后在前面创建应用的地方填写自定义启动文件,然后把start.py添加进去就可以了。
app.py下载OpenXlab模型
在package.txt文件内加入以下两行
git
git-lfs
app.py中的关于模型下载和调用替换为下面的代码块
import torch
import os
from transformers import AutoModelForCausalLM, AutoTokenizer, AutoModel
base_path = './' #模型下载的文件夹
os.system(f'git clone 模型地址.git {base_path}') #这里的模型地址就是你模型的下载地址,简单说就是前面创建模型时候git clone的同样代码
os.system(f'cd {base_path} && git lfs pull')
tokenizer = AutoTokenizer.from_pretrained(base_path,trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(base_path,trust_remote_code=True, torch_dtype=to