【linux服务器】大语言模型实战教程：LLMS大模型部署到个人服务器或嵌入式开发板（保姆级教学）


在这里插入图片描述

🎬 鸽芷咕：个人主页

 🔥 个人专栏: 《C++干货基地》《粉丝福利》

⛺️生活的理想，就是为了理想的生活!

引言

说到大语言模型相信大家都不会陌生，大型语言模型(LLMs)是人工智能文本处理的主要类型,也现在最流行的人工智能应用形态。ChatGPT就是是迄今为止最著名的使用LLM的工具,它由OpenAI的GPT模型的特别调整版本提供动力，而今天我们就来带大家体验一下部署大模型的实战。

文章目录

  • 引言
  • 一、项目选择与系统介绍
    • 1.1 项目介绍
    • 1.2 Tiny-Llama语言模型
    • 1.3 进入系统
    • 1.4 进行远程连接
  • 二、部署LLMS大模型
    • 2.1 拉取代码到环境
    • 2.2 自定义算子部署
      • 配置protoc 环境
      • 算子编译部署
      • 修改环境变量
      • 编译运行& 依赖安装
    • 2.3 推理启动
  • 三、 项目体验

一、项目选择与系统介绍

1.1 项目介绍

本来博主是准备来部署一下咱们的，清华大语言模型镜像这个目前也是非常的火啊，吸引了很多人的注意其优秀的性能和GPT3 不相上下，但是由于考虑到，大部分人电脑其实跑大模型是有一点点吃力的，为了让更多人来先迈出部署模型的第一步，于是就决定去 gitee 上找一个小型一点的大模型来实战一下。

1.2 Tiny-Llama语言模型

  • 果不其然刚搜索就发现 一个基于香橙派AI Pro 部署的语言大模型项目，这不正好吗？直接开始

在这里插入图片描述

  • 点进去一看发现这是南京大学开源的一套基于香橙派 AIpro部署的Tiny-Llama语言模型
  • （开源地址）

1.3 进入系统

这里我们选择的是openEuler，是香橙派的这块板子内置的系统。但其实他的内核是ubuntu这里可以给大家看一下，所以我们用 ubuntu 服务器来部署应该是没有问题的。

在这里插入图片描述

  • openEuler 是一由中国开源软件基金会主导，以Linux稳定系统内核为基础,华为深度参与,面向服务器、桌面和嵌入式等的一个开源操作系统。

1.4 进行远程连接

  • 这里直接插电启动，默认用户名 HwHiAiUser、密码 Mind@123 当然root密码也是一样的

  • 这里我们进来之后可以直接选择链接WiFi 非常便捷

  • 当然这里大家在这里也可以选择云服务器远程实战

在这里插入图片描述

  • 然后我们打开命令窗查看IP , 由于系统默认支持ssh 远程连接，所以博主这里就直接采用 Sxhell 进行连接
  • 输入ip 选择 HwHiAiUser 登录 密码 Mind@123

在这里插入图片描述

二、部署LLMS大模型

2.1 拉取代码到环境

  • 先cd进入 cd ~/samples 目录
  • 之后直接利用git 拉取我们的项目，git 由于系统镜像自带的有就不用我们手动安装了

在这里插入图片描述

2.2 自定义算子部署

配置protoc 环境

  • 使用wget工具从指定的华为云链接下载 protobuf-all-3.13.0.tar.gz文件
wget  https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/protobuf-all-3.13.0.tar.gz --no-check-certificate

在这里插入图片描述

  • 解压刚刚下载的文件
tar -zxvf protobuf-all-3.13.0.tar.gz

在这里插入图片描述

这里解压速度非常快，基本一秒就OK了

在这里插入图片描述

  • 进入 protobuf-3.13.0 文件夹中
cd protobuf-3.13.0

更新apt包管理器的软件包列表

apt-get update

在这里插入图片描述

  • 使用apt-get安装必要的构建工具，包括autoconf、automake和libtool，这些工具用于配置和构建开源项目
apt-get install autoconf automake libtool

在这里插入图片描述

  • 生成配置脚本 configure , 运行 ./configure 生成一个Makefile
./autogen.sh
./configure
  • 编译源代码,由于 香橙派 AIpro 是4核64位处理器+ AI处理器支持8个线程，我们我们可以大胆的使用4个并行进程进行编译，以加快编译速度。
  • 编译这里的时候大家就可以放松放松了大概只需要10几分钟就好了
make -j4

在这里插入图片描述

  • 将编译后的二进制文件和库文件安装到系统指定的位置
make install

在这里插入图片描述

  • 更新系统共享库缓存的工具，检查protoc 版本
sudo ldconfig

protoc --version

在这里插入图片描述

算子编译部署

  • 将当前工作目录切换到 tiny_llama

在这里插入图片描述

  • 设置了一个环境变量 ASCEND_PATH，并将其值设为 /usr/local/Ascend/ascend-toolkit/latest
  • export ASCEND_PATH=/usr/local/Ascend/ascend-toolkit/latest
    在这里插入图片描述
  • 将 custom_op/matmul_integer_plugin.cc 文件复制到指定路径
cp custom_op/matmul_integer_plugin.cc $ASCEND_PATH/tools/msopgen/template/custom_operator_sample/DSL/Onnx/framework/onnx_plugin/
  • cd 进入 目标文件夹进行配置
cd $ASCEND_PATH/tools/msopgen/template/custom_operator_sample/DSL/Onnx

在这里插入图片描述

修改环境变量

  • 打开build.sh，找到下面四个环境变量，解开注释并修改如下：
#命令为 vim build.sh

在这里插入图片描述

# 修改内容为
export ASCEND_TENSOR_COMPILER_INCLUDE=/usr/local/Ascend/ascend-toolkit/latest/include
export TOOLCHAIN_DIR=/usr
export AICPU_KERNEL_TARGET=cust_aicpu_kernels
export AICPU_SOC_VERSION=Ascend310B4

在这里插入图片描述
在这里插入图片描述

编译运行& 依赖安装

  • 编译构建项目,进入到构建输出目录以后续处理生成的文
./build.sh
cd build_out/

在这里插入图片描述

  • 生成文件到 customize 到默认目录 $ASCEND_PATH/opp/vendors/
./custom_opp_ubuntu_aarch64.run
  • 删除冗余文件
cd $ASCEND_PATH/opp/vendors/customize
rm -rf op_impl/ op_proto/

在这里插入图片描述

  • 安装依赖：从指定的华为云 PyPI 镜像源安装所需的 Python 包
cd tiny_llama/inference
pip install -r requirements.txt -i https://mirrors.huaweicloud.com/repository/pypi/simple
  • 先cd 回到根目录，在进入家目录，找到咱们的 tiny_llama/inference
    在这里插入图片描述

2.3 推理启动

  • 下载tokenizer文件
cd tokenizer
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/tokenizer.zip
unzip tokenizer.zip

在这里插入图片描述

  • 获取onnx模型文件
cd ../model
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/tiny-llama.onnx

  • 我们在复制代码的时候一定要仔细嗷博主这里少打了一个w 导致并没有获取到模型，后期找了半天才发现错误所以提醒大家一定要注意好每一步
    在这里插入图片描述

  • atc模型转换

atc --framework=5 --model="./tiny-llama.onnx"  --output="tiny-llama" --input_format=ND --input_shape="input_ids:1,1;attention_mask:1,1025;position_ids:1,1;past_key_values:22,2,1,4,1024,64" --soc_version=Ascend310B4 --precision_mode=must_keep_origin_dtype

在这里插入图片描述

三、 项目体验

好了到这里我们就算是大功告成了，只需要启动一下mian文件就OK了

  • 在 cd tiny_llama/inference 目录下运行命令
python3 main.py

在这里插入图片描述

  • 打开网址进行访问

在这里插入图片描述
在这里插入图片描述

Tiny-Llama这个模型由于尺寸非常小，参数也只有1.1B。所以在我们部署Tiny-Llama这个大语言模型推理过程中，Ai Core的占用率只到60%左右，基本是一秒俩个词左右，速度上是肯定没问题的。后期可以去试试升级一下内存去跑一下当下主流的 千问7B模型 或者 清华第二代大模型拥有 60 亿参数 ChatGLM2 感觉用 OrangePi AIpro 这块板子也是没问题。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/782502.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

julia系列17: tsp问题代码整理

julia系列17: tsp问题代码整理

1. 常用库和基础函数 这里是优化版的函数： using TSPLIB,LKH,Distances,PyPlot MaxNum 10000 tspreadTSPLIB(:att48) dist [round.(Int,euclidean(tsp.nodes[i,:],tsp.nodes[j,:])) for i in 1:tsp.dimension,j in 1:tsp.dimension]; pos(tsp::TSP,t::Vector{In…
阅读更多...
Games101学习笔记 Lecture17 Materials and Appearances

Games101学习笔记 Lecture17 Materials and Appearances

Lecture17 Materials and Appearances 材质 BRDF一、Diffuse/Lambertian Material二、Glossy Material三、Ideal reflective/ refractive Material (BSDF)1.镜面反射2.镜面折射3.菲涅尔项 Fresnel 四、Microfacet BRDF 微表面五、Isotropic / Anisotropic Materials (BRDFs)An…
阅读更多...
python - 文件 / 永久存储：pickle / 异常处理

python - 文件 / 永久存储：pickle / 异常处理

一.文件 利用help(open)可以看到open()函数的定义： >>> help(open) Help on built-in function open in module _io:open(file, moder, buffering-1, encodingNone, errorsNone, newlineNone, closefdTrue, openerNone) 默认打开模式是’rt’&#xff0…
阅读更多...
王者荣耀与和平精英的语音识别不准确怎么办？分享一次意想不到的解决经历！

王者荣耀与和平精英的语音识别不准确怎么办？分享一次意想不到的解决经历！

文章目录 📖 介绍 📖🏡 演示环境 🏡📒 完整经历 📒🔍 问题初现 🔍🔎 排查之路：从绝望到希望的转折 🔎🎉 顿悟时刻：原来是“她”的恶作剧 🎉⚓️ 相关链接 ⚓️📖 介绍 📖 作为一位打字速度惊人的玩家，我向来自豪于能在王者荣耀和和平精英等游戏…
阅读更多...
Three.js机器人与星系动态场景（四）：封装Threejs业务组件

Three.js机器人与星系动态场景（四）：封装Threejs业务组件

实际在写业务的时候不会在每个组件里都写几十行的threejs的初始化工作。我们可以 将通用的threejs的场景、相机、render、轨道控制器等进行统一初始化。同时将非主体的函数提到组件外部，通过import导入进组件。将业务逻辑主体更清晰一些。下面的代码是基于reactthre…
阅读更多...
DHCP与TCP的简单解析

DHCP与TCP的简单解析

目录 一、DHCP 1.1 DHCP概述 1.2 DHCP的优势 1.3 DHCP的模式与分配方式***** 1.3.1 DHCP的模式：C/S模式（客户机与服务器模式） 1.3.2 DHCP的分配方式 1.4 DHCP的租约过程及原理 1.4.1 DHCP的工作原理***** 1.4.2 更新租约原理***** …
阅读更多...
智慧校园-基础平台功能总体概述

智慧校园-基础平台功能总体概述

智慧校园基础平台是现代教育信息化的核心，它集成了系统管理、基础数据、系统监控、系统工具、流程管理等关键功能，构建了一个全面、智能、安全的校园生态系统。系统管理部分，通过权限管理和用户管理，实现了对用户访问权限的精细化…
阅读更多...
使用qt creator配置msvc环境(不需要安装shit一样的宇宙第一IDE vs的哈)

使用qt creator配置msvc环境(不需要安装shit一样的宇宙第一IDE vs的哈)

1. 背景 习惯使用Qt编程的童鞋，尤其是linux下开发Qt的童鞋一般都是使用qt creator作为首选IDE的，通常在windows上使用Qt用qt creator作为IDE的话一般编译器有mingw和msvc两种，使用mingw版本和在linux下的方式基本上一样十分简单，不…
阅读更多...
warning: GOPATH set to GOROOT (D:\go) has no effect

warning: GOPATH set to GOROOT (D:\go) has no effect

warning: GOPATH set to GOROOT (D:\go) has no effect gopath 设置一下，并且不要和 goroot 设置成同一个目录
阅读更多...
【carla】ubuntu安装carla环境

【carla】ubuntu安装carla环境

我们可以通过查看 CARLA 的 GitHub release 页面来找到最新版本的下载链接。 下载 CARLA 压缩包 访问 CARLA Releases 页面： CARLA Releases on GitHub 查找最新版本： 找到最新的版本，点击下载，第一个压缩包 3. 解压 CARLA 包&…
阅读更多...
在先企业字号被申请注册成商标！

在先企业字号被申请注册成商标！

今天一网友联系普推商标知产老杨，说自己注册的商标被某公司无效宣告了，去年联系老杨时，当时就给说这个商标名称存在风险，与别人的字号权存在高度近似，而且是同行业同地区在后面注册的。 十几年前某公司先成功注册成字号…
阅读更多...
AI Agent【项目实战】：MetaGPT遇上元编程，重塑复杂多智能体协作的边界

AI Agent【项目实战】：MetaGPT遇上元编程，重塑复杂多智能体协作的边界

AI Agent【项目实战】：MetaGPT遇上元编程，重塑复杂多智能体协作的边界 MetaGPT 以一条需求作为输入，并输出用户故事/竞争分析/需求/数据结构/API/文档等。内部而言，MetaGPT 包含产品经理/架构师/项目经理/工程师等角色。它为软件…
阅读更多...
树目标、抓过程、要结果

树目标、抓过程、要结果

一个好的管理理念不会因为一两个成功案例而发扬，一定是有无数个案例验证了它的价值所在，既然OKR在国外已经取得成功，那么国内依然如此。那么OKR这么成功，它到底好在哪呢？ 一、OKR是连接企业战略和落地执行的最佳方式。…
阅读更多...
ftp服务

ftp服务

1.什么是FTP FTP（文件传输协议）是典型的C/S架构的应用层协议，需要由服务端软件、客户端软件两个部分共同实现文件传输功能。FTP客户端和服务器之间的连接是可靠的，面向连接的，为数据的传输提供了可靠的保证。tcp协议&a…
阅读更多...
1.2 如何让机器说人话？万字长文回顾自然语言处理（NLP）的前世今生 —— 《带你自学大语言模型》系列

1.2 如何让机器说人话？万字长文回顾自然语言处理（NLP）的前世今生 —— 《带你自学大语言模型》系列

本系列目录 《带你自学大语言模型》系列部分目录及计划，完整版目录见：带你自学大语言模型系列 —— 前言 第一部分 走进大语言模型（科普向） 第一章 走进大语言模型 1.1 从图灵机到GPT，人工智能经历了什么&#xff1…
阅读更多...
【3GPP核心网】【5G】精讲5G核心网系统架构主要特征

【3GPP核心网】【5G】精讲5G核心网系统架构主要特征

目录 前言 1. 5G核心网系统架构主要特征 1.1 5G核心网与4G核心网EPC区别 1.2 5G核心网系统架构主要特征 2. 5G网络逻辑架构 2.1 新型基础设施平台 2.2 逻辑架构 前言 首先需要理解核心网的角色定位，作为移动通信网络的核心部分，核心网起着承上启下的作用…
阅读更多...
阶段三：项目开发---大数据开发运行环境搭建:任务3：安装配置Hadoop集群

阶段三：项目开发---大数据开发运行环境搭建:任务3：安装配置Hadoop集群

任务描述 知识点：安装配置Hadoop 重 点： 安装配置Hadoop 难 点：无 内 容： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威…
阅读更多...
JS进阶-作用域

JS进阶-作用域

学习目标： 掌握作用域 学习内容： 作用域局部作用域全局作用域作用域链JS垃圾回收机制拓展-JS垃圾回收机制-算法说明闭包变量提升 作用域： 作用域规定了变量能够被访问的"范围"，离开了这个"范围"变量便不能被…
阅读更多...
批量爬取B站网络视频信息

批量爬取B站网络视频信息

使用XPath爬取B站视频链接等相关信息 分析B站html框架获取内容完整代码 对于B站，目前网上的爬虫大多都是使用通过解析服务器的响应来爬取想要的内容，下面我们通过使用XPath来爬取B站上一些想要的信息 此次任务我们需要对B站搜索到的关键字，并…
阅读更多...
本地多卡(3090)部署通义千问Qwen2-72B大模型提速实践：从龟速到够用

本地多卡(3090)部署通义千问Qwen2-72B大模型提速实践：从龟速到够用

最近在做文本风格转化，涉及千万token级别的文本。想用大模型转写，在线的模型一来涉及数据隐私，二来又不想先垫钱再找报销。本地的7-9B小模型又感觉效果有限，正好实验室给俺配了4卡3090的机子，反正也就是做个推理&#…
阅读更多...
最新文章

Copyright @ 2022~2023