书生 浦语 大模型趣味 Demo

目录

一. 部署 InternLM2-Chat-1.8B 模型进行智能对话

1. 环境准备

2. 下载模型参数

3. 运行Demo

二. 部署实战营 八戒-Chat-1.8B 模型

1. 下载Demo仓库

2. 启动web服务端加载八戒模型:

3. 将SSH远程端口映射到本地

4. 在本地浏览器打开:http://127.0.0.1:6006/

三. 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体

1. 下载代码仓库:

2. 安装

3. 构造软链接

4. 修改examples/internlm2_agent_web_demo_hf.py 文件

5. 运行web服务端程序加载模型

6. web映射到本地

7. 浏览器打开:http://127.0.0.1:6006/

四. 实践部署 浦语·灵笔2 模型

1. 补充环境包

2. 下载代码仓库

3. 构建软链接

4. 启动InternLM-XComposer

5.参考上面小结的启动 SSH映射端口到本地,并开启web界面

6. 图片理解实战


一. 部署 InternLM2-Chat-1.8B 模型进行智能对话

1. 环境准备

创建conda 环境

studio-conda -o internlm-base -t demo

安装库:

pip install huggingface-hub==0.17.3 transformers==4.34 psutil==5.9.8 accelerate==0.24.1 streamlit==1.32.2 matplotlib==3.8.3 modelscope==1.9.5 sentencepiece==0.1.99

2. 下载模型参数

首先创建文件夹

编写下载脚本文件

执行脚本文件下载:

python download_mini.py

编辑cli demo脚本文件

3. 运行Demo

让它 帮我们 创作一个300字的小故事

二. 部署实战营 八戒-Chat-1.8B 模型

1. 下载Demo仓库

git clone https://gitee.com/InternLM/Tutorial -b camp2

下载八戒模型:python Tutorial/helloworld/bajie_download.py

2. 启动web服务端加载八戒模型:

streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

3. 将SSH远程端口映射到本地

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38995

4. 在本地浏览器打开:http://127.0.0.1:6006/

三. 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体

1. 下载代码仓库:

git clone https://gitee.com/internlm/lagent.git

切换到相应commit上:

git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac

2. 安装

 pip install -e .

3. 构造软链接

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

4. 修改examples/internlm2_agent_web_demo_hf.py 文件

修改为:

value='/root/models/internlm2-chat-7b'

5. 运行web服务端程序加载模型

streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

6. web映射到本地

7. 浏览器打开:http://127.0.0.1:6006/

四. 实践部署 浦语·灵笔2 模型

1. 补充环境包

pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5

2. 下载代码仓库

git clone https://gitee.com/internlm/InternLM-XComposer.git

并切换到对应commit上

3. 构建软链接

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b

4. 启动InternLM-XComposer

python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

5.参考上面小结的启动 SSH映射端口到本地,并开启web界面

6. 图片理解实战

关闭上面启动程序,重新运行

python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006

打开web页面:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/510640.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【C++第二阶段】案例-职工管理系统

以下内容仅为当前认识,可能有不足之处,欢迎讨论! 文章目录 案例>职工管理系统0.退出功能1.增加职工功能2.显示职工信息3.删除职工信息4.修改职工信息5.查找职工信息6.排序职工7.清空所有文档 案例>职工管理系统 首先写一个workmanager…

Adobe ColdFusion 任意文件读取漏洞复现(CVE-2024-20767)

0x01 产品简介 Adobe ColdFusion是美国奥多比(Adobe)公司的一套快速应用程序开发平台。该平台包括集成开发环境和脚本语言,将可扩展、改变游戏规则且可靠的产品的愿景变为现实。 0x02 漏洞概述 由于 Adobe ColdFusion 的访问控制不当,未经身份认证的远程攻击者可以构造恶…

夜晚兼职好选择:六大副业助你增收

晚上兼职,无疑是许多寻求额外收入人群的理想选择。以下为您精心推荐的六个副业,既适合晚间操作,又能让您在轻松愉悦中赚取额外收益。 网络调查与市场研究:利用晚上的闲暇时光,参与网络调查与市场研究,为企业…

《QT实用小工具·七》CPU内存显示控件

1、概述 源码放在文章末尾 CPU内存显示控件 项目包含的功能如下: 实时显示当前CPU占用率。实时显示内存使用情况。包括共多少内存、已使用多少内存。全平台通用,包括windows、linux、ARM。发出信号通知占用率和内存使用情况等,以便自行显示…

思腾合力与中科创达联合推出的迅思代码生成一体机产品

思腾合力与中科创达联合推出的迅思代码生成一体机产品,基于思腾合力强大算力底座,搭载中科创达自研国产大模型,面向众多有编程开发需求的客户,简化编程和软件开发过程 ,降低编程门槛,全方位提升开发和生产效…

群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务

文章目录 1. 拉取相关的Docker镜像2. 运行Ollama 镜像3. 运行Chatbot Ollama镜像4. 本地访问5. 群晖安装Cpolar6. 配置公网地址7. 公网访问8. 固定公网地址 随着ChatGPT 和open Sora 的热度剧增,大语言模型时代,开启了AI新篇章,大语言模型的应用非常广泛,包括聊天机…

ssm018简易版营业厅宽带系统+jsp

营业厅宽带系统设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本营业厅宽带系统就是在这样的大环境下诞生,其可以帮助管理者在短时间…

【饿了么笔试题汇总】-2024-04-02-饿了么春招笔试题-三语言题解(CPP/Python/Java)

🍭 大家好这里是KK爱Coding ,一枚热爱算法的程序员 ✨ 本系列打算持续跟新饿了么近期的春秋招笔试题汇总~ 💻 ACM银牌🥈| 多次AK大厂笔试 | 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢&#x…

整型之韵,数之舞:大小端与浮点数的内存之旅

✨✨欢迎👍👍点赞☕️☕️收藏✍✍评论 个人主页:秋邱’博客 所属栏目:人工智能 (感谢您的光临,您的光临蓬荜生辉) 1.0 整形提升 我们先来看看代码。 int main() {char a 3;char b 127;char …

枚举---算法

1、定义 枚举算法:也称之为穷举算法,这种算法就是在解决问题的时候去使用所有的方式去解决这个问题,会通过推理去考虑事件发生的每一种可能,最后推导出结果。优点:简单粗暴,它暴力的枚举所有可能&#xff…

算法学习——LeetCode力扣图论篇1(797. 所有可能的路径、200. 岛屿数量、695. 岛屿的最大面积)

算法学习——LeetCode力扣图论篇1 797. 所有可能的路径 797. 所有可能的路径 - 力扣(LeetCode) 描述 给你一个有 n 个节点的 有向无环图(DAG),请你找出所有从节点 0 到节点 n-1 的路径并输出(不要求按特…

STM32 DWT数据观察触发器作为延时函数的使用

STM32 DWT数据观察触发器作为延时函数的使用 📑DWT(Data Watchpoint and Trace数据观察触发器)描述 📝DWT是属于处理器内核单元中的调试组件之一,由四个比较器组成。它们可配置为:硬件监视点或对ETM或PC采样器或数据地…

Ubuntu20.04安装MatlabR2018a

一、安装包 安装包下载链接 提取码:kve2 网上相关教程很多,此处仅作为安装软件记录,方便后续软件重装,大家按需取用。 二、安装 1. 相关文件一览 下载并解压文件后,如下图所示: 2. 挂载镜像并安装 2…

06 | Swoole 源码分析之 Coroutine 协程模块

首发原文链接:Swoole 源码分析之 Coroutine 协程模块 大家好,我是码农先森。 引言 协程又称轻量级线程,但与线程不同的是;协程是用户级线程,不需要操作系统参与。由用户显式控制,可以在需要的时候挂起、或…

回顾快速排序

快速排序 快速排序的核心: 找到一个key 通常左边的数比key小,右边的数比key大。 找key通常有三种方法: 1. 挖坑法: 代码实现: // int _pivot(int* a, int left, int right) {int begin left, end right;int in…

动态图学习新突破!最新SOTA实现性能全面升级,效率与精度兼得

现实世界中的许多图数据是动态变化的,比如社交网络、交通流量等。而传统的图学习方法通常处理的是静态图,这就导致它缺乏处理动态变化的能力,在适应性方面存在局限性。 相较之下,动态图学习能够捕捉到图数据的动态变化&#xff0…

MuJoCo 入门教程(一)

系列文章目录 前言 一、简介 MuJoCo 是多关节接触动力学(Multi-Joint dynamics with Contact)的缩写。它是一个通用物理引擎,旨在促进机器人、生物力学、图形和动画、机器学习以及其他需要快速、准确地仿真铰接结构与环境交互的领域的研究和开…

ssm016基于 Java Web 的校园驿站管理系统+jsp

校园驿站管理系统的设计与实现 摘 要 互联网发展至今,无论是其理论还是技术都已经成熟,而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播,搭配信息管理工具可以很好地为人们提供服务。针对校园快递信息管理混乱,出…

阿里云优惠券如何领取使用?

阿里云是阿里巴巴旗下云计算及人工智能科技公司,提供云服务器、云数据库、云存储等云计算服务和云解决方案。为了吸引更多的用户,阿里云经常推出各种优惠活动,其中就包括阿里云优惠券。本文将为大家详细介绍阿里云优惠券领取方法及使用教程&a…

Nginx 基础

文章目录 Nginx概念安装下载上传安装包执行准备条件指定安装位置编译和安装启动服务创建启动脚本 linux文件目录nginx运行原理nginx配置域名概念和原理域名配置 Nginx 概念 Nginx 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。Nginx是…