书生·浦语大模型全链路开源体系-笔记作业2

全部写成了shell脚本，可以一键执行。

笔记：

1. 环境安装(InternStudio开发机)

# 1. 创建conda环境
studio-conda -o internlm-base -t demo
# 2. 激活conda环境
conda activate demo
# 3. 安装额外的依赖
pip install huggingface-hub==0.17.3
pip install transformers==4.34 
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2 
pip install matplotlib==3.8.3 
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99

2. InternLM2-Chat-1.8B 模型下载与运行

按路径创建文件夹，并进入到对应文件目录中：

# 1. 创建项目路径
mkdir -p /root/demo
touch /root/demo/cli_demo.py
touch /root/demo/download_mini.py
cd /root/demo
# 2. 键入脚本内容
echo '
import os
from modelscope.hub.snapshot_download import snapshot_download

# 创建保存模型目录
os.system("mkdir /root/models")

# save_dir是模型保存到本地的目录
save_dir="/root/models"

snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b", 
                  cache_dir=save_dir, 
                  revision="v1.1.0")
' > /root/demo/download_mini.py
# 3. 脚本运行，下载模型
python /root/demo/download_mini.py

3. cli_demo运行

# 1. 键入文件内容
echo '
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


model_name_or_path = "/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map="cuda:0")
model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map="cuda:0"
)
model = model.eval()

system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""

messages = [(system_prompt, "")]

print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")

while True:
    input_text = input("\nUser  >>> ")
    input_text = input_text.replace(" ", "")
    if input_text == "exit":
        break

    length = 0
    for response, _ in model.stream_chat(tokenizer, input_text, messages):
        if response is not None:
            print(response[length:], flush=True, end="")
            length = len(response)
' > /root/demo/cli_demo.py
# 2. 激活conda环境
conda activate demo
# 3. 执行脚本
python /root/demo/cli_demo.py

等待模型加载完成，键入内容示例：

请创作一个 500 字而且剧情很反转的小故事

效果如下：（看起来不太反转，/狗头，故事挺不错）

4. cli_demo学习笔记

主要是学习一下cli_demo的流程：

1. 导入必要的库:

transformers: Hugging Face Transformers 库，提供了预训练的自然语言处理模型

AutoTokenizer:

这是 Transformers 库中的一个类,用于自动加载适合输入模型的tokenizer。

它可以根据模型名称或路径自动选择合适的tokenizer类,并初始化该tokenizer。

主要用于将输入文本转换为模型可以理解的数字序列(token ID)。

常见的功能包括:

from_pretrained(): 从指定的模型路径加载预训练的tokenizer。

encode(): 将输入文本转换为token ID序列。

decode(): 将token ID序列转换回文本。

pad(): 对输入序列进行填充,使其长度一致。

attention_mask: 生成一个注意力掩码,指示哪些部分需要注意。

AutoModelForCausalLM:

这是 Transformers 库中的一个类,用于自动加载适合因果语言模型(Causal Language Model)任务的预训练模型。

它可以根据模型名称或路径自动选择合适的模型类,并初始化该模型。

这种类型的语言模型可以用于生成文本,因为它可以根据之前的输入预测下一个词。

主要用于文本生成、对话系统等任务。

常见的功能包括:

from_pretrained(): 从指定的模型路径加载预训练的模型。

forward(): 给定输入,返回模型的输出logits。

generate(): 基于输入生成新的文本。

stream_chat(): 在交互式对话中逐步生成响应。

标记器（tokenizer）:
详细看这里，huggingface官方解释的很详细：https://huggingface.co/learn/nlp-course/zh-CN/chapter2/4

Tokenizer是Transformers库中的一个核心组件,用于将原始文本转换为模型可以理解的数字序列(token ID)。

它负责将文本分割成有意义的词汇单元(token),并将每个token映射到一个唯一的数字ID。

这个过程称为"tokenization",是使用预训练语言模型的关键步骤之一。

设置系统提示 (system prompt):

system_prompt: 这是一个字符串，定义了 InternLM 助手的身份和属性。它会在对话开始时被传递给模型。

初始化消息列表:

messages = [(system_prompt, "")]: 将系统提示作为第一条消息初始化消息列表。

开始聊天循环:

while True: 进入一个无限循环，直到用户输入 "exit" 退出。

input_text = input("\nUser >>> "): 等待用户输入消息。

input_text = input_text.replace(" ", ""): 去除用户消息中的空格。

if input_text == "exit": break: 如果用户输入 "exit"，则退出循环。

length = 0: 初始化响应长度为 0。

for response, _ in model.stream_chat(tokenizer, input_text, messages):: 使用模型生成响应。stream_chat 函数会逐步生成响应文本。

if response is not None: print(response[length:], flush=True, end=""): 打印响应中新生成的部分。flush=True 确保立即输出，end="" 避免换行。

length = len(response): 更新已输出的响应长度。

作业

4. 实战1：部署实战营优秀作品八戒-Chat-1.8B 模型

a. 环境搭建

# 1. clone项目
cd /root/
git clone https://gitee.com/InternLM/Tutorial -b camp2
# git clone https://github.com/InternLM/Tutorial -b camp2
cd /root/Tutorial
# 2. 下载模型
python /root/Tutorial/helloworld/bajie_download.py
# 3. 启动模型
streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

b. 本地连接端口，进行本地浏览器访问

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374
# 按照下面步骤，更改端口号，填入密码。

c. 跟八戒对话

我是猴哥，你是谁

5. 实战2：使用 Lagent 运行 InternLM2-Chat-7B 模型

Lagent 是一个开源的 LLM 智能体框架，允许使用者快速将一个大语言模型转换成智能体，并提供一些典型工具来激发大语言模型的潜能。Lagent 框架图如下：

Lagent 包含三个主要模块：agents，llms 和 actions。

agents 实现了多种智能体，如 ReAct，AutoGPT。
llms 支持多种大语言模型，包括在 HuggingFace 上托管的开源模型（Llama-2, InterLM）及 GPT3.5/4 等闭源模型。
actions 包含一系列工具，并提供工具执行器来统一管理。

a. 环境搭建，项目下载与部署

conda activate demo
cd /root/demo
git clone https://gitee.com/internlm/lagent.git
# git clone https://github.com/internlm/lagent.git
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac
pip install -e . # 源码安装

b. 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体

Intern Studio 在 share 文件中预留了实践章节所需要的所有基础模型，包括 InternLM2-Chat-7b 、InternLM2-Chat-1.8b 等等。我们可以在后期任务中使用 share 文档中包含的资源，但是在本章节，为了能让大家了解各类平台使用方法，还是推荐同学们按照提示步骤进行实验。

cd /root/demo/lagent
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b
sed -i 's/internlm\/internlm2-chat-20b/\/root\/models\/internlm2-chat-7b/gi' /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py
streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

c. 同4.2章节，本地连接端口进行访问

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374

d. 运行程序

输入：请解方程 X^2=81 之中 X 的结果

运行结果：

6. 实战3：实践部署浦语·灵笔2 模型

创建图文并茂的文章，遥遥领先。

a. 初步介绍 XComposer2 相关知识

浦语·灵笔2 是基于书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：

自由指令输入的图文写作能力：浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。
准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
杰出的综合能力：浦语·灵笔2-7B 基于书生·浦语2-7B 模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过 GPT-4V 和 Gemini Pro。

b. 配置基础环境

# 激活环境，安装依赖包
conda activate demo
# 补充环境包
pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5

# 克隆项目
cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626

# 创建软链
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b

# 运行程序
cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

c. 同4.2章节，本地连接端口进行访问

运行程序执行到这里后再进行ssh连接

# 从本地使用 ssh 连接 studio 端口
# 将下方端口号 38374 替换成自己的端口号
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 38374

d. 运行程序

输入：

根据以下标题：“中国水墨画：流动的诗意与东方美学”，创作长文章，字数不少于800字。请结合以下文本素材：
“水墨画是由水和墨调配成不同深浅的墨色所画出的画，是绘画的一种形式，更多时候，水墨画被视为中国传统绘画，也就是国画的代表。也称国画，中国画。墨水画是中国传统画之一。墨水是国画的起源，以笔墨运用的技法基础画成墨水画。线条中锋笔，侧锋笔，顺锋和逆锋，点染，擦，破墨，拨墨的技法。墨于水的变化分为五色。画成作品，题款，盖章。就是完整的墨水画作品。
基本的水墨画，仅有水与墨，黑与白色，但进阶的水墨画，也有工笔花鸟画，色彩缤纷。后者有时也称为彩墨画。在中国画中，以中国画特有的材料之一，墨为主要原料加以清水的多少引为浓墨、淡墨、干墨、湿墨、焦墨等，画出不同浓淡（黑、白、灰）层次。别有一番韵味称为“墨韵”。而形成水墨为主的一种绘画形式。”

运行结果：

7. 实战4：图片理解

Ctrl+C终止上面程序，继续输入指令，启动 InternLM-XComposer2-vl：

conda activate demo

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006

打开 http://127.0.0.1:6006 (上传图片后) 键入内容示例如下：