书生大模型第四期闯关任务与笔记

书生大模型第四期闯关任务与笔记

  • 入门岛
    • 第一关 Linux
      • 闯关任务：完成SSH连接与端口映射并运行hello_world.py
      • 笔记与过程
        • SSH
        • 端口映射
        • linux文件管理命令
        • linux进程管理命令
    • 第二关 Python
      • 闯关任务：Leetcode 383(笔记中提交代码与leetcode提交通过截图)
      • 闯关任务：Vscode连接InternStudio debug笔记
      • 笔记与过程
        • conda虚拟环境
        • pip安装
        • 配debug环境
    • 第三关 Git
      • 任务1: 破冰活动：自我介绍
      • 任务2: 实践项目：构建个人项目
      • 笔记与过程
        • 工作区、暂存区和 Git 仓库区
        • 常用指令
    • 第四关 玩转HF/魔搭/魔乐社区
      • 任务：HF平台模型下载与使用过程

入门岛

第一关 Linux

闯关任务：完成SSH连接与端口映射并运行hello_world.py

ssh连接：打开powershell，复制登录命令。使用hostname查看开发机名称，使用uname -a查看开发机内核信息，使用lsb_release -a查看开发机版本信息，使用nvidia-smi查看GPU的信息
在这里插入图片描述
后续使用cursor进行ssh和端口映射，成功运行hello_world.py
在这里插入图片描述

笔记与过程

SSH

cursor安装Remote-SSH

创建开发机

SSH全称Secure Shell，中文翻译为安全外壳，它是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的网络服务。

SSH 是（C/S架构）由服务器和客户端组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的会话密钥用于后续的对称加密。在完成用户认证后，双方即可建立会话进行数据交互。

那在后面的实践中我们会配置SSH密钥，配置密钥是为了当我们远程连接开发机时不用重复的输入密码，那为什么要进行远程连接呢？

远程连接的好处就是，如果你使用的是远程办公，你可以通过SSH远程连接开发机，这样就可以在本地进行开发。而且如果你需要跑一些本地的代码，又没有环境，那么远程连接就非常有必要了。

命令：ssh -p 38267 root@ssh.intern-ai.org.cn -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null

端口映射

端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。

那么我们使用开发机为什么要进行端口映射呢？

因为在后续的课程中我们会进行模型web_demo的部署实践，那在这个过程中，很有可能遇到web ui加载不全的问题。这是因为开发机Web IDE中运行web_demo时，直接访问开发机内 http/https 服务可能会遇到代理问题，外网链接的ui资源没有被加载完全。

所以为了解决这个问题，我们需要对运行web_demo的连接进行端口映射，将外网链接映射到我们本地主机，我们使用本地连接访问，解决这个代理问题。下面让我们实践一下。

ssh -p 38267 root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:7860 -o StrictHostKeyChecking=no

这条命令会通过开发机 SSH 通道将开发机内的 {开发机_PORT} 转发到您本地机器的 (本地机器_PORT}，这个过程可能会要求你输入 SSH 链接的密码。

linux文件管理命令

在 Linux 中，常见的文件管理操作包括：

  • 创建文件：可以使用 touch 命令创建空文件。
  • 创建目录：使用 mkdir 命令。
  • 目录切换：使用cd命令。
  • 显示所在目录：使用pwd命令。
  • 查看文件内容：如使用 cat 直接显示文件全部内容，more 和 less 可以分页查看。
  • 编辑文件：如 vi 或 vim 等编辑器。
  • 复制文件：用 cp 命令。
  • 创建文件链接：用ln命令。
  • 移动文件：通过 mv 命令。
  • 删除文件：使用 rm 命令。
  • 删除目录：rmdir（只能删除空目录）或 rm -r（可删除非空目录）。
  • 查找文件：可以用 find 命令。
  • 查看文件或目录的详细信息：使用ls命令，如使用 ls -l查看目录下文件的详细信息。
  • 处理文件：进行复杂的文件操作，可以使用sed命令。
linux进程管理命令

进程管理命令是进行系统监控和进程管理时的重要工具，常用的进程管理命令有以下几种：

  • ps：查看正在运行的进程
  • top：动态显示正在运行的进程
  • pstree：树状查看正在运行的进程
  • pgrep：用于查找进程
  • nice：更改进程的优先级
  • jobs：显示进程的相关信息
  • bg 和 fg：将进程调入后台
  • kill：杀死进程

第二关 Python

闯关任务：Leetcode 383(笔记中提交代码与leetcode提交通过截图)

代码：

class Solution:
    def canConstruct(self, ransomNote: str, magazine: str) -> bool:
        a = Counter(ransomNote) 
        b = Counter(magazine)
        return (a & b) == a

通过截图：
在这里插入图片描述
思路：一开始的想法是用map统计每个字母的出现次数，保证magazine中每个字母的统计次数>=ransomNote中的；python3正好有很方便的库Collection用来跟踪值出现的次数，常见操作如下，用交集就可以满足该题的要求。

>>> c = Counter("abcdcba")
>>> c
Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})
>>> c = Counter("abcdefgab")
>>> c["a"]
2
>>> c["c"]
1
>>> c["h"]
0
sum(c.values())  # 所有计数的总数
c.clear()  # 重置Counter对象，注意不是删除
list(c)  # 将c中的键转为列表
set(c)  # 将c中的键转为set
dict(c)  # 将c中的键值对转为字典
c.items()  # 转为(elem, cnt)格式的列表
Counter(dict(list_of_pairs))  # 从(elem, cnt)格式的列表转换为Counter类对象
c.most_common()[:-n:-1]  # 取出计数最少的n-1个元素
c += Counter()  # 移除0和负值

闯关任务：Vscode连接InternStudio debug笔记

pip下载openai环境，运行后发现有bug
在这里插入图片描述
打断点排查，发现json.loads理应处理的json字符串res有一些多余的字符：
在这里插入图片描述
使用res.strip()去除后即可顺利运行：
在这里插入图片描述
完整代码：

from openai import OpenAI#调用书生浦语API实现将非结构化文本转化成结构化json的例子
import json
def internlm_gen(prompt,client):
    '''
    LLM生成函数
    Param prompt: prompt string
    Param client: OpenAI client 
    '''
    response = client.chat.completions.create(
        model="internlm2.5-latest",
        messages=[
            {"role": "user", "content": prompt},
      ],
        stream=False
    )
    return response.choices[0].message.content

api_key = ''
client = OpenAI(base_url="https://internlm-chat.intern-ai.org.cn/puyu/api/v1/",api_key=api_key)

content = """
书生浦语InternLM2.5是上海人工智能实验室于2024年7月推出的新一代大语言模型，提供1.8B、7B和20B三种参数版本，以适应不同需求。
该模型在复杂场景下的推理能力得到全面增强，支持1M超长上下文，能自主进行互联网搜索并整合信息。
"""
prompt = f"""
请帮我从以下``内的这段模型介绍文字中提取关于该模型的信息，要求包含模型名字、开发机构、提供参数版本、上下文长度四个内容，以json格式返回。
`{content}`
"""
res = internlm_gen(prompt,client)
trimmed_res = res.strip()[7:-3]
res_json = json.loads(trimmed_res)
print(res_json)

笔记与过程

conda虚拟环境

虚拟环境是Python开发中不可或缺的一部分，它允许你在不同的项目中使用不同版本的库，避免依赖冲突。Conda是一个强大的包管理器和环境管理器。

pip只管理python包，conda

conda create --name myenv python=3.9
conda activate myenv
conda deactivate
#查看当前设备上所有的虚拟环境
conda env list
#查看当前环境中安装了的所有包
conda list
#删除环境（比如要删除myenv）
conda env remove myenv
#安装虚拟环境到指定目录 方便共享
conda create --prefix /root/envs/myenv python=3.9
pip安装

pip install -r requirements.txt

为了节省大家的存储空间，本次实战营可以直接使用share目录下的conda环境，但share目录只有读权限，所以要安装额外的包时我们不能直接使用pip将包安装到对应环境中，需要安装到我们自己的目录下。

这里我们用本次实战营最常用的环境/root/share/pre_envs/pytorch2.1.2cu12.1来举例。

# 首先激活环境
conda activate /root/share/pre_envs/pytorch2.1.2cu12.1

# 创建一个目录/root/myenvs，并将包安装到这个目录下
mkdir -p /root/myenvs
pip install <somepackage> --target /root/myenvs

# 注意这里也可以使用-r来安装requirements.txt
pip install -r requirements.txt --target /root/myenvs

要使用安装在指定目录的python包，可以在python脚本开头临时动态地将该路径加入python环境变量中去

import sys  
  
# 你要添加的目录路径  
your_directory = '/root/myenvs'  
  
# 检查该目录是否已经在 sys.path 中  
if your_directory not in sys.path:  
    # 将目录添加到 sys.path  
    sys.path.append(your_directory)  
  
# 现在你可以直接导入该目录中的模块了  
# 例如：import your_module
配debug环境

下载python插件，首次debug需要配置以下，点击“create a launch.json file”，选择python debugger后选择“Python File” config。

第三关 Git

任务1: 破冰活动：自我介绍

fork后下载有一些问题，是网络，多试几次

在这里插入图片描述
写自我介绍文件并提交到本地仓库在这里插入图片描述
提交pr。pr链接：https://github.com/InternLM/Tutorial/pull/2517
在这里插入图片描述

任务2: 实践项目：构建个人项目

因为github经常出现网络问题，使用gitee平台，在其上上传了深度学习相关的个人毕设项目（因为暂无大模型项目），并将书生大模型的超链接加入readme：
https://gitee.com/sammmmy/cfg-gnn
因为个人时间和能力有限，以及主题不相关，不报名第四期实战营项目。

笔记与过程

工作区、暂存区和 Git 仓库区
  • 工作区（Working Directory）： 当我们在本地创建一个 Git 项目，或者从 GitHub 上 clone 代码到本地后，项目所在的这个目录就是“工作区”。这里是我们对项目文件进行编辑和使用的地方。
  • 暂存区（Staging Area）： 暂存区是 Git 中独有的一个概念，位于 .git 目录中的一个索引文件，记录了下一次提交时将要存入仓库区的文件列表信息。使用 git add 指令可以将工作区的改动放入暂存区。
  • 仓库区 / 本地仓库（Repository）： 在项目目录中，.git 隐藏目录不属于工作区，而是 Git 的版本仓库。这个仓库区包含了所有历史版本的完整信息，是 Git 项目的“本体”。
常用指令

常用指令

指令描述
git config配置用户信息和偏好设置
git init初始化一个新的 Git 仓库
git clone克隆一个远程仓库到本地
git status查看仓库当前的状态，显示有变更的文件
git add将文件更改添加到暂存区
git commit提交暂存区到仓库区
git branch列出、创建或删除分支
git checkout切换分支或恢复工作树文件
git merge合并两个或更多的开发历史
git pull从另一仓库获取并合并本地的版本
git push更新远程引用和相关的对象
git remote管理跟踪远程仓库的命令
git fetch从远程仓库获取数据到本地仓库，但不自动合并

进阶指令

指令描述
git stash暂存当前工作目录的修改，以便可以切换分支
git cherry-pick选择一个提交，将其作为新的提交引入
git rebase将提交从一个分支移动到另一个分支
git reset重设当前 HEAD 到指定状态，可选修改工作区和暂存区
git revert通过创建一个新的提交来撤销之前的提交
git mv移动或重命名一个文件、目录或符号链接，并自动更新索引
git rm从工作区和索引中删除文件

第四关 玩转HF/魔搭/魔乐社区

任务：HF平台模型下载与使用过程

  1. 使用GitHub CodeSpace安装依赖：在这里插入图片描述

  2. 下载internlm2_5-7b-chat的配置文件在这里插入图片描述

  3. 下载internlm2_5-chat-1_8b并打印示例输出：这里以“A beautiful flower”开头，模型对其进行“续写”，InternLM的模型拥有强大的数学方面的能力。这里输出的问题是一个数学问题。在这里插入图片描述

  4. Hugging Face Spaces的使用：
    Hugging Face Spaces 是一个允许我们轻松地托管、分享和发现基于机器学习模型的应用的平台。Spaces 使得开发者可以快速将我们的模型部署为可交互的 web 应用，且无需担心后端基础设施或部署的复杂性。
    首先创建了static space
    在这里插入图片描述
    然后回到CodeSpace，接着clone项目。照着手册修改html，添加token，就能成功push，发现再次进入Space界面变成了下图：在这里插入图片描述

  5. 模型上传：
    通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。一些过程：在这里插入图片描述
    上传完毕的模型网页：在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/913722.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Zabbix 7 最新版本安装 Rocky Linux 8

Zabbix 7 最新版本安装 Rocky Linux 8

前言 本实验主要在Rocky Linux 中安装Zabbix&#xff0c;其他centos8、Debian、Ubuntu、Alma Linux都可以安装&#xff0c;就是在中间件有点不同。Nginx就要配置一下&#xff0c;官网给的教程也算是很规范的&#xff0c;就是在MySQL上要自己安装&#xff0c;他没有告诉我们&am…
阅读更多...
Odoo:免费开源的钢铁冶金行业ERP管理系统

Odoo:免费开源的钢铁冶金行业ERP管理系统

文 / 开源智造 Odoo亚太金牌服务 简介 Odoo免费开源ERP集成计质量设备大宗原料采购&#xff0c;备件设材全生命周期&#xff0c;多业务模式货控销售&#xff0c;全要素追溯单品&#xff0c;无人值守计量物流&#xff0c;大宗贸易交易和精细化成本管理等方案&#xff1b;覆盖…
阅读更多...
刷题强训(day05) -- 游游的you、腐烂的苹果、孩子们的游戏(圆圈中最后剩下的数)

刷题强训(day05) -- 游游的you、腐烂的苹果、孩子们的游戏(圆圈中最后剩下的数)

目录 1、游游的you 1.1 题目 1.2 思路 1.3 代码实现 2、腐烂的苹果 2.1 题目 2.2 思路 2.3 代码实现 3、孩子们的游戏(圆圈中最后剩下的数) 3.1 题目 3.2 思路 3.3 代码实现 3.3.1 环形链表 ​编辑3.3.2 动态规划 ​编辑 1、游游的you 1.1 题目 1.2 思路 根据题…
阅读更多...
Java | Leetcode Java题解之第546题移除盒子

Java | Leetcode Java题解之第546题移除盒子

题目&#xff1a; 题解&#xff1a; class Solution {int[][][] dp;public int removeBoxes(int[] boxes) {int length boxes.length;dp new int[length][length][length];return calculatePoints(boxes, 0, length - 1, 0);}public int calculatePoints(int[] boxes, int l…
阅读更多...
精华帖分享｜历史波动率和已实现波动率纠缠研究

精华帖分享｜历史波动率和已实现波动率纠缠研究

本文来源于量化小论坛公共讨论区板块精华帖&#xff0c;作者为期权罗&#xff0c;发布于2023年11月24日。 以下为精华帖正文&#xff1a; 01 思路由来 波动率研究有很多学术化得研究成果&#xff0c;比较枯燥/难&#xff0c;最近结合波动率继续交易了段时间&#xff0c;一是开…
阅读更多...
ssm088基于JAVA的汽车售票网站abo+vue(论文+源码)_kaic

ssm088基于JAVA的汽车售票网站abo+vue(论文+源码)_kaic

毕 业 设 计&#xff08;论 文&#xff09; 题目&#xff1a;汽车售票网站的设计与实现 摘 要 互联网发展至今&#xff0c;无论是其理论还是技术都已经成熟&#xff0c;而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播&#xff0c;搭配信息管理工具可以很好地为…
阅读更多...
LeetCode Hot100 49.字母异位词分组

LeetCode Hot100 49.字母异位词分组

题干&#xff1a; 思路&#xff1a; 输入的是一个字符串数组&#xff0c;输出是一个列表&#xff0c;首先我们需要通过遍历数组获得每一个字符串&#xff0c;我们想要判断获得的任意两个字符串是不是字母异位词&#xff0c;所以可以将获得的字符串排序&#xff08;转换为字符数…
阅读更多...
金属箔电阻

金属箔电阻

6.金属箔电阻如何实现“高精度” 电阻的阻值会受到各种“应力”影响而发生改变&#xff0c;离开稳定性的高精度是没有意义的。 例如&#xff0c;电阻出厂时的精度时0.01%&#xff0c;为了实现精度付出了高昂的费用&#xff0c;但在几个月的存储或几百个小时的负载后阻值的变化…
阅读更多...
地下水数值模拟、 地下水环评、Visual modflow Flex、Modflow

地下水数值模拟、 地下水环评、Visual modflow Flex、Modflow

地下水数值模拟软件Visual modflow Flex实践技术应用 地下水数值模拟软件的应用&#xff0c;主要围绕的目前应用较为广泛的Visual Modflow Flex 6.1软件版本开展&#xff0c;结合具体应用场景&#xff0c;实例讲解软件的全流程应用过程&#xff0c;包括数据处理分析、数值模型…
阅读更多...
Python 爬虫运行状态监控：进度、错误与完成情况

Python 爬虫运行状态监控：进度、错误与完成情况

Python 爬虫运行状态监控&#xff1a;进度、错误与完成情况 在进行大规模数据爬取时&#xff0c;监控爬虫的运行状态至关重要。通过实时监控&#xff0c;可以了解爬虫的工作进度、出现的错误以及任务完成情况。这样可以及时发现并解决问题&#xff0c;确保数据抓取任务顺利进行…
阅读更多...
Windows下mysql数据库备份策略

Windows下mysql数据库备份策略

Windows下mysql的增量备份和全量备份&#xff0c;并利用schtasks设置定时任务执行bat脚本。 一、备份要求 序号 备份类型 备份频次 备份时间 1 增量备份 每周一-每周六各一次 18:00:00 2 全量备份 每周日一次 18:00:00 二、备份方法 2.1增量备份 2.1.1准备工作…
阅读更多...
代码随想录刷题记录（二十七）——55. 右旋字符串

代码随想录刷题记录（二十七）——55. 右旋字符串

&#xff08;一&#xff09;问题描述 55. 右旋字符串&#xff08;第八期模拟笔试&#xff09;https://kamacoder.com/problempage.php?pid1065字符串的右旋转操作是把字符串尾部的若干个字符转移到字符串的前面。给定一个字符串 s 和一个正整数 k&#xff0c;请编写一个函数&…
阅读更多...
【React】深入理解 JSX语法

【React】深入理解 JSX语法

&#x1f308;个人主页: 鑫宝Code &#x1f525;热门专栏: 闲话杂谈&#xff5c; 炫酷HTML | JavaScript基础 ​&#x1f4ab;个人格言: "如无必要&#xff0c;勿增实体" 文章目录 深入理解 JSX语法1. JSX 简介2. JSX 的基本语法2.1 基本结构2.2 与普通 JavaScr…
阅读更多...
Spring DispatcherServlet 详解

Spring DispatcherServlet 详解

文章目录 一、DispatcherServlet 简介二、DispatcherServlet 的初始化&#xff08;一&#xff09;Servlet 容器启动&#xff08;二&#xff09;读取配置&#xff08;三&#xff09;创建 Web 应用上下文 三、DispatcherServlet 的工作流程&#xff08;一&#xff09;接收请求&am…
阅读更多...
QCustomPlot添加自定义的图例，实现隐藏、删除功能（二）

QCustomPlot添加自定义的图例，实现隐藏、删除功能（二）

文章目录 QCustomPlot初识和基本效果图实现步骤：详细代码示例：实现原理和解释：使用方法：其他参考要实现一个支持复选框来控制曲线显示和隐藏的自定义 QCPLegend 类，可以通过继承 QCPLegend 并重写绘制和事件处理方法来实现，同时发出信号通知曲线的状态变更。 QCustomPl…
阅读更多...
区块链应用第1讲：基于区块链的智慧货运平台

区块链应用第1讲：基于区块链的智慧货运平台

基于区块链的智慧货运平台 网络货运平台已经比较成熟&#xff0c;提供了给货源方提供找司机的交易匹配方案&#xff1b;其中包含这几个角色&#xff1a;货主、承运人(司机、车队长)、监管机构、平台。司机要想接单&#xff0c;依赖于多个中心化的第三方平台&#xff0c;且三方平…
阅读更多...
基于SpringBoot+Vue实现留守儿童爱心网站

基于SpringBoot+Vue实现留守儿童爱心网站

作者简介&#xff1a;Java领域优质创作者、CSDN博客专家 、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、多年校企合作经验&#xff0c;被多个学校常年聘为校外企业导师&#xff0c;指导学生毕业设计并参与学生毕业答辩指导&#xff0c;…
阅读更多...
关于分治法左右区间单调遍历应该如何设计

关于分治法左右区间单调遍历应该如何设计

阅读以下文章&#xff0c;首先至少要求通过一道分治法的题目或听过一道该类型的讲解。 对于分治的题目&#xff0c;想必你应该知道&#xff0c;通常我们是对于一个区间拆分两个部分&#xff0c;而最小子问题通常是只包含一个元素的区间数组。为了后续方便处理更大范围的区间&am…
阅读更多...
友思特应用 | 动态捕捉：高光谱相机用于移动产线上的食品检测

友思特应用 | 动态捕捉：高光谱相机用于移动产线上的食品检测

导读 高光谱成像技术能够为食品安全助力。以友思特BlackIndustry SWIR 1.7 Max 为代表的高光谱相机&#xff0c;完美解决了移动产线检测的应用难点。 高光谱技术&#xff1a;为食品安全保驾护航 食品安全一直是大众关心的热点话题&#xff0c;提供安全、高质量的食品需要对食…
阅读更多...
【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型

【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型

【论文阅读】医学SAM适配器&#xff1a;适应医学图像分割的任意分割模型 文章目录 【论文阅读】医学SAM适配器&#xff1a;适应医学图像分割的任意分割模型一、介绍二、联系工作三、方法四、实验 Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segm…
阅读更多...
最新文章

Copyright @ 2022~2023