chatglm4本地部署详解

下载地址

模型下载地址:GitHub - THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型

已经训练好的数据下载地址:

https://huggingface.co/THUDM/glm-4-9b-chat-1m/tree/main

测试主机配置

cpu:E5-2680v4

内存:32G

显卡:Tesla M4 24G

最低硬件要求

如果您希望运行官方提供的最基础代码 (transformers 后端) 您需要:

  • Python >= 3.10
  • 内存不少于 32 GB

如果您希望运行官方提供的本文件夹的所有代码,您还需要:

  • Linux 操作系统 (Debian 系列最佳)
  • 大于 8GB 显存的,支持 CUDA 或者 ROCM 并且支持 BF16 推理的 GPU 设备。(FP16 精度无法训练,推理有小概率出现问题)

一、下载

(一)打开模型安装地址,点击下载

(二)打开已经训练好的数据下载地址,依次点击下载。超过1G的,建议使用迅雷云盘。

二、安装依赖

(一)安装步骤

        从官网了解可知composite_demo文件夹是存放更新说明的地方

        composite_demo文件夹中的requirements.txt文件夹,是此版本需要安装的依赖

使用命令:(反复执行,直到安装成功)

为保证减少连接失败造成的安装失败,建议尝试使用科学方法,你懂的

pip install -r requirements.txt

安装完毕的样子:

(二)安装失败的解决方案

安装失败,基本都是因为下载时连接失败或者连接断开造成,解决方案主要是两种:

        一种是,指定源地址下载

        另一种是,手动从web下载安装文件后安装

1. transformers==4.40.0载失败

        解决办法:指定清华源下载

pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

 2. accelerate>=0.30.1下载失败

        accelerate>=0.30.1,也是类似情况,但指定源下载依然不奏效。

        解决方法:可以在该版本下载页面下载安装文件accelerate · PyPI(浏览器下载也失败了2次,反正都是断点续传,继续重复执行下载即可。)

        使用下面命令进行安装

pip install accelerate-0.31.0-py3-none-any.whl 

 

        安装成功显示如下:

3. matplotlib下载失败

        解决方法:直接在requirements.txt文件中,将>=3.9.0删除。即不约束版本号

4. PyMuPDF下载失败

        解决方法:

(1)先安装PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

        PyMuPDF手动安装:下载地址PyMuPDFb · PyPI

        安装命令:

pip install PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

(2)再安装PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl

        下载地址:PyMuPDF · PyPI

        安装命令:

pip install PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl 

5. python_docx-1.1.2下载失败

        下载地址:python-docx · PyPI

        安装命令: 

pip install python_docx-1.1.2-py3-none-any.whl

 6. python-pptx 0.6.23 下载失败

下载地址:python-pptx · PyPI

安装命令:

pip install python_pptx-0.6.23-py3-none-any.whl 
(1)执行安装时,过程中下载XlsxWriter-3.2.0-py3-none-any.whl又失败!

        下载地址:XlsxWriter · PyPI

安装命令:

pip install XlsxWriter-3.2.0-py3-none-any.whl 

最后,重新安装

pip install python_pptx-0.6.23-py3-none-any.whl 

7.streamlit-1.35.0下载失败

        下载地址:streamlit · PyPI

        安装命令

pip install streamlit-1.35.0-py2.py3-none-any.whl

8. tiktoken 0.7.0 下载失败

        下载地址:tiktoken · PyPI

        安装命令

pip install tiktoken-0.7.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 

三、测试模型

        已经下载好的模型及训练数据。

        glm-4-9b-chjat为已经训练的参数

        GLM-4-main为模型文件

(一)修改trans_cli_demo.py文件中,第18行,训练参数的位置

        把它修改成glm-4-9b-chat的路径:/home/ls/文档/GLM4/glm-4-9b-chat

 (二)执行trans_cli_demo.py

        执行命令:

python trans_cli_demo.py 

       可以执行,但是太慢了

        chatglm4 在当前配置可以运行。但是只是能运行而已。跟chatglm3回复速度相比,简直是慢动作中的慢动作。要想丝滑运行,升级硬件吧。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/714358.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

pdf转图片,pdf转图片在线转

pdf转图片的方法,对于许多人来说可能是一个稍显陌生的操作。然而,在日常生活和工作中,我们有时确实需要将pdf文件转换为图片格式,以便于在特定的场合或平台上进行分享、展示或编辑。以下,我们将详细介绍一个pdf转成图片…

【网络安全的神秘世界】AppScan安装及使用指南

🌝博客主页:泥菩萨 💖专栏:Linux探索之旅 | 网络安全的神秘世界 | 专接本 https://www.hcl-software.com/appscan AppScan是一种综合型漏洞扫描工具,采用SaaS解决方案,它将所以测试功能整合到一个服务中&a…

Java基础——网络编程(一)

初识网络编程 网络编程:在网络通信协议下,不同计算机上运行的程序,进行的数据传输 应用场景:即时通信、网游对战、金融证券、国际贸易、邮件…… BS架构的优缺点: 1、不需要开发客户端,只需要页面服务端 2、…

Redis 键空间迭代 Scan

引言 在平时线上Redis维护工作中,有时候需要从Redis实例成千上万的key中找出特定前缀的key列表来手动处理数据,可能是修改他的值,也可能是删除key。 Redis提供了一个简单暴力的指令keys用来列出所有满足特定正则字符串规则的key。 127.0.0…

26.1 WEB框架介绍

1. Web应用程序 1.1 应用程序有两种模式 应用程序的架构模式主要分为两种: C/S (客户端/服务器端)和B/S(浏览器/服务器端). * 1. C/S模式, 即客户端/服务器模式(Client/Server Model): 是一种分布式计算模式.它将应用程序的功能划分为客户端和服务器端两部分.在这种模式下, 客…

几种经典排序算法

几种经典排序算法 插入排序折半插入排序法 选择排序冒泡排序希尔排序堆排序二路归并排序快速排序 在介绍排序之前,先来说说,研究不同的排序主要是要研究他们的哪些不同: 时间性能。即排序过程中元素之间的比较次数与元素移动次数。我们此次讨…

【最新鸿蒙应用开发】——鸿蒙中的“Slot插槽”?@BuilderParam

构建函数-BuilderParam 传递 UI 1. 引言 BuilderParam 该装饰器用于声明任意UI描述的一个元素,类似slot占位符。 简而言之:就是自定义组件允许外部传递 UI Entry Component struct Index {build() {Column({ space: 15 }) {SonCom() {// 直接传递进来…

IPv6 ND 协议功能概述

ND 协议功能概述 ND(Neighbor Discovery,邻居发现)协议是 IPv6 的一个关键协议,它综合了 IPv4 中的 ARP,ICMP 路由发现和 ICMP 重定向等协议,并对它们做了改进。 作为 IPv6 的基础性协议,ND 协…

ppt添加圆角矩形,并调整圆角弧度方法

一、背景 我们看的论文,许多好看的图都是用PPT做的,下面介绍用ppt添加圆角矩形,并调整圆角弧度方法。 二、ppt添加圆角矩形,并调整圆角弧度 添加矩形: 在顶部工具栏中,点击“插入”选项卡。 在“插图”…

冒泡排序知识点

排序的基本概念 排序是计算机内经常进行的一种操作,其目的是将一组“无序”的记录调整为“有序”的记录序列。 常用的排序例子 8 7 1 5 4 2 6 3 9 把上面的这个无序序列变为有序(升序或者降序)序列的过程。 1 2 3 4 5 6 7 8 9&#xff0…

Spring运维之boo项目表现层测试加载测试的专用配置属性以及在JUnit中启动web服务器发送虚拟请求

测试表现层的代码如何测试 加载测试的专用属性 首先写一个测试 假定我们进行测试的时候要加一些属性 要去修改一些属性 我们可以写一个只在本测试有效的测试 写在配置里 测试 打印输出 我们把配置文件里面的配置注释掉后 我们同样可以启动 package com.example.demo;impo…

代码随想录——组合总和Ⅱ(Leetcode 40)需要回顾

题目链接 回溯 本题的难点在于:集合(数组candidates)有重复元素,但还不能有重复的组合。 思想:元素在同一个组合内是可以重复的,怎么重复都没事,但两个组合不能相同。所以要去重的是同一树…

购物车店铺列表查询流程

购物车店铺列表查询流程 购物车结算流程图

嵌入式门槛高不高,工资怎么样?

一般来说,嵌入式岗位的准入门槛其实并不是特别高。通常情况下,只要能够熟练掌握 C 语言编程以及单片机相关知识,就能够去制作一些较为简单的电子产品,由此可见其门槛相对而言是比较低的,相应的薪水可能也不会特别高。 …

I2C 总线通信技术基础

1.0 I2C 技术基础 使用总线的目的:采用串行总线技术可以使系统的硬件设计大大简化、系统的体积减小、可靠性提高,同时,系统的更改和扩充变的极为容易。 通信中常用的串行拓展总线 I2C(Inter-Integrated Circuit )总线…

C语言程序设计-6 循环控制

C语言程序设计-6 循环控制 循环结构是程序中一种很重要的结构。其特点是,在给定条件成立时,反复执行某程序 段,直到条件不成立为止。给定的条件称为循环条件,反复执行的程序段称为循环体。C语 言提供了多种循环语句&a…

计算机网络知识点全面总结回顾

物理层 OSI模型:数据链路层(流量控制),从传输层开始端到端;每一层的元素都称为实体,同一层的是对等实体;三个重要概念:服务(下层为上层提供调用)&#xff0c…

【Linux】进程间通信1——管道概念,匿名管道

1.进程间通信介绍 进程是计算机系统分配资源的最小单位(严格说来是线程)。每个进程都有自己的一部分独立的系统资源,彼此是隔离的。为了能使不同的进程互相访问资源并进行协调工作,才有了进程间通信。 进程间通信,顾名…

1055 集体照(测试点3, 4, 5)

solution 从后排开始输出,可以先把所有的学生进行排序(身高降序,名字升序),再按照每排的人数找到中间位置依次左右各一个进行排列测试点3, 4, 5:k是小于10的正整数,则每…

记录一次root过程

设备: Redmi k40s 第一步, 解锁BL(会重置手机系统!!!所有数据都会没有!!!) 由于更新了澎湃OS系统, 解锁BL很麻烦, 需要社区5级以上还要答题。 但是,这个手机…