DB-GPT系列(三):底层大模型设置(开源模型、在线模型)

前面两篇文章分别对 DB-GPT 的总体情况进行了介绍,同时涵盖了镜像一键部署与源码部署这两种部署方式。

DB-GPT系列(一):DB-GPT能帮你做什么?

DB-GPT系列(二):DB-GPT部署(镜像一键部署、源码部署)

当DB-GPT 搭建完成后,怎么修改使用自己需要的大模型?本文将聚焦于DB-GPT底层大模型的修改,包括修改使用开源模型与在线模型。

一、使用在线大模型

1、修改.env文件

该文件在DB-GPT/主目录下

.env文件中修改LLM_MODEL在线大模型名称、PROXY_API_URL在线大模型的API调用地址、API_KEY在线大模型的API_KEY

OpenAI设置

LLM_MODEL=chatgpt_proxyllm
PROXY_API_KEY={your-openai-sk}
PROXY_SERVER_URL=https://api.openai.com/v1/chat/completions
# 如果使用gpt-4
# PROXYLLM_BACKEND=gpt-4

通义千问设置

LLM_MODEL=tongyi_proxyllm
TONGYI_PROXY_API_KEY={your-tongyi-sk}
PROXY_SERVER_URL={your_service_url}

智谱清言设置

LLM_MODEL=zhipu_proxyllm
PROXY_SERVER_URL={your_service_url}
ZHIPU_MODEL_VERSION={version}
ZHIPU_PROXY_API_KEY={your-zhipu-sk}

文心设置

LLM_MODEL=wenxin_proxyllm
PROXY_SERVER_URL={your_service_url}
WEN_XIN_MODEL_VERSION={version}
WEN_XIN_API_KEY={your-wenxin-sk}
WEN_XIN_API_SECRET={your-wenxin-sct}

Gemini设置

LLM_MODEL=gemini_proxyllm
GEMINI_PROXY_API_KEY={your_api_key}

2、在线大模型的API配置信息获取(以智谱清言为例)

(1)在线大模型的API调用地址查找

在智谱清言的的AI开放平台中,可以找到接口文档,并在接口文档中找到GLM-4的请求URL地址。

网址:智谱AI开放平台

(2)在线大模型的API_KEY获取

在智谱清言的的AI开放平台中进行注册登录

网址:智谱AI开放平台

在个人中心添加新的API key或者复制已有的API key

最后的配置如下

LLM_MODEL=zhipu_proxyllm
PROXY_SERVER_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
ZHIPU_MODEL_VERSION=glm-4
ZHIPU_PROXY_API_KEY=YOUR_API_KEY

3、重新启动DB-GPT

最后,重新启动DB-GPT

# 进入DB-GPT主目录
cd /DB-GPT
# 启动DB-GPT
python dbgpt/app/dbgpt_server.py

检查DB-GPT是不是有修改后的大模型

二、使用开源大模型

1、下载开源大模型

步骤:安装git-lfs-->创建模型存放目录-->在目录中开源大模型

首先确保安装了git-lfs,避免下载大文件时候出现超时的情况。

git-lfs安装命令:

● CentOS安装:  yum install git-lfs
● Ubuntu安装:  apt-get install git-lfs
● MacOS安装:  brew install git-lfs

创建模型存放目录,并在目录中开源大模型

# 进入DB-GPT主目录
cd DB-GPT

# 创建models文件夹并进入
mkdir models
cd models

# 下载开源大模型,下面是下载Qwen2.5-14B模型
git clone https://www.modelscope.cn/Qwen/Qwen2.5-14B-Instruct.git
# 其他开源大模型
# 百川
# git clone https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat
# chatglm2
# git clone https://huggingface.co/THUDM/chatglm2-6b

具体各类开源大模型对应的硬件需求,后续会专门写一篇文章说明。

2、修改配置文件

步骤:修改.env文件-->修改model_config.py 文件

.env 文件则定义了DB-GPT项目运行方式

model_config.py 文件定义了模型名称和模型路径的映射关系

(1)修改.env文件,该文件在DB-GPT/主目录下

LLM_MODEL=Qwen2.5-14B-Instruct

(2)修改model_config.py 文件,该文件在DB-GPT/dbgpt/configs/目录下

打开model_config.py文件,找到LLM_MODEL_CONFIG如下图所示。

LLM_MODEL_CONFIG是一个字典,其中Key是模型名称,value是模型文件名称

搜索下载大模型,有没有相应配置,例如前面下载的Qwen2.5-14B-Instruct,以及对应的模型文件是不是一致。如无配置,则需要手动添加。

3、重新启动DB-GPT

最后,重新启动DB-GPT

# 进入DB-GPT主目录
cd /DB-GPT
# 启动DB-GPT
python dbgpt/app/dbgpt_server.py

检查DB-GPT是不是有修改后的大模型

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/910351.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

易思智能物流无人值守系统 ExportReport SQL注入漏洞复现

0x01 产品简介 易思无人值守智能物流系统‌是一款集成了人工智能、机器人技术和物联网技术的创新产品。它能够自主完成货物存储、检索、分拣、装载以及配送等物流作业,帮助企业实现无人值守的智能物流运营,提高效率、降低成本,为现代物流行业带来新的发展机遇。该系统旨在为…

stm32 ADC实例解析(3)-多通道采集互相干扰的问题

文章目录 一、问题现象:二、原因分析:1、测量值不准问题分析:2、采样干扰问题分析 三、解决办法:1、硬件:(1)、电源供电(2)、引脚电容(3)、减少采…

ASP.NET Core 路由规则,自定义特性路由 ,IActionConstraint 路由约束 总结 mvc

资料 资料 路由服务 路由服务是在 Program.cs 中使用 builder.Services.AddRouting()注册的, 只是默认在 builder 之前已经注册过了,无需我们再次注册。 AddRouting()方法必须在 UseRouting()方法之前运行,它是路由的基础服务。 MapContro…

在数据库设计中,如何避免全表扫描?

2024年10月NJSD技术盛典暨第十届NJSD软件开发者大会、第八届IAS互联网架构大会在南京召开。百度文心快码总经理臧志分享了《AI原生研发新范式的实践与思考》,探讨了大模型赋能下的研发变革及如何在公司和行业中落地,AI原生研发新范式的内涵和推动经验。 …

Maven的安装配置

文章目录 一、MVN 的下载二、配置maven2.1、更改maven/conf/settings.xml配置2.2、配置环境变量一、MVN 的下载 还是那句话,要去就去官网或者github,别的地方不要去下载。我们下载binaries/ 目录下的 cd /opt/server wget https://downloads.apache.org/maven/maven-3/3.9.6/…

ReactPress系列—NestJS 服务端开发流程简介

ReactPress Github项目地址:https://github.com/fecommunity/reactpress 欢迎提出宝贵的建议,感谢Star。 NestJS 服务端开发流程简介 NestJS 是一个用于构建高效、可靠和可扩展的服务器端应用程序的框架。它使用 TypeScript(但也支持纯 Java…

Redis数据库测试和缓存穿透、雪崩、击穿

Redis数据库测试实验 实验要求 1.新建一张user表,在表内插入10000条数据。 2.①通过jdbc查询这10000条数据,记录查询时间。 ②通过redis查询这10000条数据,记录查询时间。 3.①再次查询这一万条数据,要求根据年龄进行排序&#…

JavaCV 图像边缘检测 之 Canny 算法

🧑 博主简介:CSDN博客专家,历代文学网(PC端可以访问:https://literature.sinhy.com/#/literature?__c1000,移动端可微信小程序搜索“历代文学”)总架构师,15年工作经验,…

Java Agent使用

文章目录 基本使用premain使用场景 agentmain 关于tools.jar https://docs.oracle.com/en/java/javase/20/docs/specs/jvmti.html com.sun的API,如果使用其他厂商的JVM,可能没有这个API了,比如Eclipse的J9 https://www.ibm.com/docs/en/sdk…

解决客服打字慢的快捷回复软件

客服每天都要打字回复咨询,打字慢必然影响回复效率,聊天宝就是一款解决客服打字慢的快捷回复软件 前言 总所周知,客服每天都要打字回复咨询,打字慢必然影响回复效率,所以解决打字速度慢的问题,就是很多客服…

【2024最新版Kotlin教程】Kotlin第一行代码系列第六课-嵌套类,数据类,密封类

【2024最新版Kotlin教程】Kotlin第一行代码系列第六课-嵌套类,数据类,密封类 数据类在之前的课程已经讲了,嵌套类和密封类可以不学,很少用到的。 但为了系统的完整性还是说一下 一、嵌套类: 选学:按我经…

uniapp 开发公众号 h5 页面 错误 “redirect_uri 参数错误“

公众号 h5 支付 调错避坑 1. 一直显示以下错误 ”redirect_uri 失效了“不用管直接 打包上传服务器 2. 直接在”微信开发者工具“ 进行调试( 使用线上地址访问 )就能看到真实 接口 错误,在进行调试

闪存学习_2:Flash-Aware Computing from Jihong Kim

闪存学习_2:Flash-Aware Computing from Jihong Kim【1】 一、三个闪存可靠性问题二、内存的分类三、NAND 闪存和 NOR 闪存四、HDD和SSD比较Reference 一、三个闪存可靠性问题 耐性(即寿命):最多能经受编程和擦除的次数。数据保留…

代码随想录算法训练营Day55 | 图论理论基础、深度优先搜索理论基础、卡玛网 98.所有可达路径、797. 所有可能的路径、广度优先搜索理论基础

目录 图论理论基础 深度优先搜索理论基础 卡玛网 98.所有可达路径 广度优先搜索理论基础 图论理论基础 图论理论基础 | 代码随想录 图的基本概念 图的种类 大体分为有向图和无向图。 图中的边有方向的是有向图: 图中的边没有方向的是无向图: 图…

OpenEuler 使用ffmpeg x11grab捕获屏幕流,rtsp推流,并用vlc播放

环境准备 安装x11grab(用于捕获屏幕流)和libx264(用于编码) # 基础开发环境&x11grab sudo dnf install -y \autoconf \automake \bzip2 \bzip2-devel \cmake \freetype-devel \gcc \gcc-c \git \libtool \make \mercurial \pkgconfig \zlib-devel \libX11-devel \libXext…

【Simulink仿真】混合储能平抑光伏功率波动

摘要 本文基于Simulink仿真平台,提出了一种混合储能系统(Hybrid Energy Storage System, HESS)来平抑光伏发电中的功率波动。该系统将超级电容与电池相结合,通过双向DC-DC变换器实现能量的动态分配。超级电容响应快,主…

C语言必做30道练习题

C语言练习30题(分支循环,数组,函数,递归,操作符) 目录 分支循环1.闰年的判断2.阅读代码,计算代码输出的结果3.输入一个1~7的数字,打印对应的星期几4.输入任意一个整数值,…

进程与线程+多线程优势

区别: 1、进程中包含线程,每一个进程都至少一个线程(主线程) 2、进程是申请系统资源的最小单位 3、进程是CPU调度的最小单位 4、线程之间共享进程申请的系统资源 5、一个线程崩溃了会影响整个进程 进程的组织方式&#xff1…

期权懂|期权策略中两边开卖方实值对冲会有盈利区间吗?

期权小懂每日分享期权知识,帮助期权新手及时有效地掌握即市趋势与新资讯! 期权策略中两边开卖方实值对冲会有盈利区间吗? 一、期权策略中两边开卖方实值对冲的盈利区间可以‌核心策略‌分析‌: 期权对冲策略的核心是利用期权的特…

Follow软件的使用入门教程

开篇 看到很多兄弟还不知道怎么用这个当下爆火的浏览器!在这里简单给需要入门的小伙伴一些建议: 介绍 简单解释一下,RSS 意思是简易信息聚合,用户可以通过 RSS 阅读器或聚合工具自主订阅并浏览各个平台的内容源,不用…