Bytebase 对接本地部署的 llama3 开启ChatSQL功能

Bytebase 是为开发人员、测试、DBA和运维工程师构建的数据库 DevOps 领域的，类 GitLab/GitHub 平台。

这篇文章主要关注 Bytebase SQL 编辑器中的 AI 增强功能。使用此功能您可以使用自然语言在 Bytebase SQL 编辑器中查询数据库。同时还能给出针对查询的索引建议，但目前只支持 OpenAI 兼容的API，由于国内无法访问 ChatGPT ，另外出于数据安全的考虑，也建议使用本地部署的LLM。您可以找一个与 OpenAI API 完全兼容的LLM，但目前开源的模型如 llama3 已经非常强大，本篇文章就是详解如何使 Bytebase 对接私有部署 llama3 模型。

思路是在 Bytebase 和 llama3 中间加一个翻译器，将bytatebase 发起的符合OpenAI API规范的请求转换为llama3 API 的请求，当然响应就是这个过程的逆向解释。这里使用开源项目 One-API。

下面进入实操（linux 环境，docker的安装掠过）：

运行llama3 模型

# 先运行llama3，我这里使用 ollama 运行llama3
  docker run -d -p 11434:11434 --name ollama --restart always ollama/ollama

# ollama 容器启动后，进入到容器内
  docker exec -it ollama bash

# 下载 llama3 模型（ 如果中文问答建议使用llama3-Chinese:8B-instruct 模型，需要自己下载并导入 ）
  ollama pull llama3

# 目前 Bytebase 发送 API 请求默认的 model 使用的是 gpt-3.5-turbo 无法修改，所以我们需要将模型改名为 gpt-3.5-turbo。也可以在 One-API 中做映射。
  ollama cp llama3 gpt-3.5-turbo

# 运行模型
  ollama run gpt-3.5-turbo

至此本地模型就运行起来了。可以测试一下API是否正常。

curl http://localhost:11434/api/generate -d '{
  "model": "gpt-3.5-turbo",
  "prompt":"Why is the sky blue?"
}'

当然这个模型虽然名称是 gpt-3.5-turbo，但实际上他是llama3 模型。

配置 One-API

GitHub 项目地址

# docker运行
# 使用 SQLite 的部署命令：
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

启动后登陆 One API 管理界面
先配置渠道：
在这里插入图片描述
配置令牌

提交后生成令牌，点击复制按钮，会显示令牌。

测试 One-API

curl http://192.168.0.10:3000/v1/chat/completions \
    -H "Content-Type: application/json" \
        -H "Authorization: Bearer sk-UUqssfusufisfisifwefjfjmwvwlmi3292923m84E698E548" \
    -d '{
  "model": "gpt-3.5-turbo",
  "messages": [
    {
      "role": "user",
      "content": "给我讲个笑话吧。"
    }
  ],
  "temperature": 0.7
}'

配置 Bytebase

如果 One-API 测试没问题了，就可以将其配置到 Bytebase 中了
在设置–> 工作空间 --> 通用中有 AI 增强配置页。要求输入 OpenAI API Key 和 OpenAI API Endpoint
OpenAI API Key：即刚才的生成的令牌
OpenAI API Endpoint：即 One-API 的地址端口，如我这里的 http://192.168.0.10:3000