参考本地部署FastGPT使用在线大语言模型
1 rockylinx
1 ollama安装
在rockylinux中安装的，ollama由1.5G，还是比较大，所有采用在windows下下载，然后安装的方式，linux安装
tar -C /usr -xzf ollama-linux-amd64.tgz
# 命令窗口启动
ollama serve
# 新开一个窗口
# 下载千问大模型
ollama run qwen:7b
# 下载词向量大模型
ollama pull shaw/dmeta-embedding-zhdmeta-embedding-zh下载哈后，直接输入，查看运行情况
curl http://localhost:11434/api/embeddings -d '{
"model": "shaw/dmeta-embedding-zh",
"prompt": "天空是灰色的"
}'出现下面的结果标识运行成功
后台启动
cat > /etc/systemd/system/ollama.service <<EOF
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
User=root
ExecStart=/usr/bin/ollama serve
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
[Install]
WantedBy=default.target
EOF
systemctl daemon-reload
systemctl enable ollama
systemctl start ollama 2 安装fastGpt
搭建企业级知识库问答系统，本地、免费、私有化、离线、零成本，根据这个地址提供docker-compose文件安装
因为fastgpt依赖mysql、postgre、mongodb，直接执行不成功。
[root@bw5 ~]# cat /etc/docker/daemon.json
{
"registry-mirrors": ["https://你自己的.mirror.aliyuncs.com",
"https://docker.m.daocloud.io",
"https://dockerhub.timeweb.cloud"
],
"insecure-registries":["10.8.15.225", "10.101.10.200","10.101.12.200"]
}
于是换了一种方式，在docker-compose.yml中镜像的地址都改成自己私有harbor仓库，从自己的私有库下载就没有安装的烦恼。
# 将镜像一个个pull
docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1
# 打标签上传到自己私有的harbor中
docker tag registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 10.101.12.200/gpt/fastgpt:v4.8.1
docker push 10.101.12.200/gpt/fastgpt:v4.8.1启动后，fastgpt的默认密码为：1234，默认端口3000
在fastgpt中创建本地知识库，索引模型dmeta-embedding-zh，文件处理模型采用qwen:7b
手工录入问题，出现问题，因为oneapi中渠道模型必须与shaw/dmeta-embedding-zh保证一致。从下图检测，语义检索成功
接下来创建一个带知识库的应用，保存的时候提示下面的错误。
点击关联知识库中参数，查看问题优化哪里的模型不正确，需要再调整一下
3 openapi
oneapi的默认密码是123456：默认端口为3001，两者默认用户名均是root
新建渠道，使用qwen:7b模型
点击测试，提示下面的错误，这个与视频中说的错误不一致。
通过fastgpt验证，也是同样的问题。
因为前面ollama是本地root用户安装，通过窗口启动，于是改写了一些脚本,再启动脚本中执行Environment="OLLAMA_HOST=0.0.0.0"，就可以了。
成功后，调一下黑悟空，发现qwen:7b模型他并不知道。
2 windows
2.1 docker
安装docker desktop
待完善
