安装与使用
- 去官网 https://gpt4all.io/index.html下载可执行文件。
- 打开应用即可看到是否共享数据的选项：
- 然后自动进入模型下载界面
测试
-
内存占用
-
缺点：在我本地的轻薄本上运行时，风扇会有轻微噪声，关闭软件很久都没停止。
python端
# pip install gpt4all // https://docs.gpt4all.io/
from gpt4all import GPT4All
model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")
output = model.generate("The capital of France is ", max_tokens=3)
print(output)
后端实现
根据官方提供的后端实现,目前支持三种不同的模型体系结构：GPT-J 架构， LLAMA 架构，基于 Mosaic ML 的 MPT 架构的模型。由于 Georgi Gerganov 编写的 ggml 库和各开源社区不断增长的开发人员的支持模型可用于 CPU 推理。
CG
