安装部署大语言模型

安装部署大语言模型｜通义千问

下载安装

进入ollama的仓库下载「 qwen 7b 」

libraryGet up and running with large language models.https://ollama.com/library查找阿里的「 qwen 」

根据自己的电脑配置情况，选择合适的模型

总体来说，模型是越大，效果越好，但是对电脑的配置要求也越高

4b 模型要 3GB内存
7b 模型要 8GB 内存
13b 模型要 16GB 内存
70b 模型要 64GB 内存

特别注意：你如果要用于商业用途，需要申请授权，否则只能用于个人学习

千问许可说明:

qwen:latest/licenseGet up and running with large language models.https://ollama.com/library/qwen:latest/blobs/41c2cf8c272f

申请商用授权: 灵积模型服务https://dashscope.console.aliyun.com/openModelApply/qianwen

复制qwen 7b下载命令

ollama pull qwen:7b

7b的模型有4.5GB，我们只需等待安装

安装完成，随便问他几个问题

测试API请求

Mac/Linux下执行

curl 'http://localhost:11434/api/chat' \
--data '{
    "model": "qwen:7b",
    "messages": [
        {
            "role": "user",
            "content": "你是谁"
        }
    ],
    "temperature": 0.1,
    "stream": false
}'

Windows下执行：

curl "http://localhost:11434/api/chat" ^
--data "{""model"": ""qwen:7b"", ""messages"": [{""role"": ""user"", ""content"": ""你是谁""}], ""temperature"": 0.1, ""stream"": false}"