导语
昨天看到阿里开源了Qwq-32b,号称性能可以媲美Deepseek-R1。今天晚上有空就在Mac上折腾了一下,使用ollma进行了部署,效果感觉还不错,特此记录。
环境
硬件
- 型号:Macbook M1 Pro 14寸
- 内存:512G
环境配置
首先需要安装ollama,直接前往Ollama官网下载对应系统版本安装包并进行安装即可。
之后,打开命令行(mac是zsh),输入
jiexing@MacBook-M1-Pro ~ % ollama run qwq
pulling manifest
pulling c62ccde5630c... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 19 GB
pulling 41190096a061... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.2 KB
pulling d18a5cc71b84... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 11 KB
pulling 4afe5edfdb51... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 77 B
pulling 6a8faa2fb8b0... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 488 B
verifying sha256 digest
writing manifest
success
>>> 请介绍一下你自己
<think>
</think>
你好!我是通义千问,阿里巴巴集团旗下的超大规模语言模型。我可以帮助你回答问题、创作文字,比如写故事、写公文、写邮件、写剧本,进行逻辑推理、编程等。我熟练掌握多种语言,包括但不限于中文、英文、德语、法语、西班牙语等。
如果你有任何问题或需要帮助,欢迎随时告诉我!
WebUI搭建
完成部署后,看着简陋的命令行背景,感觉还是不如chatgpt、Deepseek那些网页版体验好,于是找了一下如何部署一个Web UI。主要参考ollama-webui-lite项目,尝试如下:
首先需要clone项目:
git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
然后运行
yarn
结果我这里报错
zsh command not found yarn
于是我使用brew来安装yarn,直接brew install yarn
是无法成功的,经过搜索发现需要更新brew update
,然后顺利安装yarn。
在运行之前,还需要确保本机的node>=16,可以直接使用
brew install node
来安装。
启动界面
在项目目录下,运行yarn dev
,即可成功设置WebUI,点击 http://localhost:3000/ 即可打开本地的WebUI。
jiexing@MacBook-M1-Pro ollama-webui-lite % yarn dev
yarn run v1.22.22
$ vite dev --host --port 3000
Forced re-optimization of dependencies
VITE v4.5.9 ready in 499 ms
➜ Local: http://localhost:3000/
➜ Network: http://192.168.71.174:3000/
➜ Network: http://10.50.50.18:3000/
➜ press h to show help