1 引言:
最近 DeepSeek
很火啊,想必大家都知道,DeepSeek
这个开源的模型出来后,因其高质量能力和R1 的思维链引发了大家本地部署的热潮。我也不例外,本地部署了一个 14B 的模型,然后把,感觉傻傻的,可能是参数量太少了,然后发现大家都有类似的感觉。所以大家都打消了本地部署的想法吧,只能满血版的 671B 参数量的才是我们理解的 DeepSeek
,而这个参数量级的基本上不适合个人电脑。
然后想体验 R1 思维链的方式就局限在了 DeepSeek
官网 、 三方平台、 API 调用。最近很多云服务平台也上线了满血版的 DeepSeek
,大家可以去体验下。接下来主要会从 API
调用和 Cherry Studio
方向来讲。
这里的初衷是:
- 体验满血版 R1 的思维链,相比输出的结果,这个思考过程对我来说价值会更高一点。
Cherry Studio
提供了知识库搭建的功能,想看看效果怎么样,是否能找到一些价值。
2 项目介绍
2.1 Cherry Studio
Cherry Studio
是一款集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的全能 AI 助手平台。 Cherry Studio
的高度自定义的设计、强大的扩展能力和友好的用户体验,使其成为专业用户和 AI 爱好者的理想选择。无论是零基础用户还是开发者,都能在 Cherry Studio
中找到适合自己的AI功能,提升工作效率和创造力。
2.2 SiliconFlow
SiliconFlow
致力于建立一个可扩展,标准化和高性能的 AI Infra
平台。它提供硅云(型号作为服务),硅LLM推理引擎)和 Onediff
(高性能图像/视频生成库)。这些解决方案都可以帮助公司和独立开发人员以轻松且经济高效的方式部署AI模型。
SiliconFlow
现在有活动,用户注册就是 14 元,也就是 2000 万的 Tokens
,同时邀请一个用户注册也会送 14 元。
这是俺的 邀请链接 ,👏🏻 欢迎大家点击注册。
3 本地使用方法
3.1 下载 Cherry Studio
从 Cherry Studio 官网 去下载对应的版本在电脑上安装就好。
3.2 获取 SiliconFlow ApiKey
成功注册后在 API 秘钥菜单栏中中新建密钥,然后复制出来。
3.3 配置 Cherry Studio
打开 Cherry Studio
的设置界面,然后选中模型服务,在硅基流动的模型中粘贴刚刚复制的 密钥,把顶部的开关打开,然后点击检查,选中 DeepSeek
的模型就好,如果弹窗显示连接成功,这表示可以使用了。
点击左侧的菜单回到聊天界面,然后点击上方的模型,选择想要体验的模型就好,这里我选择的 R1,主要来体验思维链。
这是相关的思考过程,这样就可以通过 Cherry Studio
来使用 DeepSeek R1
模型了,不用再去官网体验 服务器繁忙,请稍后再试。
3.4 知识库搭建
3.4.1 添加嵌入型模型
- 在模型管理服务中查找模型,可以点击“嵌入模型”快速筛选;
- 找到需要的模型,添加到我的模型。
[注意]
- 嵌入类模型、对话类模型、绘画类模型等各自有各自的功能,其请求方式跟返回内容、结构都有所不同,请勿强行将其他类别的模型作为嵌入模型使用;
- 嵌入类模型
Cherry Studio
会自动分类显示在嵌入模型列表中(如上图),如果确认为嵌入模型但未被正确分类,可到模型列表中点击对应模型后方的设置按钮勾选嵌入选项;- 如果无法确认哪些模型是嵌入模型可到对应服务商查询模型信息。
3.4.2 创建知识库
- 知识库入口:在
Cherry Studio
左侧工具栏,点击知识库图标,即可进入管理页面; - 添加知识库:点击添加,开始创建知识库;
- 命名:输入知识库的名称并添加嵌入模型,以
bge-m3
为例,即可完成创建。
3.4.3 添加文件并向量化
- 添加文件:点击添加文件的按钮,打开文件选择;
- 选择文件:选择支持的文件格式,如
pdf,docx,pptx,xlsx,txt,md,mdx
等,并打开; - 向量化:系统会自动进行向量化处理,当显示完成时(绿色 ✓),代表向量化已完成。
Cherry Studio
支持多种添加数据的方式:
- 文件夹目录:可以添加整个文件夹目录,该目录下支持格式的文件会被自动向量化;
- 网址链接:支持网址 url,如https://www.laughingzhu.cn;
- 站点地图:支持
xml
格式的站点地图](https://docs.siliconflow.cn/sitemap.xml); - 纯文本笔记:支持输入纯文本的自定义内容。
这里有很多种方式添加,我选了一个自己博客的网站。
3.4.4 搜索知识库
当文件等资料向量化完成后,即可进行查询:
- 点击页面下方的搜索知识库按钮;
- 输入查询的内容;
- 呈现搜索的结果;
- 并显示该条结果的匹配分数。
3.4.5 对话中引用知识库生成回复
- 创建一个新的话题,在对话工具栏中,点击知识库,会展开已经创建的知识库列表,选择需要引用的知识库;
- 输入并发送问题,模型即返回通过检索结果生成的答案 ;
- 同时,引用的数据来源会附在答案下方,可快捷查看源文件。
效果如下:
下边是没使用知识库的结果:
可以看到二者对比还是很明显的,对于一些需要聚合或者私有知识库的用户来说,这个还是比较有用的,可以把知识库中的内容聚合起来,最近飞书文档也接入了 DeepSeek
,可以实现类似的功能了。
这个知识库的需求应该还是有很大需求的,特别是一些私有的知识库,期望不对外开放的内容,都可以通过这个方式来实现。
当然有条件的话可以在自己的服务器上跑一些本地模型,这个数据就都在自己手里了,也可以实现一些私有化的需求。