(2025)通过Ollama光速部署本地DeepSeek-R1模型(支持Windows10/11)_deepseek猫娘咒语-CSDN博客文章浏览阅读1k次，点赞19次，收藏9次。通过Ollama光速部署本地DeepSeek-R1(支持Windows10/11)_deepseek猫娘咒语https://blog.csdn.net/m0_70478643/article/details/145486626?spm=1001.2014.3001.5501在上一篇文章中我们完成了DeepSeek-R1的光速本地部署。

我对几种可以本地部署的、个人电脑可以带得动的蒸馏模型的性能进行了测试，并测试了各模型的大概配置需求。以便在本地部署时选择合适的模型。

DeepSeek-R1模型简介

首先，DeepSeek-R1开源的模型一共有以下几种：

"Distill": 意味着这些模型是通过蒸馏（knowledge distillation）的方法进行优化的。蒸馏是一种模型压缩技术，主要用于在不显著降低性能的前提下减少模型的大小和复杂度。

"Qwen"代表通义千问(阿里巴巴)，可以简单理解为针对中文进行了优化适配。

"Llama"代表Meta(Facebook)，也可以简单理解成是针对英文进行了优化适配。

"B"代表这个模型的规模(Model Size)，x B代表这个模型使用了x十亿个参数，可以简单理解为数字越大 内存/显存 需求越高，推理效果越好（越聪明）。

我下载了全部的中文版模型进行测试。

分别测试模型性能

1.5b

1.5b逻辑推理能力测试

首先是测试1.5b模型常用的几个问题。

可以看出，1.5b非常的蠢，大略等同于2019年的GPT2.0，属于几乎不能用的状态。

1.5b硬件配置要求

优点是显存占用非常非常的少，并且可以秒回，适合硬件性能很差但仍然想尝试一下本地部署的用户。（测试用GPU是4080，本地跑模型对CPU几乎没要求，i7-9700都可以无压力跑，大模型对内存有一定要求）

7b

7b逻辑推理能力测试

对于这种问题7b可以精准回答并且不需要思考很多（占用很多token）。

但经典的数r问题就露馅了。

 和GPT当前最先进的版本4o差不多。

 因为GPT，没有对中文做适配优化，出于公平考虑，我们用英文并开启推理功能再问一遍（GPT只有o3-mini可以推理）

最终得出结论，自然语言处理能力上，7b约等于GPT 4o/o3-mini。

7b硬件配置要求

7b的显存占用也不算高，约4-5GB，1060显卡也可以跑得动，属于是性价比非常高的模型！

14b

14b逻辑推理能力测试

接下来让我们看看14b的表现

虽然正确的数出了有三个r，但是处理的并不轻松，推理过程巨长

 限于篇幅，这只是一小部分思考，它全篇检查并重新数了五次，但总算是成功数出来了。

其他常用的测试题也可以成功输出。

 14b逻辑推理能力进阶测试

 这种对人类都有些绕的题14b也能解决，反观GPT

14b的NLP能力已经远超GPT，各种AI逻辑测试题没有任何一道可以难住它。

14b代码编写能力测试

接下来测试它的代码编写能力

 完整代码如下

import cv2
import math

def find_yellow_circles(image_path):
    # 读取图像
    img = cv2.imread(image_path)
    
    if img is None:
        print("无法加载图像")
        return
    
    # 转换为HSV颜色空间
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    
    # 定义黄色范围（可以根据需要调整）
    lower_yellow = (10, 50, 50)
    upper_yellow = (30, 255, 255)
    
    # 创建掩膜
    mask = cv2.inRange(hsv, lower_yellow, upper_yellow)
    
    # 应用形态学操作以消除噪声和连接区域
    kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
    mask = cv2.erode(mask, kernel, iterations=1)
    mask = cv2.dilate(mask, kernel, iterations=2)
    
    # 查找连通区域
    contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    
    # 初始化结果图像
    result = img.copy()
    
    for contour in contours:
        # 计算包围圆的参数
        (x, y), radius = cv2.minEnclosingCircle(contour)
        
        # 计算面积
        area = cv2.contourArea(contour)
        
        # 计算圆形度：实际面积与理论圆形面积的比例
        circularity = area / (math.pi * radius**2)
        
        # 过滤非圆形区域（可以根据需要调整阈值）
        if circularity > 0.5:
            # 绘制检测到的圆圈
            cv2.circle(result, (int(x), int(y)), int(radius), (0, 255, 0), 2)
    
    # 显示结果图像
    cv2.imshow("Yellow Circles Detected", result)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

# 示例用法：将 image_path 替换为实际的图像路径
image_path = "path_to_your_image.jpg"
find_yellow_circles(image_path)

让我们来测试一下这个代码，原始图像如下

代码执行结果如下

 可以看出，14b的代码编写能力已经非常非常的夸张了，领先GPT至少一个大版本。

14b硬件配置要求

缺点是需要8-9GB显存，用朋友的4060 8GB版跑会超出显存，占用内存，这会导致CPU占用飙升且回答速度非常慢，但仍然可以输出。

32b

到这里几乎就是普通个人设备的终点了，接下来是32b模型。语言推理能力对于32b来说已经是无需测试了，直接测试他的代码编写能力。

32b代码编写能力测试

同样的问题32b给出的代码：

import cv2
import numpy as np

def find_yellow_circles(image_path):
    # 读取图像
    image = cv2.imread(image_path)
    if image is None:
        print("无法读取图像")
        return
    
    # 转换为HSV颜色空间
    hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
    
    # 定义黄色的范围（H在15到40之间）
    lower_yellow = np.array([15, 70, 70])
    upper_yellow = np.array([40, 255, 255])
    
    # 创建掩膜，提取黄色区域
    mask = cv2.inRange(hsv_image, lower_yellow, upper_yellow)
    
    # 使用形态学操作去除噪声
    kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))
    mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)
    
    # 应用掩膜到原图像
    yellow_image = cv2.bitwise_and(image, image, mask=mask)
    
    # 转换为灰度图并进行边缘检测
    gray = cv2.cvtColor(yellow_image, cv2.COLOR_BGR2GRAY)
    edges = cv2.Canny(gray, 50, 150)
    
    # 使用霍夫圆变换检测圆形
    circles = cv2.HoughCircles(edges, cv2.HOUGH_GRADIENT, dp=1, minDist=20,
                               param1=50, param2=30, minRadius=10, maxRadius=100)
    
    if circles is not None:
        # 将检测到的圆转换为整数坐标
        circles = np.round(circles[0]).astype(int)
        
        for (x, y, r) in circles:
            # 绘制圆形边界和中心点
            cv2.circle(image, (x, y), r, (0, 255, 0), 2)
            cv2.rectangle(image, (x - 5, y - 5), (x + 5, y + 5), (0, 128, 255), -1)
        
        # 显示结果
        cv2.imshow("Yellow Circles", image)
        cv2.waitKey(0)
        cv2.destroyAllWindows()
        
        return circles
    
    print("未检测到黄色圆圈")
    return None

# 使用示例
image_path = "your_image.jpg"  # 替换为你的图像路径
find_yellow_circles(image_path)

 测试结果如下

 奇怪，效果为什么还不如14b，公平起见，再重新生成一次！

这次倒是成功了，我又测试了大概五次，发现32b的代码编写能力并没有显著强于14b。

32b硬件配置要求

然而32b对硬件要求很高，我的4080的16GB显存已经无法满足

 需要像4060跑14b那样借用内存来处理参数

会借用7GB内存，借用内存的同时也会消耗CPU性能，会导致回答输出奇慢无比。

也就是需要显存大于24GB才可以流畅运行32b模型，但性能又和14b拉不开差距，所有32b对于普通用户而言性价比较低。

70b

很抱歉，70b的能力测试我无法进行，因为它对配置要求太高了，不光会GPU会占满，甚至会占29个G内存，就算这种情况下，也完全无法正常提问。

最简单的问题都要经过长达5分钟的思考（还没思考成功），这一级别已经脱离了家用电脑的范畴，我推测最少需要两张A100 40GB才有可能流畅运行。

至于未蒸馏的DeepSeek-R1-Zero，671B的模型可以想象配置要求有多夸张。

总结

1.5b可以说完全无法使用，只适合电脑配置很差又想体验本地部署的用户，不如去官网直接问，虽然会经常无响应，大概等于2019年的GPT2.0。

7b的逻辑推理能力有一定进步，但仍然不足以应对较难的问题，综合性价比不高，适合老显卡用户问一些简单的问题，自然语言处理能力大概等于最新的GPT4o/o3-mini。

14b就已经非常强大了，NLP能力和代码编写能力都远远高于GPT，完全可以满足日常使用需求，配置要求也不高，是所有蒸馏模型里性价比最高的。

32b的综合能力没有显著强于14b，而配置要求飙升，已经接近个人电脑的极限，性价比很低不建议使用。

70b是蒸馏模型中最高版本，很遗憾我的设备性能不足不能进行详细测试。