在游戏本(6G显存)上本地部署Deepseek，运行一个14B大语言模型，并使用API访问

在游戏本6G显存上本地部署Deepseek，运行一个14B大语言模型，并使用API访问

  • 环境说明
  • 环境准备
    • 下载lmstudio
    • 运行lmstudio
  • 下载模型
    • 从huggingface.co下载模型
  • 配置模型
  • 加载模型
  • 测试模型
  • API
    • 启动API服务
    • 代码测试

deepseek在大语言模型上的进步确实不错，相比最初的百川在CPU上运行14B模型输出一次对话要20分钟，deepseek使用1.5B时，完全可以在CPU上快速输出内容，性能提升非常显著，完全满足个人在笔记本上开发大模型应用的基本要求。虽然deepseek每次对话都要思考一下，使用了较多时间，但在实际输出内容时，还是比较快速的，在游戏本上至少可以每秒输出5个token以上。
下面内容是我在自己的游戏本上测试结果，没有进行任何优化，供大家参考。

环境说明

游戏本：Redmi G
CPU：AMD Ryzen 7 5800H
内存：32G
显卡：NVIDIA GetForce RTX 3060 Laptop（6G）
存储：SSD

环境准备

下载lmstudio

下载地址

https://lmstudio.ai/

在这里插入图片描述

得到安装程序，目前是0.3.9版的。

LM-Studio-0.3.9-6-x64.exe

运行安装程序

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

运行lmstudio

在这里插入图片描述
在这里插入图片描述

下载模型

从huggingface.co下载模型

模型下载地址

https://huggingface.co/roleplaiapp/DeepSeek-R1-Distill-Qwen-1.5B-Q4_0-GGUF/blob/main/deepseek-r1-distill-qwen-1.5b-q4_0.gguf
https://huggingface.co/BernTheCreator/DeepSeek-R1-Distill-Qwen-7B-Q4_0-GGUF/blob/main/deepseek-r1-distill-qwen-7b-q4_0.gguf
https://huggingface.co/Triangle104/DeepSeek-R1-Distill-Qwen-14B-uncensored-Q4_K_S-GGUF/blob/main/deepseek-r1-distill-qwen-14b-uncensored-q4_k_s.gguf

在这里插入图片描述

将模型保存在本地。目录规则为models/{user_name}/{model_name}/{model_file_name}

如:

C:\llm\models\jihui\deepseek-r1-distill-qwen-14b-uncensored-q4_k_s\deepseek-r1-distill-qwen-14b-uncensored-q4_k_s.gguf

在这里插入图片描述

配置模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

设置完成后，显示如下：
在这里插入图片描述

加载模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

加载完成后，显示如下：
在这里插入图片描述
在这里插入图片描述

测试模型

在这里插入图片描述
在这里插入图片描述

DeepSeek思考57秒后，开始输出内容。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

测试一共输出了1650个token，每秒5个token，速度还是可以接受的。
在这里插入图片描述

输出内容如下：

<think>
嗯，用户让我帮他写一个穿越到古代的小说，要求是古龙风格，字数2000字左右。首先，我得理解用户的需求。他可能是个喜欢武侠小说的读者，或者他自己在尝试写作，想要一个灵感或示例。

古龙风格的特点是什么呢？古龙的小说通常情节紧凑，人物性格鲜明，语言简练有力，常常带有浓厚的江湖气息和宿命感。所以，在写这个穿越故事的时候，我需要融入这些元素。

接下来，用户提到2000字左右，这意味着不能太复杂，但要有足够的冲突和发展。可能是一个短篇或者一个开头部分，给用户提供灵感继续创作。

然后，考虑穿越的情节。古龙风格的穿越通常会有神秘感和宿命的感觉。主角可能被卷入某种命运之中，面对生死考验。比如，可以设计一个场景，让主角在某个关键时刻被选中或被迫行动，带出他的特殊身份或任务。

角色设定方面，主角可能是个普通人，突然穿越到古代，发现自己拥有某种能力或者身世之谜。配角则可能是神秘的导师、盟友或敌人，推动剧情发展。

语言风格上，要保持简洁有力，避免冗长的描述，多用短句和口语化的表达，让故事节奏感强，符合古龙的快节奏。

最后，2000字左右，我需要构建一个吸引人的开头，设置悬念，同时展示主角的性格和所处环境。这样用户可以看到故事的大致框架，并能从中获得创作灵感。
</think>



好的，我将按照您的要求创作一篇古龙风格的穿越小说。为了让故事更加完整和引人入胜，我会先列出一些基本的情节脉络。请您看看以下内容是否符合您的预期。

### 世界观设定

- **时间设定**：古代江湖，具体朝代背景模糊，主要通过侠客的行侠仗义展现时代特征。

- **地点设定**：故事从一个普通市井小巷开始，随着剧情发展逐步展开到更大的江湖世界。

- **基本背景**：这是一个充满侠义与恩怨的世界，江湖人士遵循着自己的道义准则，同时也面临着各种危险和挑战。

### 章节概要

- **第一章：神秘来客**：一个受伤的白衣男子突然闯入主角所在的酒馆，展现出不凡的身手和气质。他的出现打破了小楼的平静，也暗示了即将发生的变故。

- **第二章：身份之谜**：白衣男子身份成谜，他似乎与主角有着某种宿命关联。他的到来为整个故事埋下了一个巨大的悬念。

- **第三章：命运交织**：在随后的故事中，主角将被迫卷入一场关乎个人生死和江湖大局的阴谋当中。这一段将重点描写主角如何面对突如其来的命运转折，并展现出古龙式作品特有的宿命感。

现在让我们开始讲述这个故事的第一部分：

---
天色已晚，小楼里只剩下我一个人。我把最后一口酒倒进喉咙，砸吧砸吧嘴，想着明天该去哪里找活干。

这半年来，我在城里做了好几家人的短工，但都没能长久。不是嫌我手脚慢，就是说我偷懒耍滑。可我真没偷过懒啊，那活儿太累人了，实在是干不动。

正当我要起身收拾碗筷时，外面突然传来一阵急促的脚步声。紧接着，"砰"的一声，一个人重重地撞在了我的门上。

"救人！快救人！"

我这才发现是个男人，穿着一身白色的劲装，衣襟染着血迹。他的脸上有一道狰狞的伤疤，从左眼角一直延伸到下巴，看起来极为吓人。那双眼睛却很亮，像是夜枭的眼睛，在黑暗中闪烁着冷光。

"我说救人就救人！"我抄起扫把就要往门后躲，可他一把将门推开，跌跌撞撞地冲了进来。

他的动作很快，比我想象的快得多。等我反应过来时，他已经抄起放在墙角的木棍，像跳舞一样转了一圈，棍影如同实质，裹挟着劲风直扑我的咽喉。

这下可把我吓坏了，我连滚带爬地往后躲。棍子擦着我的脖子而过，发出"呼"的一声。我感觉脖子上火辣辣的，差点没晕过去。

"我说过要救你吗？"他收住动作，嘴角勾起一抹冷笑，"你是自己找死还是怎么着？"

我这才看清楚他的样貌：三十出头，身材修长，但整个人透着一股阴郁之气。那双眼睛像锥子一样盯着我，让我浑身不自在。

"我说兄弟，你这是干吗？"我不由分说地往后退了一步，"有话好好说，别动武啊。"

他突然笑了，笑声低沉沙哑："好说，我们这就说。不过..."他的眼神变得阴狠起来，"你最好先给我个痛快。"

说着，他突然出手，速度快得不可思议。我只看到一道白影闪过，他已经欺身而上，手中不知何时多了一柄短刀。

这一下直取我的胸口，来势汹汹。我不敢硬拼，只好侧身闪避。可他的刀法太诡异了，明明是平实的一招，却让我感觉像是被毒蛇盯住一般，浑身动弹不得。

就在这千钧一发之际，我看到他的手腕突然僵了一下。

这一瞬间的破绽来得快去得也快，但我还是把握住了机会。我一个侧身躲过他的刀锋，反手抄起刚才准备好的扫把，狠狠地砸在了他的小臂上。

"砰"的一声，他闷哼一声，短刀脱手而飞，插进了墙上的木板里。我这才松了口气，可心里却警觉起来：这人武功不弱啊。

他没有再攻击我，只是静静地站在那里，眼神阴沉地看着我。那目光像是要将我活剥了似的。

"我说..."我尽量让自己的声音听起来平静，"你要杀我，我现在已经给你机会了。"

他突然开口，声音低沉："你知道我是谁吗？"

我没有说话，只是摇头。

"我是陆寒锋。"他缓缓道，"江湖人称'白衣无痕'。"

这个名字似乎很耳熟，我不由得打了个寒颤。据我所知，这人的武功在江湖上是数一数二的，而且行事极其隐秘，从不轻易显露行踪。

"今天..."他的声音像是从地狱里传出来的，"我要取你项上人头。"

我不由自主地后退了一步："为...为什么？"

他露出一个令人毛骨悚然的笑容："因为你活得太长了。"

话音未落，他的身形突然消失在原地。下一刻，他已经欺身而上，手中不知何时又多了一柄匕首。

我根本来不及思考，本能地抬腿就要往外面跑。可他显然早有准备，一把握住了我的脚踝。那一瞬间的剧痛让我几乎晕厥过去。

"你..."我感觉不对劲，想要挣扎，可是浑身就像被抽了骨头一样软绵绵的。

---

**接下来故事可能会沿着这些方向发展**：

- **神秘身份**：陆寒锋对主角展现出的敌意以及他所知道的关于主角未来的预言，暗示主角拥有某种特殊的身份或使命

- **江湖传言**：白衣无痕这个名号在江湖上的传闻，将为后续揭示更多的人物背景和故事主线埋下伏笔

希望这个开头能满足您的要求。如果需要更多细节或调整，请随时告诉我。

API

启动API服务

在这里插入图片描述
在这里插入图片描述
可以使用浏览器进行测试。

http://localhost:1234/v1/models

{
  "data": [
    {
      "id": "deepseek-r1-distill-qwen-14b-uncensored",
      "object": "model",
      "owned_by": "organization_owner"
    },
    {
      "id": "deepseek-r1-distill-qwen-7b",
      "object": "model",
      "owned_by": "organization_owner"
    },
    {
      "id": "deepseek-r1-distill-qwen-1.5b",
      "object": "model",
      "owned_by": "organization_owner"
    },
    {
      "id": "text-embedding-nomic-embed-text-v1.5",
      "object": "model",
      "owned_by": "organization_owner"
    }
  ],
  "object": "list"
}

代码测试

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://127.0.0.1:1234/v1"
model_name = "deepseek-r1-distill-qwen-14b-uncensored"

client = OpenAI(
    base_url=openai_api_base,
    api_key=openai_api_key
)

models = client.models.list()

print(models)
# SyncPage[Model](data=[Model(id='deepseek-r1-distill-qwen-14b-uncensored', created=None, object='model', owned_by='organization_owner'), Model(id='deepseek-r1-distill-qwen-7b', created=None, object='model', owned_by='organization_owner'), Model(id='deepseek-r1-distill-qwen-1.5b', created=None, object='model', owned_by='organization_owner'), Model(id='text-embedding-nomic-embed-text-v1.5', created=None, object='model', owned_by='organization_owner')], object='list')

role = "你是一个古代诗人，擅长用七言绝句回答问题"
query = "形容一下我中了500万后的心情"

chat_completion = client.chat.completions.create(
    model=model_name,
    messages=[
        {
            "role": "system",
            "content": role
        },
        {
            "role": "user",
            "content": query
        }
    ]
)

print(chat_completion)

输出结果

C:\anaconda3\envs\Tech\python.exe C:/Code/Tech/llm/text/deepseek/chat_deepseek.py
SyncPage[Model](data=[
Model(id='deepseek-r1-distill-qwen-14b-uncensored', created=None, object='model', owned_by='organization_owner'), 
Model(id='deepseek-r1-distill-qwen-7b', created=None, object='model', owned_by='organization_owner'), 
Model(id='deepseek-r1-distill-qwen-1.5b', created=None, object='model',owned_by='organization_owner'), 
Model(id='text-embedding-nomic-embed-text-v1.5', created=None, object='model', owned_by='organization_owner')
], object='list')

ChatCompletion(id='chatcmpl-r75ede818ybactnrsup7bu', choices=[Choice(finish_reason='stop', index=0, logprobs=None, message=ChatCompletionMessage(content='<think>\n首先，我需要理解用户的需求。用户希望我以一个古代诗人的身份，用七言绝句来描述中了500万后的感受。
七言绝句是一种传统的诗歌形式，每首四句，每句七个字，注重平仄和对仗。因此，我需要在有限的字数内表达出丰富的感情。
接下来，我思考用户的潜在需求。用户可能不仅仅想要一首诗，而是希望通过诗歌来表达中奖后的复杂心情，可能是喜悦、震惊或者是对未来的思考。
然后，我开始构思诗句的内容。第一句“闻报家中五百万”，直接传达了中奖的消息，具有冲击力。第二句“心飞魄动一瞬间”，形容内心的震撼和激动，让人感同身受。
第三句“财源滚滚自天降”描绘了财富突然降临的情景，表现出一种不真实的感觉。最后一句“从此无忧享太平”则表达了对未来生活的美好期望和安心。
在语言风格上，我尽量保持古朴典雅，同时让诗句通俗易懂，符合七言绝句的特点。这样的表达既符合古代诗人的身份，又能准确传达用户的情感。
最后，我检查整个诗歌的韵律和平仄是否合适，确保读起来顺畅且富有节奏感。这样不仅满足了形式上的要求，也让内容更加生动有力。\n</think>

《七绝·中奖》
闻报家中五百万，
心飞魄动一瞬间。
财源滚滚自天降，
从此无忧享太平。

', refusal=None, role='assistant', audio=None, function_call=None, tool_calls=None))], created=1738722001, model='deepseek-r1-distill-qwen-14b-uncensored', object='chat.completion', service_tier=None, system_fingerprint='deepseek-r1-distill-qwen-14b-uncensored', usage=CompletionUsage(completion_tokens=314, prompt_tokens=27, total_tokens=341, completion_tokens_details=None, prompt_tokens_details=None))

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/965075.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

专业学习｜一文了解并实操自适应大邻域搜索（讲解代码）

专业学习｜一文了解并实操自适应大邻域搜索（讲解代码）

一、自适应大邻域搜索概念介绍 自适应大邻域搜索&#xff08;Adaptive Large Neighborhood Search&#xff0c;ALNS&#xff09;是一种用于解决组合优化问题的元启发式算法。以下是关于它的详细介绍&#xff1a; -自适应大领域搜索的核心思想是&#xff1a;破坏解、修复解、动…
阅读更多...
记录一下 在Mac下用pyinstallter 打包 Django项目

记录一下 在Mac下用pyinstallter 打包 Django项目

安装: pip install pyinstaller 在urls.py from SheepMasterOneToOne import settings from django.conf.urls.static import staticurlpatterns [path("admin/", admin.site.urls),path(generate_report/export/, ReportAdmin(models.Report, admin.site).generat…
阅读更多...
如何在Intellij IDEA中识别一个文件夹下的多个Maven module？

如何在Intellij IDEA中识别一个文件夹下的多个Maven module？

目录 问题描述 理想情况 手动添加Module&#xff0c;配置Intellij IDEA的Project Structure 问题描述 一个文件夹下有多个Maven项目&#xff0c;一个一个开窗口打开可行但是太麻烦。直接open整个文件夹会发现Intellij IDEA默认可能就识别一个或者几个Maven项目&#xff0c;如…
阅读更多...
Linux 文件和目录

Linux 文件和目录

Linux 文件和目录 文章目录 Linux 文件和目录Linux 目录Linux 目录配置的依据 --FHS目录树文件属性文件的分类一般权限 UGO特殊权限 suid\sgid\sticky隐藏属性 ATTR文件访问控制列表 ACL文件相关的命令权限的修改 chmod chown chgrp umaskchmodchgrpumask相关文档 /etc/profile…
阅读更多...
【大数据技术】本机DataGrip远程连接虚拟机MySQL/Hive

【大数据技术】本机DataGrip远程连接虚拟机MySQL/Hive

本机DataGrip远程连接虚拟机MySQL/Hive datagrip-2024.3.4VMware Workstation Pro 16CentOS-Stream-10-latest-x86_64-dvd1.iso写在前面 本文主要介绍如何使用本机的DataGrip连接虚拟机的MySQL数据库和Hive数据库，提高编程效率。 安装DataGrip 请按照以下步骤安装DataGrip软…
阅读更多...
【大模型】DeepSeek大模型技术路径

【大模型】DeepSeek大模型技术路径

【大模型】DeepSeek大模型技术路径 一、总体架构（一）Transformer架构：奠定坚实基础（二）Mixture-of-Experts（MoE）架构：提升灵活性与效率二、技术突破（一）训练方法创新（二）架构优化（三）训练效率与成本优化（四）推理能力提升三、总结一、总体架构 DeepSeek大模型以…
阅读更多...
【LLM-agent】(task2)用llama-index搭建AI Agent

【LLM-agent】(task2)用llama-index搭建AI Agent

note LlamaIndex 实现 Agent 需要导入 ReActAgent 和 Function Tool&#xff0c;循环执行&#xff1a;推理、行动、观察、优化推理、重复进行。可以在 arize_phoenix 中看到 agent 的具体提示词&#xff0c;工具被装换成了提示词ReActAgent 使得业务自动向代码转换成为可能&am…
阅读更多...
解决Mac安装软件的“已损坏，无法打开。 您应该将它移到废纸篓”问题

解决Mac安装软件的“已损坏，无法打开。 您应该将它移到废纸篓”问题

mac安装软件时&#xff0c;如果出现这个问题&#xff0c;其实很简单 首先打开终端&#xff0c;输入下面的命令 sudo xattr -r -d com.apple.quarantine 输入完成后&#xff0c;先不要回车&#xff0c;点击访达--应用程序--找到你无法打开的app图标&#xff0c;拖到终端窗口中…
阅读更多...
（9） 上：学习与验证 linux 里的 epoll 对象里的 EPOLLIN、 EPOLLHUP 与 EPOLLRDHUP 的不同

（9） 上：学习与验证 linux 里的 epoll 对象里的 EPOLLIN、 EPOLLHUP 与 EPOLLRDHUP 的不同

&#xff08;1&#xff09;经过之前的学习。俺认为结论是这样的&#xff0c;因为三次握手到四次挥手&#xff0c;到 RST 报文&#xff0c;都是 tcp 连接上收到了报文&#xff0c;这都属于读事件。所以&#xff1a; EPOLLIN : 包含了读事件&#xff0c; FIN 报文的正常四次挥手、…
阅读更多...
一文讲解Spring如何解决循环依赖

一文讲解Spring如何解决循环依赖

Spring 通过三级缓存机制来解决循环依赖&#xff1a; 一级缓存&#xff1a;存放完全初始化好的单例 Bean。 二级缓存&#xff1a;存放正在创建但未完全初始化的 Bean 实例。 三级缓存&#xff1a;存放 Bean 工厂对象&#xff0c;用于提前暴露 Bean。 试问:三级缓存解决循环依…
阅读更多...
Vue canvas画图画线例子，数据回显与隔离，点拖拽修改

Vue canvas画图画线例子，数据回显与隔离，点拖拽修改

组件 <template><divstyle"display: flex; height: 342px; width: 760px; border: 1px solid #000"><divstyle"position: relative; height: 100%; width: 608px; min-width: 608px"><canvasid"mycanvas"ref"mycanva…
阅读更多...
【自动化办公】批量图片PDF自定义指定多个区域识别重命名，批量识别铁路货物运单区域内容改名，基于WPF和飞桨ocr深度学习模型的解决方案

【自动化办公】批量图片PDF自定义指定多个区域识别重命名，批量识别铁路货物运单区域内容改名，基于WPF和飞桨ocr深度学习模型的解决方案

项目背景介绍 铁路货运企业需要对物流单进行长期存档&#xff0c;以便后续查询和审计。不同的物流单可能包含不同的关键信息&#xff0c;通过自定义指定多个区域进行识别重命名&#xff0c;可以使存档的图片文件名具有统一的规范和明确的含义。比如&#xff0c;将包含货物运单…
阅读更多...
洛谷网站： P3029 [USACO11NOV] Cow Lineup S 题解

洛谷网站： P3029 [USACO11NOV] Cow Lineup S 题解

题目传送门&#xff1a; P3029 [USACO11NOV] Cow Lineup S - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 前言&#xff1a; 这道题的核心问题是在一条直线上分布着不同品种的牛&#xff0c;要找出一个连续区间&#xff0c;使得这个区间内包含所有不同品种的牛&#xff0c;…
阅读更多...
K8S Deployment 实现 蓝绿 发布

K8S Deployment 实现 蓝绿 发布

一、何为蓝绿发布 蓝绿发布&#xff08;Blue - Green Deployment&#xff09;是一种软件部署策略&#xff0c;旨在最大程度减少应用程序停机时间&#xff0c;确保新老版本系统平稳过渡。以下为详细介绍&#xff1a; 1.1、基本概念 存在两个完全相同的生产环境&#xff0c;通…
阅读更多...
CVPR | CNN融合注意力机制，芜湖起飞！

CVPR | CNN融合注意力机制，芜湖起飞！

**标题&#xff1a;**On the Integration of Self-Attention and Convolution **论文链接&#xff1a;**https://arxiv.org/pdf/2111.14556 **代码链接&#xff1a;**https://github.com/LeapLabTHU/ACmix 创新点 1. 揭示卷积和自注意力的内在联系 文章通过重新分解卷积和自…
阅读更多...
ollama部署deepseek实操记录

ollama部署deepseek实操记录

1. 安装 ollama 1.1 下载并安装 官网 https://ollama.com/ Linux安装命令 https://ollama.com/download/linux curl -fsSL https://ollama.com/install.sh | sh安装成功截图 3. 开放外网访问 1、首先停止ollama服务&#xff1a;systemctl stop ollama 2、修改ollama的servic…
阅读更多...
鸟哥Linux私房菜笔记（三）

鸟哥Linux私房菜笔记（三）

鸟哥Linux私房菜笔记&#xff08;三&#xff09; 该第三部分和第四部分主要为原书的第十一章&#xff08;正则表达式与文件格式化处理&#xff09;&#xff0c;第十二章学习shell脚本&#xff0c;第十六章&#xff08;进程管理与SElinux初探部分&#xff09;&#xff0c;第十七…
阅读更多...
WordPressAI自动生成发布文章免费插件，SEO，定时任务，生成长尾关键词、根据网站主题内容全自动化后台生成发布文章

WordPressAI自动生成发布文章免费插件，SEO，定时任务，生成长尾关键词、根据网站主题内容全自动化后台生成发布文章

一款可以自动发布文章的WordPress插件 wordpress 自动生成文章发布插件下载地址: 点击下载 插件基础功能免费无限制 1、插件后台可输入想要的文章主题或文章构成思路 2、ai自动生成并发布 3、可自定义发布后的文章状态和分类 4、可根据已有的长尾关键词生成文章 5、可对a…
阅读更多...
R语言 | 使用 ComplexHeatmap 绘制热图，分区并给对角线分区加黑边框

R语言 | 使用 ComplexHeatmap 绘制热图，分区并给对角线分区加黑边框

目的&#xff1a;画热图&#xff0c;分区&#xff0c;给对角线分区添加黑色边框 建议直接看0和4。 0. 准备数据 # 安装并加载必要的包 #install.packages("ComplexHeatmap") # 如果尚未安装 library(ComplexHeatmap)# 使用 iris 数据集 #data(iris)# 选择数值列&a…
阅读更多...
机器学习基本概念（附代码）

机器学习基本概念（附代码）

一、算法与模型的关系 在机器学习领域&#xff0c;算法和模型是两个核心概念。算法是一种偏抽象的概念&#xff0c;它定义了计算机解决问题的步骤和流程。而模型则是更加具体的概念&#xff0c;通过代码实现特定算法来完成任务。数学上&#xff0c;一个简单的模型可以表示为 y…
阅读更多...
最新文章

Copyright @ 2022~2023