使用Ollama本地部署deepseek

1、下载安装Ollama

前往下载页面

https://ollama.com/download

下载好安装包,如同安装软件一样,直接安装即可
win中默认为C盘,如果需要修改到其他盘,查找具体教程
运行list命令,检查是否安装成功
在这里插入图片描述

2、修改模型下载的位置

各种不同的模型往往占据空间更大,因此选择一个空间足够的位置非常有必要
Windows下最详尽的Ollama+Deepseek-r1 本地部署手册-CSDN博客
退出Ollama,打开任务管理器,清楚当前Ollama程序
在这里插入图片描述

选择合适位置,创建模型存储的目标文件夹
添加文件夹到环境变量中
变量名固定为,文件夹根据自己情况定

OLLAMA_MODELS

在这里插入图片描述

3、拉取、运行模型命令

打开powershell运行如下命令即可

ollama run deepseek-r1:1.5b

在命令 ollama run deepseek-r1:1.5b 中,1.5b 的部分代表的是模型的大小,具体来说:

  • “b” 是 billion(十亿)的缩写。这里的 1.5b 表示模型的参数量大约为 1.5 billion(15亿)个参数。
  • 这种命名方式通常用于区分不同大小的模型。例如,1.5b 就是一个包含 15 亿个参数的模型。
    对于大规模深度学习模型来说,参数量的大小通常直接影响模型的性能和计算需求。不同大小的模型对应的 “b” 数字表示不同的参数量,这也反映出模型的容量和复杂度。

1、模型中的参数大小b越大更耗资源,

  1. 1.5b:表示模型有 15 亿个参数,通常是一个较大但相对轻量级的模型。
  2. 7b:表示模型有 70 亿个参数,参数越大,模型更强大、更复杂,性能更好,但计算成本和推理延迟也会增加。
  3. 13b、30b 等:参数数量进一步增加,代表更大的模型,这些模型的推理和训练可能需要更强的计算能力和更长的时间,但在一些任务上可能会表现得更加精确和复杂。

总结:
不同大小的 b 表示模型参数的数量,1.5b 代表 15 亿个参数的模型。参数越多,模型的计算能力通常越强,但对硬件的需求和推理速度也会有更大的影响。

2、不同大小参数需要的大致硬件配置

https://blog.csdn.net/2401_85343303/article/details/145452011
参考这个博客
在这里插入图片描述
这里使用最基础的1.5b来示例,也可以让更多的小伙伴体验到本地模型

3、拉取模型并运行

ollama run deepseek-r1:1.5b

有可能拉取服务包失败,经过检索是Ollama 的服务器故障,非常新鲜的故障
在这里插入图片描述

拉取模型清单:500 ·问题 #8873 ·OLLAMA/OLLAMA
https://github.com/ollama/ollama/issues/8873

在这里插入图片描述

等待Ollama服务恢复尝试,可以轻松拉取
也是开箱即用对,耐心等待拉取
在这里插入图片描述

等待拉取完成,即可进行对话
在这里插入图片描述

4、退出模型

ctrl+d来退出,或者使用命令 /bye

/bye

4、前端UI版

适合Ollama使用的前端有很多,经过筛选选择了极简的NextJS Ollama LLM UI

NextJS Ollama LLM UI 是专为 Ollama 设计的极简主义界面,适合追求简约风的小伙伴

https://github.com/jakobhoeg/nextjs-ollama-llm-ui

访问项目地址可以看到具体的使用步骤,也是开箱即用(需要简单的前端经验)

1、安装nvm
2、安装 Node.js (18+)
3、按照项目中的提示操作即可
在这里插入图片描述

这里需要注意下修改example.env to .env .这个操作要保证Ollama的默认端口没有修改
然后就是前端固定的 install 、 run dev
启动前端ui,即可访问

http://localhost:3000/

选择具体模型,然后就可以使用了

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/965751.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

约束布局属性学习

1、layout_constraintHorizontal_bias layout_constraintHorizontal_bias 是 ConstraintLayout 中的一个重要属性,用于控制一个视图在父视图或相关视图中水平位置的偏移。这种偏移通过在0到1之间的浮点值来设置,0代表完全靠近左边或起始位置&#xff0c…

Windows双网卡冲突导致网页加载过慢的解决方法 (修改跃点无效 远程桌面连接)

【本文发布于https://blog.csdn.net/Stack_/article/details/145494160,未经许可不得转载,转载须注明出处】 办公室内,我的笔记本和台式机都连接WIFI进行上网,网段是192.168.0.x,网关192.168.0.101 现在要通过Windows自…

轻量级服务器http-server

安装 sudo npm install http-server -g 运行 1. 直接去到要跑起来的目录,在终端输入 cd xxxx文件夹http-server //只输入http-server的话,更新了代码后,页面不会同步更新http-server -c-1 //同步更新页面http-server -a 127.0.0.1 -p 808…

代码随想录算法【Day38】

Day38 322. 零钱兑换 思路 完全背包 代码 class Solution { public:int coinChange(vector<int>& coins, int amount) {vector<int> dp(amount 1, INT_MAX);dp[0] 0;for (int i 0; i < coins.size(); i) { // 遍历物品for (int j coins[i]; j <…

python+opencv+open3d实现鼠标手画多边形裁剪分割点云操作

👑主页:吾名招财 👓简介:工科学硕,研究方向机器视觉,爱好较广泛… ​💫签名:面朝大海,春暖花开! python+opencv+open3d实现鼠标手画多边形裁剪分割点云操作 引言使用效果:代码pcd_roi_crop.py:引言 当我们想对一个不规则物体的图像或者点云裁剪时,直接手动输入…

STM32的HAL库开发---通用定时器(TIMER)---定时器脉冲计数

一、脉冲计数实验原理 1、 外部时钟模式1&#xff1a;核心为蓝色部分的时基单元&#xff0c;时基单元的时钟源可以来自四种&#xff0c;分别是内部时钟PCLK、外部时钟模式1&#xff0c;外部时钟模式2、内部定时器触发&#xff08;级联&#xff09;。而脉冲计数就是使用外部时钟…

Redis05 - 性能调优和缓存问题

Redis性能调优和缓存问题 文章目录 Redis性能调优和缓存问题一&#xff1a;链路追踪判断是不是redis出了问题二&#xff1a;redis变慢原因1&#xff1a;使用复杂度过高的命令(*)1.1&#xff1a;查看redis慢日志1.2&#xff1a;延迟变大原因分析1.3&#xff1a;解决方案 2&#…

漫步 C++ 之途,领略引用的独特风姿

在C中&#xff0c;引用&#xff08;Reference&#xff09;是一种非常有用的特性&#xff0c;它允许为一个变量创建一个别名&#xff08;Alias&#xff09;。引用在很多情况下可以替代指针&#xff0c;但使用起来更加方便和安全。以下是对C引用的详细介绍&#xff0c;包括其定义…

Spring Boot Web 入门

目录 Spring Boot Web 是 Spring Boot 框架的一个重要模块&#xff0c;它简化了基于 Spring 的 Web 应用程序的开发过程。以下是一个 Spring Boot Web 项目的入门指南&#xff0c;涵盖了项目创建、代码编写、运行等关键步骤。 1. 项目创建 使用 Spring Initializr 使用 IDE …

Java 多线程、线程同步、线程池

一. 线程 1. 线程&#xff1a;线程(Thread)是一个程序内部的一条执行流程。 2. 程序中如果只有一条执行流程&#xff0c;那这个程序就是单线程的程序。 二. 多线程 多线程是指从硬件上实现多条执行流程的技术(多条线程由CPU负责调度) Javas是通过java.lang.Thread类的对象来代…

20.[前端开发]Day20-王者荣耀项目实战(三)

01_(掌握)王者荣耀-main-赛事新闻列表实现 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" …

【Langchain学习笔记(一)】Langchain介绍

Langchain介绍 Langchain介绍前言1、Langchain 是什么2、为什么要用 Langchain3、Langchain 的核心4、Langchain 的底层原理5、Langchain 的应用场景 Langchain介绍 前言 想象一下&#xff0c;如果你能让聊天机器人不仅仅回答通用问题&#xff0c;还能从你自己的数据库或文件…

IDEA2024版本创建Sping项目无法选择Java 8

目录 一、背景二、解决方式&#xff08;替换创建项目的源地址&#xff09; 一、背景 IDEA2024创建一个springboot的项目&#xff0c;本地安装的是1.8&#xff0c;但是在使用Spring Initializr创建项目时&#xff0c;发现版本只有17、21、23。 二、解决方式&#xff08;替换创…

C++11(四)

目录 包装器 function包装器 bind绑定 更改实参传递的顺序和实参传递的个数 线程库 本期我们将继续进行C11新特性的学习。 包装器 function包装器 function包装器&#xff0c;我们也称之为适配器&#xff0c;本质上就是一个类模板&#xff0c;为什么要引入function包…

MySQL 数据库编程-C++

目录 1 数据库基本知识 1.1 MYSQL常见命令 1.2 SQL注入 1.3 ORM框架 1 数据库基本知识 MySQL 为关系型数据库(Relational Database Management System), 这种所谓的"关系型"可以理解为"表格"的概念, 一个关系型数据库由一个或数个表格组成&#xff1a…

【算法篇】贪心算法

目录 贪心算法 贪心算法实际应用 一&#xff0c;零钱找回问题 二&#xff0c;活动选择问题 三&#xff0c;分数背包问题 将数组和减半的最小操作次数 最大数 贪心算法 贪心算法&#xff0c;是一种在每一步选择中都采取当前状态下的最优策略&#xff0c;期望得到全局最优…

5 计算机网络

5 计算机网络 5.1 OSI/RM七层模型 5.2 TCP/IP协议簇 5.2.1:常见协议基础 一、 TCP是可靠的&#xff0c;效率低的&#xff1b; 1.HTTP协议端口默认80&#xff0c;HTTPSSL之后成为HTTPS协议默认端口443。 2.对于0~1023一般是默认的公共端口不需要注册&#xff0c;1024以后的则需…

动态规划LeetCode-1035.不相交的线

在两条独立的水平线上按给定的顺序写下 nums1 和 nums2 中的整数。 现在&#xff0c;可以绘制一些连接两个数字 nums1[i] 和 nums2[j] 的直线&#xff0c;这些直线需要同时满足&#xff1a; nums1[i] nums2[j]且绘制的直线不与任何其他连线&#xff08;非水平线&#xff09;相…

禅道社区版项目管理软件部署(记录篇)

系统要求&#xff08;这里推荐使用docker容器化方式&#xff09;安装前的准备Docker快速安装最后通过查看地址验证是否部署成功开始界面化安装配置 禅道&#xff08;ZenTao&#xff09;是一款国产开源的项目管理软件&#xff0c;专注于敏捷开发流程&#xff0c;支持 Scrum 和 K…

数据结构-基础

1、概念&#xff1a; 程序 数据结构 算法 2、程序的好坏 可读性&#xff0c;稳定性&#xff0c;扩展性&#xff0c;时间复杂度&#xff0c;空间复杂度。 3、数据结构 是指存储、组织数据的方式&#xff0c;以便高效地进行访问和修改。通过选择适当的数据结构&#xff0c; 能…