高端入门:Ollama 本地高效部署DeepSeek模型深度搜索解决方案

目录

一、Ollama 介绍

二、Ollama下载 

2.1 官网下载

2.2 GitHub下载

三、模型库

四、Ollmal 使用

4.1 模型运行(下载)

4.2 模型提问

五、Ollama 常用命令

相关推荐


一、Ollama 介绍

        Ollama是一个专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计的开源框架。以下是对Ollama的详细解释:

  • 简化部署:Ollama旨在简化在Docker容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。
  • 轻量级与可扩展:作为轻量级框架,Ollama保持了较小的资源占用,同时具备良好的可扩展性,允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
  • 跨平台支持:Ollama提供针对macOS、Windows(预览版)、Linux以及Docker的安装指南,确保用户能在多种操作系统环境下顺利部署和使用。

二、Ollama下载 

2.1 官网下载

        Ollama 支持多平台部署,可以在官网,选择适合的平台进行下载,如下图:

2.2 GitHub下载

GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models. - ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollama

三、模型库

        Ollama 支持在 ollama.com/search 上获取的模型列表,比如最近比较火的 deepseek-r1:

        不同版本的模型所需内存大小也有所不同。例如在Ollama中部署DeepSeek-R1的不同版本(1.5b、7b、8b、14b、32b、70b、671b)所需的内存大小:

DeepSeek-R1版本所需内存(大约)备注
1.5b1.1GB硬盘空间内存需求相对较低
7b4.7GB硬盘空间内存和显存需求适中
8b约4.9GB硬盘空间显存占用约6.5GB左右
14b约9GB硬盘空间内存需求较高,建议至少8GB以上内存,显存占用约13GB
32b约20GB硬盘空间需要更高的内存和显存配置,建议至少32GB内存
70b约43GB硬盘空间需要非常大的内存和显存资源,适合高端配置
671b约404GB硬盘空间这是目前提到的最大版本,所需内存和显存资源将是所有版本中最高的

        根据自身需要选择版本,如下是我之前下的几个模型的版本和所占内存大小:

四、Ollmal 使用

4.1 模型运行(下载)

        打开命令终端,输入指令 ollama run xxxx(模型名称,如deepseek-r1),若是首次运行某个模型,Ollma 会先下载对应的模型文件,然后运行模型。        

//下载7b版本
ollama run deepseek-r1

//下载14b版本
ollama run deepseek-r1:14b

        可以根据不同命令下载不同版本,怎么获取命令?你可以先选中模型的版本,ollama 会根据不同的版本生成命令,如下图所示:

4.2 模型提问

五、Ollama 常用命令

  • ollama serve:该命令用于启动Ollama服务器(在不运行桌面应用程序的情况下启动 ollama;),以便运行模型和处理请求。首次启动可能会生成ssh私钥文件,并提示服务端口状态。
  • ollama start:启动服务。
  • ollama list或ollama ls:列出本地所有可用的模型。
  • ollama ps:显示当前正在运行的模型列表。
  • ollama show [模型名称]:查看特定模型的详细信息,如模型名称、版本等。
  • ollama pull [模型名称]:从模型注册表中拉取一个模型到本地使用。此命令也可以用于更新本地模型,只会拉取差异部分。
  • ollama run [模型名称]。运行一个已安装的模型,执行某些任务。可以根据需要指定模型的参数和配置。
  • ollama create [模型路径]:使用包含模型信息的 [模型路径]来创建一个新模型。
  • ollama push [模型名称]:将本地模型推送到模型注册表中,以便他人或其他系统使用。
  • ollama cp [原模型名称] [新模型名称]:复制一个模型到另一个位置或给定名称的地方。
  • ollama rm [模型名称]:删除一个已安装的模型。
  • ollama -vollama --version:显示当前Ollama工具的版本信息。

相关推荐

Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamaNeo4j 图数据库安装与操作指南(以mac为例)_neo4j安装-CSDN博客文章浏览阅读1w次,点赞78次,收藏82次。本文介绍了Neo4j图数据库的安装、配置、启动以及基本操作方法。首先,需要满足Java环境的安装要求,并可选择使用Homebrew进行安装。然后,从官方网站下载Neo4j并解压,或通过Homebrew进行安装。配置Neo4j时,可设置环境变量以简化命令操作。启动Neo4j后,可通过Cypher查询语言进行节点、关系的创建、修改、匹配和删除等操作。本文还介绍了Neo4j的其他常用命令,如查询版本、服务状态、重启、停止和卸载等。_neo4j安装https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/966069.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

前端组件标准化专家Prompt指令的最佳实践

前端组件标准化专家Prompt 提示词可作为项目自定义提示词使用,本次提示词偏向前端开发的使用,如有需要可适当修改关键词和示例 推荐使用 Cursor 中作为自定义指令使用Cline 插件中作为自定义指令使用在力所能及的范围内使用最好的模型,可以…

介绍10个比较优秀好用的Qt相关的开源库

记录下比较好用的一些开源库 1. Qt中的日志库“log4qt” log4qt 是一个基于 Apache Log4j 设计理念的 Qt 日志记录库,它为 Qt 应用程序提供了强大而灵活的日志记录功能。Log4j 是 Java 领域广泛使用的日志框架,log4qt 借鉴了其优秀的设计思想&#xff…

如何打造一个更友好的网站结构?

在SEO优化中,网站的结构往往被忽略,但它其实是决定谷歌爬虫抓取效率的关键因素之一。一个清晰、逻辑合理的网站结构,不仅能让用户更方便地找到他们需要的信息,还能提升搜索引擎的抓取效率 理想的网站结构应该像一棵树,…

态、势、感、知中的信息

“态、势中的信息”与“感、知中的信息”分别对应客观系统状态与主观认知过程的信息类型,其差异体现在信息的来源、性质、处理方式及作用目标上。以下通过对比框架和具体案例解析两者的区别: 态势中的信息中的态信息指系统在某一时刻的客观存在状态&…

文本生图的提示词prompt和参数如何设置(基于Animagine XL V3.1)

昨天搞了半天 Animagine XL V3.1,发现市面上很多教程只是授之以鱼,并没有授之以渔的。也是,拿来赚钱不好吗,闲鱼上部署一个 Deepseek 都能要两百块。这里我还是想写篇文章介绍一下,虽不全面,但是尽量告诉你…

基于docker搭建Kafka集群,使用内部自带的Zookeeper方式搭建

前提条件 按照【kafka3.8.0升级文档成功搭建kafka服务】 环境:192.168.2.91 192.168.2.93 并以192.168.2.91环境kafka自带的zookeeper作为协调器。 使用基于KRaft方式进行kafka集群搭建教程 搭建kafka-ui可视化工具 1、创建kafka集群节点192.168.2.91 &#xff…

GitPuk快速安装配置教程(入门级)

GitPuk是一款国产开源免费的代码管理工具,工具简洁易用,开源免费,本文将讲解如何快速安装和配置GitPuk,以快速入门上手。 1、安装 支持 Windows、Mac、Linux、docker 等操作系统。 1.1 Linux安装 以下以Centos7安装…

奖励模型中的尺度扩展定律和奖励劫持

奖励模型中的尺度扩展定律和奖励劫持 FesianXu 20250131 at Wechat Search Team 前言 最近在考古一些LLM的经典老论文,其中有一篇是OpenAI于ICML 2023年发表的文章,讨论了在奖励模型(Reward Model)中的尺度扩展规律(S…

ASP.NET Core中Filter与Middleware的区别

中间件是ASP.NET Core这个基础提供的功能,而Filter是ASP.NET Core MVC中提供的功能。ASP.NET Core MVC是由MVC中间件提供的框架,而Filter属于MVC中间件提供的功能。 区别 中间件可以处理所有的请求,而Filter只能处理对控制器的请求&#x…

力扣240 搜索二维矩阵 ll

编写一个高效的算法来搜索 m x n 矩阵 matrix 中的一个目标值 target 。该矩阵具有以下特性: 每行的元素从左到右升序排列。每列的元素从上到下升序排列。 示例 1: 输入:matrix [[1,4,7,11,15],[2,5,8,12,19],[3,6,9,16,22],[10,13,14,17,…

Redis03 - 高可用

Redis高可用 文章目录 Redis高可用一:主从复制 & 读写分离1:主从复制的作用2:主从复制原理2.1:全量复制2.2:增量复制(环形缓冲区) 3:主从复制实际演示3.1:基本流程准…

JAVA安全—FastJson反序列化利用链跟踪autoType绕过

前言 FastJson这个漏洞我们之前讲过了,今天主要是对它的链条进行分析一下,明白链条的构造原理。 Java安全—log4j日志&FastJson序列化&JNDI注入_log4j漏洞-CSDN博客 漏洞版本 1.2.24及以下没有对序列化的类做校验,导致漏洞产生 1.2.25-1.2.41增加了黑名单限制,…

vmware ubuntu 扩展硬盘系统文件大小

首先,在VMware中添加扩展硬盘大小: 通过lsblk指令,可以看到添加的未分配硬盘大小情况: NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS fd0 2:0 1 4K 0 disk loop0 7:0 0 4K 1 loop /snap/bare/5 loop1…

DeepSeek R1 Distill Llama 70B(免费版)API使用详解

DeepSeek R1 Distill Llama 70B(免费版)API使用详解 在人工智能领域,随着技术的不断进步,各种新的模型和应用如雨后春笋般涌现。今天,我们要为大家介绍的是OpenRouter平台上提供的DeepSeek R1 Distill Llama 70B&…

阿里云 | DeepSeek人工智能大模型安装部署

ModelScope是阿里云人工智能大模型开源社区 ModelScope网络链接地址 https://www.modelscope.cn DeepSeek模型库网络链接地址 https://www.modelscope.cn/organization/deepseek-ai 如上所示,在阿里云人工智能大模型开源社区ModelScope中,使用阿里云…

kafka服务端之控制器

文章目录 概述控制器的选举与故障恢复控制器的选举故障恢复 优雅关闭分区leader的选举 概述 在Kafka集群中会有一个或多个broker,其中有一个broker会被选举为控制器(Kafka Controler),它负责管理整个集群中所有分区和副本的状态。…

03/29 使用 海康SDK 对接时使用的 MysqlUtils

前言 最近朋友的需求, 是需要使用 海康sdk 连接海康设备, 进行数据的获取, 比如 进出车辆, 进出人员 这一部分是 资源比较贫瘠时的一个 Mysql 工具类 测试用例 public class MysqlUtils {public static String MYSQL_HOST "192.168.31.9";public static int MY…

【蓝桥杯—单片机】第十一届省赛真题代码题解题笔记 | 省赛 | 真题 | 代码题 | 刷题 | 笔记

第十一届省赛真题代码部分 前言赛题代码思路笔记竞赛板配置内部振荡器频率设定键盘工作模式跳线扩展方式跳线 建立模板明确设计要求和初始状态显示功能部分数据界面第一部分第二部分第三部分调试时发现的问题 参数设置界面第一部分第二部分和第四部分第三部分和第五部分 按键功…

【C语言】数 组与指针:深度剖析与等价表达

博客主页: [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C语言 文章目录 💯前言💯数组与指针的基本关系💯数组与指针的互换使用数组下标与指针的等价性 💯六个表达式的等价性💯指针运算的注意事项💯数组…

Explain 是 SQL 查询优化中非常重要的工具,它用于分析 SQL 查询的执行计划

Explain 是 SQL 查询优化中非常重要的工具,它用于分析 SQL 查询的执行计划https://mp.weixin.qq.com/s/QKra-Sp5JoaEPSCqfffOtA