手机上运行AI大模型(Deepseek等)

最近deepseek的大火,让大家掀起新一波的本地部署运行大模型的热潮,特别是deepseek有蒸馏的小参数量版本,电脑上就相当方便了,直接ollama+open-webui这种类似的组合就可以轻松地实现,只要硬件,如显存,RAM足够,参数量合适,速度还可以接受。本地部署的意义在于,一是可以数据不上网,让一些私密的数据有所保障,二是可以实现一些在线限制的功能。

在手机上运行的意义,其实更多可能是玩玩,但是,随着LLM技术的发展,已经手机硬件正在赶超PC和服务器,或许在未来,手机上就可以实现电脑上同样的功能。小编收集了几种手机上部署运行的方法,分享给大家。

鸿蒙/安卓/IOS:使用MNN大模型App *** 多模态

有一说一,在大模型开源方面,阿里做得也是很棒地,在deepseek没有火爆之前,它应该是最棒的中国开源大模型公司,deepseek的蒸馏小模型,也用了qwen系列,为中国公司点赞!

安装就比较简单啦,直接下载App,然后下载模型运行即可,所说速度是比ollama要快一些,有阿里自已开发的架构。暂时发现只有安卓的编译好的下载地址:https://meta.alicdn.com/data/mnn/mnn_llm_app_debug_0_1.apk

安卓:MLC-MiniCPM *** 多模态

和下面的一样,但是,这个是国内公司的大模型,下载什么的更方便。MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列模型,前段时间曾经有斯坦福大学的人抄袭了这个公司的产品,也是让外国人重新认识了国内的技术水平。

下载地址:https://openbmb.oss-cn-hongkong.aliyuncs.com/model_center/mobile/android/MiniCPM-2.0.apk
## 安卓/IOS:MLCChat *

下载APK: https://ghfast.top/https://github.com/mlc-ai/binary-mlc-llm-libs/releases/download/Android-09262024/mlc-chat.apk

如果下载不成功,网络连接错误,可以先打开https://ghproxy.link/,替换https://ghfast.top/网址为可用的即可。另外从官网看,这个App是直接从抱抱脸官方下载模型的,可能会网络错误,当然国内有镜像站,https://hf-mirror.com/ 不确定如何替换。

IOS: fullmoon **

Fullmoon是一款专为iOS设备设计的应用程序,旨在提供与本地大语言模型进行私密聊天的功能。该应用优化了Apple Silicon,支持在iPhone、iPad和Mac上运行。用户的聊天记录会被本地保存,并且可以自定义应用的外观。Fullmoon利用了Apple的MLX Swift框架,这是一个用于在Apple Silicon上进行机器学习研究的数组框架。该应用支持多种语言模型,包括Llama 3.2 1B、Llama 3.2 3B和DeepSeek-R1-Distill-Qwen-1.5B-4bit。

安卓:termux + ollama * 门槛稍高

安装termux App

Termux 是用于安卓的终端模拟器,安卓6.0以上机型,应用商店搜“Termux”安装即可。手机一般选轻量版1.5b就差不多了(8G RAM),16G RAM的应该可以选大点的。

在termux中安装 Ollama

手机安装好 Termux 后输入 Ollama Termux 一键安装脚本的命令,如下:

先更新

pkg update && pkg upgrade

然后使用一键脚本命令安装ollama

wget https://github.com/Dev-ing-ing/ollama-termux/releases/download/v1.0.0/ollama-installer.sh && bash ollama-installer.sh

部署DeepSeek, 在 Termux 命令启动 Ollama 服务器:

ollama serve

最后,安装 DeepSeek 模型,手机端建议选择 1.5b 模型,输入如下命令:

ollama run deepseek-r1:1.5b

就可以在命令行愉快地玩耍啦!

img

你还知道哪些方法,欢迎分享沟通呀!

参考

  1. https://www.aisharenet.com/fullmoon/
  2. https://github.com/alibaba/MNN/
  3. https://mp.weixin.qq.com/s/EdWJqkRyvXW0Y_QOwcEtlQ
  4. https://mp.weixin.qq.com/s/sK_5oi0yHt48Y0kfmIQVZA
  5. https://github.com/OpenBMB/mlc-MiniCPM/blob/main/README-ZH.md

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/963754.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

JAVA安全—反射机制攻击链类对象成员变量方法构造方法

前言 还是JAVA安全,哎,真的讲不完,太多啦。 今天主要是讲一下JAVA中的反射机制,因为反序列化的利用基本都是要用到这个反射机制,还有一些攻击链条的构造,也会用到,所以就讲一下。 什么是反射…

数据库和数据表的创建、修改、与删除

1.标识符命名规则 数据库名、表名不得超过30个字符,变量名限制为29个 必须只能包含A-Z,a-z,0-9,_共63个字符 数据库名、表名、字段名等对象名中间不能包含空格 同一个MySQL软件中,数据库不能同名;同一个库中,表不能重名&#…

(电脑版)植物大战僵尸幼儿园版本,开启你的冒险之旅!

欢迎来到植物大战僵尸中文版,园长Jen已准备好迎接你的挑战!在这个充满乐趣和策略的游戏中,你将体验到多种游戏模式,每种模式都带来不同的挑战和乐趣。 游戏模式: 冒险模式:踏上刺激的冒险旅程,…

SpringBoot中关于knife4j 中的一些相关注解

1、效果图 对比可以明显的看到加了注解与没有加注解所表现出来的效果不同(加了注解的更加明了清晰) 2、实现效果 Tag注解‌用于为测试方法或测试类添加标签,以便在执行测试时根据标签进行过滤。使用Tag注解可以更灵活地控制测试的执行&#…

双目标定与生成深度图

基于C#联合Halcon实现双目标定整体效果 一,标定 1,标定前准备工作 (获取描述文件与获取相机参数) 针对标准标定板可以直接调用官方提供描述文件,也可以自己生成描述文件后用PS文件打印 2,相机标定 &…

操作系统1.4

一、操作系统内核 二、微内核与大内核 三、补充

Leetcode—598. 区间加法 II【简单】

2025每日刷题&#xff08;206&#xff09; Leetcode—598. 区间加法 II 实现代码 class Solution { public:int maxCount(int m, int n, vector<vector<int>>& ops) {int ans m * n;int x ops.size();if(ops.empty()) {return ans;}int xm ops[0][0], ym …

【机器学习篇】K-Means 算法详解:从理论到实践的全面解析

网罗开发 &#xff08;小红书、快手、视频号同名&#xff09; 大家好&#xff0c;我是 展菲&#xff0c;目前在上市企业从事人工智能项目研发管理工作&#xff0c;平时热衷于分享各种编程领域的软硬技能知识以及前沿技术&#xff0c;包括iOS、前端、Harmony OS、Java、Python等…

GWO优化LSBooST回归预测matlab

灰狼优化算法&#xff08;Grey Wolf Optimizer&#xff0c;简称 GWO&#xff09;&#xff0c;是一种群智能优化算法&#xff0c;由澳大利亚格里菲斯大学的 Mirjalii 等人于 2014 年提出。该算法的设计灵感源自灰狼群体的捕食行为&#xff0c;核心思想是模仿灰狼社会的结构与行为…

图形学笔记 - 5-光线追踪 - 辐射度量学

文章目录 辐射度量学辐射能和通量&#xff08;功率&#xff09;Radiant Energy and Flux (Power)辐射强度 Radiant Intensity辐照度Irradiance朗伯余弦定律Lambert’s Cosine Law Radiance辐亮度Incident Radiance入射辐亮度Exiting Radiance出射辐亮度 双向反射分布函数 Bidir…

低代码产品表单渲染架构

在React和Vue没有流行起来的时候&#xff0c;低代码产品的表单渲染设计通常会使用操作Dom的方式实现。 下面是一个表单的例子&#xff1a; 产品层 用户通过打开表单&#xff0c;使用不同业务场景业务下的表单页面&#xff0c;中间的Render层就是技术实现。 每一个不同业务的表单…

游戏引擎 Unity - Unity 设置为简体中文、Unity 创建项目

Unity Unity 首次发布于 2005 年&#xff0c;属于 Unity Technologies Unity 使用的开发技术有&#xff1a;C# Unity 的适用平台&#xff1a;PC、主机、移动设备、VR / AR、Web 等 Unity 的适用领域&#xff1a;开发中等画质中小型项目 Unity 适合初学者或需要快速上手的开…

Sentinel 断路器在Spring Cloud使用

文章目录 Sentinel 介绍同类对比微服务雪崩问题问题原因问题解决方案请求限流线程隔离失败处理服务熔断解决雪崩问题的常见方案有哪些&#xff1f; Sentineldocker 安装账号/ 密码项目导入簇点链路请求限流线程隔离Fallback服务掉线时的处理流程 服务熔断 Sentinel 介绍 随着微…

我们信仰AI?从神明到人工智能——信任的进化

信任的进化&#xff1a; 信任是我们最宝贵的资产。而现在&#xff0c;它正像黑色星期五促销的廉价平板电视一样&#xff0c;被一点点拆解。在过去&#xff0c;世界很简单&#xff1a;人们相信晚间新闻、那些满是灰尘书籍的教授&#xff0c;或者手持病历、眉头紧锁的医生。而如…

51单片机 05 矩阵键盘

嘻嘻&#xff0c;LCD在RC板子上可以勉强装上&#xff0c;会有一点歪。 一、矩阵键盘 在键盘中按键数量较多时&#xff0c;为了减少I/O口的占用&#xff0c;通常将按键排列成矩阵形式&#xff1b;采用逐行或逐列的“扫描”&#xff0c;就可以读出任何位置按键的状态。&#xf…

OpenCV4,快速入门,Windows 系统 OpenCV4.10.0 开发环境搭建

文章目录 1. 摘要2. OpenCV 4.10.02. 环境配置2.1 配置包含目录2.2 配置库目录2.3 配置链接器2.4 配置环境变量并重启VS 3. 编写测试代码 1. 摘要 本文详细介绍在Windows系统下配置OpenCV 4.10开发环境的步骤&#xff0c;适用于Visual Studio 2022等C开发场景。内容涵盖&#…

unity学习26:用Input接口去监测: 鼠标,键盘,虚拟轴,虚拟按键

目录 1 用Input接口去监测&#xff1a;鼠标&#xff0c;键盘&#xff0c;虚拟轴&#xff0c;虚拟按键 2 鼠标 MouseButton 事件 2.1 鼠标的基本操作 2.2 测试代码 2.3 测试情况 3 键盘Key事件 3.1 键盘的枚举方式 3.2 测试代码同上 3.3 测试代码同上 3.4 测试结果 4…

FreeRTOS从入门到精通 第十三章(信号量)

参考教程&#xff1a;【正点原子】手把手教你学FreeRTOS实时系统_哔哩哔哩_bilibili 一、信号量知识回顾 1、概述 &#xff08;1&#xff09;信号量是一种解决同步问题的机制&#xff0c;可以实现对共享资源的有序访问&#xff0c;FreeRTOS中使用的是二值信号量、计数型信号…

业务系统文件上传和互传如何做到高效又安全?

在当今数字化的商业环境中&#xff0c;企业越来越依赖于高效的业务系统来处理日常运营。无论是金融、医疗、能源还是政府机构&#xff0c;内部各类业务系统如OA、供应商管理系统等都需要终端用户上传各种类型的文件附件。然而&#xff0c;在确保这些文件能够快速而准确地上传和…

四、GPIO中断实现按键功能

4.1 GPIO简介 输入输出&#xff08;I/O&#xff09;是一个非常重要的概念。I/O泛指所有类型的输入输出端口&#xff0c;包括单向的端口如逻辑门电路的输入输出管脚和双向的GPIO端口。而GPIO&#xff08;General-Purpose Input/Output&#xff09;则是一个常见的术语&#xff0c…