本地部署大模型的几种工具（下-相关比较）

article2024/12/24 0:17:30/文章来源:https://blog.csdn.net/ewqewqqwe/article/details/137038794

比较项目	chatglm.cpp	vllm	Ollama	lmstudio
功能特点	通过C++优化性能，支持多平台运行	推理加速	简化易用、本地运行大模型	简化操作、本地运行大模型
操作系统要求	都可以，linux下运行更方便	都可以，linux下运行更方便	都可以，windows目前还是预览版	都可以
硬件要求	GPU、CPU均可	需要GPU	CPU即可，GPU应该也可以	GPU、CPU均可
编码支持	可自行修改代码	可自行修改代码	可命令行操作	纯界面操作
web运行	支持	支持	支持	无
运行速度	快，使用GPU更快	快，使用GPU更快	命令行运行快一些，webapi方式比较慢	速度还可以
docker支持	支持	支持	支持	无
易用性	比较复杂	比较复杂	比较简单	很简单
Github	2.5k	16.6k	50.4k
适用人群	开发	开发	开发、非技术人员	开发、非技术人员
适用场景	开发	开发	验证模型效果	演示，测试

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/488859.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

2024华为产业链企业名单大全（附下载）

更多内容，请前往知识星球下载：https://t.zsxq.com/18fsVdcjA 更多内容，请前往知识星球下载：https://t.zsxq.com/18fsVdcjA

利用 Scapy 库编写 ARP 缓存中毒攻击脚本

一、ARP 协议基础参考下篇文章学习二、ARP 缓存中毒原理 ARP（Address Resolution Protocol）缓存中毒是一种网络攻击，它利用了ARP协议中的漏洞，通过欺骗或篡改网络中的ARP缓存来实施攻击。ARP协议是用于将IP地址映射到物理MAC…

【Leetcode每日一题】动态规划 - 解码方法（难度⭐）（43）

1. 题目解析题目链接：91. 解码方法这个问题的理解其实相当简单，只需看一下示例，基本就能明白其含义了。 2.算法原理这是一道类似斐波那契数列的题目~ 当我们遇到一个类似斐波那契数列的问题时，我们通常会想到使用动态规划&…

网络安全学习路线（2024）

国家和企业越来越重视网络安全了，现在也有很多很厂商加招网络安全岗位，同时也有很多对网络安全感兴趣的朋友，准备转行或从事网络安全。通常，网络安全的内容包括： 网络安全技术、网络安全管理、网络安全运作&#xff…

【MySQL数据库】数据类型和简单的增删改查

目录数据库 MySQL的常用数据类型 1.数值类型： 2.字符串类型 3.日期类型 MySQL简单的增删改查 1.插入数据： 2.查询数据： 3.修改语句： 4.删除语句： 数据库平时我们使用的操作系统都把数据存储在文件中&#…

谷歌关键词优化十招搞定提升你的存在感-华媒舍

在当今的数字化时代，谷歌已成为我们生活中不可或缺的一部分。作为世界上最大的搜索引擎之一，谷歌每天处理着海量的搜索请求。要在谷歌上获得更多的曝光和存在感，关键词优化是必不可少的。本文将向您介绍十招搞定谷歌关键词优化的方法&#xf…

力扣刷题44-46（力扣0062/0152/0198）

62. 不同路径题目描述： 一个机器人位于一个 m x n 网格的左上角 ，机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角。问总共有多少条不同的路径？ 思路： 其实就是问(0,0)->(m-1,n-1)一共有几条路。第一个…

web自动化测试系列-selenium的安装和运行(一)

目录 web自动化系列之如何安装selenium 1.web自动化中的三大亮点技术 2.web自动化能解决什么问题 ？ 3.为什么是selenium ? 4.selenium特点 5.selenium安装 6.下载浏览器及驱动 7.测试代码 web自动化系列之如何安装selenium web自动化 ，一个老生…

【No.17】蓝桥杯图论上|最短路问题|Floyd算法|Dijkstra算法|蓝桥公园|蓝桥王国(C++)

图的基本概念图： 由点(node，或者 vertex)和连接点的边(edge)组成。图是点和边构成的网。树：特殊的图树，即连通无环图树的结点从根开始，层层扩展子树，是一种层次关系，这种层次关系&#xff0…

【C++】哈希应用之位图

👀樊梓慕：个人主页 🎥个人专栏：《C语言》《数据结构》《蓝桥杯试题》《LeetCode刷题笔记》《实训项目》《C》《Linux》《算法》 🌝每一个不曾起舞的日子，都是对生命的辜负目录前言 1.位图的概念 2.位…

一道很有意思的题目（考初始化）

这题很有意思，需要你对初始化够了解才能解出来 ，现在我们来看一下吧。这题通过分析得出考的是初始化。关于初始化有以下知识点 （取自继承与多态（继承部分）这文章中） 所以根据上方那段知识点可知&#xf…

【linux网络(一)】初识网络, 理解四层网络模型

💓博主CSDN主页:杭电码农-NEO💓 ⏩专栏分类:Linux从入门到精通⏪ 🚚代码仓库:NEO的学习日记🚚 🌹关注我🫵带你学更多操作系统知识 🔝🔝 Linux网络 1. 前言2. 初识网络…

【Java程序设计】【C00361】基于Springboot的考勤管理系统（有论文）

基于Springboot的考勤管理系统（有论文） 项目简介项目获取开发环境项目技术运行截图项目简介项目获取 🍅文末点击卡片获取源码🍅 开发环境运行环境：推荐jdk1.8； 开发工具：eclipse以及idea&…

RWTH-PHOENIX Weather数据集模型说明和下载

RWTH-PHOENIX Weather 2014 T数据集说明：德国公共电视台PHOENIX在三年内（2009 年至 2011 年）录制了配有手语翻译的每日新闻和天气预报节目，并使用注释符号转录了 386 个版本的天气预报。此外，我们使用自动语音识别和手动清理来转录原始德语语音。因此，该语料库允许训练…

电脑控制面板在哪？5招教你快速打开！

“我在执行一个任务时要进入电脑的控制面板中查看，但是我不知道电脑的控制面板在哪，谁能帮帮我呀？” 电脑控制面板是一个系统文件夹，它提供了各种对计算机系统进行设置和管理的工具。控制面板允许用户查看并操作基本的系统设置&am…

SAP ABAP-BOPF基础训练-01简介与架构

1. 介绍-Introduction ① BOPF是什么？BOPF(the Business Object Processing Framework)：业务对象处理框架提供了一种增量和模块化的方法，以符合企业面向服务体系结构(eSOA)的方式实现业务对象； 部分平台基础层，软件组…

【笔记】深入理解JVM机制

🎥 个人主页：Dikz12📕格言：吾愚多不敏，而愿加学欢迎大家👍点赞✍评论⭐收藏目录 JVM 运⾏流程图 JVM 中内存区域划分方法区 / 元数据区堆栈程序计数器本地方法栈内存区域总结 JVM 中类加载过程 …

python网络爬虫实战教学——requests的使用（2）

文章目录专栏导读1、POST请求2、响应3、Cookie设置专栏导读 ✍ 作者简介：i阿极，CSDN 数据分析领域优质创作者，专注于分享python数据分析领域知识。 ✍ 本文录入于《python网络爬虫实战教学》，本专栏针对大学生、初级数据分析工程…

【c++】类和对象（二）this指针

🔥个人主页：Quitecoder 🔥专栏：c笔记仓朋友们大家好，本节内容来到类和对象第二篇，本篇文章会带领大家了解this指针目录 1.this指针1.1this指针的引出1.2this指针的特性1.3思考题1.4C语言和C实现Stack的对…

Qt|多线程串口通信

前篇：Qt|串口通信之同步数据收一包发一包数据文章目录创建工程添加串口通信类添加线程类主函数运行结果需求：串口下方的一些耗时操作并不想阻塞主进程的推进；环境：windows10+VS2017+Qt5.14.2；写在最前：串口不支持跨线程操作，需要写信号槽形式传递；选择COM口下发指…

本地部署大模型的几种工具（下-相关比较）

相关文章