做LLM推理时,常见的显卡如何选择?

随着开源LLM越来越成熟,业务接入LLM推理也成为必然,如何选模型大小和显卡,主要看下面这些。

一、选GPU显卡

在选择显卡进行大型语言模型推理时,主要要看下面几个指标:

1、 VRAM(视频随机存取存储器):

VRAM 的容量直接影响您能够加载的模型的大小。大型语言模型需要大量的内存来存储权重和进行计算。

至少12 GB VRAM 是推荐的起点,更大的模型可能需要 24 GB 或更多。

2、 CUDA核心数

CUDA核心数越多,表示 GPU 在执行并行运算时的能力越强。

大量的 CUDA核心有助于提高处理大型神经网络的速度。

常见显卡的配置及价位

以下是一些常见 NVIDIA 显卡系列的比较表,主要依据 VRAM 容量和 CUDA 核心数量这两个关键指标。

请注意,这些值是每个系列中典型型号的数据,并不代表每款具体显卡的全部配置。

显卡系列典型示例VRAM (GB)CUDA核心数量价位及定位
GTX 16GTX 1660 Ti615361K左右,没有 Tensor核心,低端游戏和基本计算。
RTX 20RTX 2080 Ti1143522~3K,高端游戏和基本AI/ML应用。
RTX 30RTX 30801087043~4K,高性能游戏和专业级AI/ML应用
RTX 40RTX 409024163842W左右,极端性能游戏和顶级AI/ML应用
Tesla A100Tesla A10040/80691210W+, 数据中心,高性能计算和深度学习
H100Hopper H100801689610W+, 超高性能计算,AI研究和数据分析

上表中 Tesla A100 的 CUDA 核心数小于 RTX 4090,但这并不意味着在大数据运算中更好。

  • A100内存容量和带宽更大;
  • A100 的张量核心(Tensor Cores)和稀疏张量核心(Sparsity-enabled Tensor Cores)专为 AI 和机器学习计算优化,提供了比传统 CUDA 核心更高的效率和吞吐量;
  • A100 可以虚拟化为多达七个独立的 GPU,允许多个任务同时在一个物理 GPU 上高效运行。

A100 在需要大规模并行处理和高速内存的环境中,具有 4090 不可比拟的性能优势。

二、选模型大小

从模型尺寸来说,不同尺寸的模型对显卡的概略需求如下:

模型参数推荐硬件典型显存需求使用场景
2B(20亿参数)笔记本及部分高性能手机适用于低规格设备,需模型剪枝和量化优化后的低端设备推理
7B(70亿参数)消费级GPU,如NVIDIA RTX 2070或20808GB至10GB适用于普通消费者的中等规模模型
70B(700亿参数)高端GPU如NVIDIA RTX 3090,A600024GB及以上需要高端设备的大规模模型,适合推理优化
400B(4000亿参数)多GPU或专用AI加速器如NVIDIA DGX系统多个GPU,每个GPU具有高内存容量需要数据中心级硬件的极大规模模型

这些硬件需求会随着模型优化技术的进步而变化。例如,通过模型压缩和高效的推理框架,可以大幅降低运行大型模型所需的资源。

总结

从上面的配置和价格看,业务要接入本地LLM推理,目前最合适的选择应该是:

  • 7~8B的模型;
  • 消费级GPU: RTX 20~30 系列的显卡, 2~4K的费用。

如何系统的去学习AI大模型LLM ?

作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来

所有资料 ⚡️ ,朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》,扫码获取~

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。
  • 内容
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
  • 内容
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
  • 内容
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
  • 内容
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划:

  • 阶段1:1-2个月,建立AI大模型的基础知识体系。
  • 阶段2:2-3个月,专注于API应用开发能力的提升。
  • 阶段3:3-4个月,深入实践AI大模型的应用架构和私有化部署。
  • 阶段4:4-5个月,专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

全套 《LLM大模型入门+进阶学习资源包↓↓↓ 获取~

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/716663.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Docker部署Nginx下载站点服务

1、下载镜像 由于docker官方镜像站点被封了,所以我把镜像上传到阿里云镜像仓库了 docker pull registry.cn-hangzhou.aliyuncs.com/qinzt-tools/file-nginx:1.18.02、运行容器实例 运行变量解释: 变量名称默认值解释USERhyadmin访问下载站点的认证用…

Typora—适用于 Mac 和 Win 系统的优秀 Markdown 文本编辑器

Typora 是一款适用于 Mac 和 Win 系统的优秀 Markdown 文本编辑器,它以其简洁易用的界面和强大的功能受到了众多用户的喜爱。 首先,Typora 的界面设计非常简洁直观,没有过多繁杂的菜单和按钮,让用户能够专注于写作本身。它采用实时…

C#结合JS 修改解决 KindEditor 弹出层问题

目录 问题现象 原因分析 范例运行环境 解决问题 修改 kindeditor.js C# 服务端更新 小结 问题现象 KindEditor 是一款出色的富文本HTML在线编辑器,关于编辑器的详细介绍可参考我的文章《C# 将 TextBox 绑定为 KindEditor 富文本》,这里我们讲述在…

如何利用被动DNS(Passive DNS)加强网络安全

通过收集和分析被动DNS数据,可以帮助识别恶意站点,打击钓鱼和恶意软件,本文将介绍如何利用被动DNS(Passive DNS)加强网络安全。 在过去的一些年里,我们目睹了对DNS基础设施的攻击日益增多:对权…

【嵌入式】CAN总线详解

【嵌入式】CAN总线详解 一、CAN总线简介 CAN总线是一种控制器局域网总线,每一个挂载在CAN局域网的设备,都可以利用CAN去发送信息,也可以接收局域网的各种信息,每个设备都是平等的,共享CAN的资源。广泛应用于汽车、嵌…

101.qt qml-自定义日历控件2-附带动画效果

黑色风格截图如下所示: 白色风格如下所示: GIF效果如下所示: 1.控件使用介绍 QianWindow2.5版本及以上提供,源码位于:qrc:/common/qmlQianDateTime/QianCalendarInputField.qml QianWindow2.5版本及以上提供,示例使用代码位于:qrc:/pages/QianControlPages/QianDateTimeP…

金鸣识别:图片转excel的“黑科技”神器

近期,我意外发现了一个令人惊艳的工具——金鸣表格文字识别系统。起初,我只是出于好奇尝试了一下,但使用体验远远超出了我的预期,让我深感其价值。 在日常生活和工作中,我们经常需要从各类图片中提取文字信息&#xf…

express+vue在线im实现【一】

在线体验地址 需要用邮箱注册一个账号 在线链接 目前实现的功能 1、在线聊天(群聊) 2、实时监控成员状态 3、历史聊天,下拉加载 4、有新消息,自动滚动到最新消息,如果自己在查看历史记录,不会强行滚动 后续计划新增功能 感兴…

Java健身私教服务师傅小程序APP源码(APP+小程序+公众号+H5)

私人定制的健身之旅 🏋️ 引言:探索私人健身新纪元 在现代都市的快节奏生活中,越来越多的人开始注重身体健康和健身塑形。然而,传统的健身房模式可能无法满足每个人的个性化需求。这时,一款名为“健身私教服务师傅”的…

Spring IoC【控制反转】DI【依赖注入】

文章目录 控制反转(IoC)依赖注入(DI)IoC原理及解耦IoC 容器的两种实现BeanFactoryApplicationContext IoC 是 Inversion of Control 的简写,译为“控制反转”,它不是一门技术,而是一种设计思想&…

centos7.9部署k8s的几种方式

文章目录 一、常见的k8s部署方式1、使用kubeadm工具部署2、基于二进制文件的部署方式3、云服务提供商的托管 Kubernetes 服务4、使用容器镜像部署或自动化部署工具 二、使用kubeadm工具部署1、硬件准备(虚拟主机)2、环境准备2.1、所有机器关闭防火墙2.2、…

Cisco Catalyst 9800 wireless Controller配置操作指引

一、控制器基本信息 外立面信息: 硬件规格如下: 序号 硬件规格满配能力1业务端口 4个1G/10G光口 2 冗余端口 1个GE电口或1G光口 3 最大管理AP数量 20004 最大接入客户端数量 320005 最大WLAN数量(SSID) 40966电源模块数量 2 7 最大吞吐量 40 …

云计算 | (四)基本云安全

文章目录 📚基本云安全🐇云安全背景🐇基本术语和概念⭐️风险(risk)⭐️安全需求🐇威胁作用者⭐️威胁作用者(threat agent)⭐️匿名攻击者(anonymous attacker)⭐️恶意服务作用者(malicious service agent)⭐️授信的攻击者(trusted attacker)⭐️恶意的内部人员(mal…

Neo4j Desktop界面认识以及数据库备份与还原

Neo4j Desktop界面认识以及数据库备份与还原 neo4j 版本信息:Neo4j Desktop Version 1.5.9;neo4j 5.12.0 系统信息:windows 11 Neo4j Desktop 界面 每个 Project 下可以有多个 DBMS,而每个 DBMS 中默认有 system 和 neo4j (def…

想要做好短视频?这5大关键点你知道吗?沈阳短视频剪辑培训

在新媒体运营中,短视频已成为抓住观众注意力的重要工具。制作成功的短视频需要细心规划和精确执行。今天小编就围绕做好短视频的五大关键点,为大家进行详细解析,帮助您提升视频的吸引力和效果。 做好短视频的5大关键点 01内容策划&#xff1…

新闻稿标题怎么写吸引人?建议收藏

一个好的标题,不仅能激发读者的好奇心,还能引导他们继续深入了解文章内容。本文伯乐网络传媒将为你揭秘新闻稿标题写作的十大技巧,让你轻松写出吸引人的标题。 1. 激发好奇心 a. 提出疑问:以问句的形式提出问题,让读者…

BetterZip 5软件安装包下载

BetterZip是一款功能强大的Mac解/压缩软件,可以满足用户对文件压缩、解压、加密和保护等方面的需求。以下是关于BetterZip软件的主要功能、特点和使用方法的详细介绍,以及对其用户友好度、稳定性和安全性的评价。 安 装 包 获 取 地 址: BetterZip 5-安…

PHP邮箱服务器搭建与配置教程?如何使用?

PHP邮箱服务器搭建的步骤?服务器搭建的注意事项? 在当今的数字化时代,电子邮件仍然是沟通和业务处理的重要工具之一。通过PHP搭建和配置一个邮箱服务器,您可以实现自主掌控邮件系统,确保数据的安全性和隐私性。AokSen…

英语学习笔记37——Making a bookcase

Making a bookcase 做书架 词汇 Vocabulary work v. 工作 ing形式:working 搭配:work on 工作 做……工作    work for 人 为……而工作 例句:我正在做我的家庭作业。    I am working on my homework.    我正在为Bobby工作。 …

使用 Cheerio 和 Node.js 进行网络搜刮 2024

Web scraping 是一种强大的技术,用于从网站提取数据,广泛应用于数据分析、市场研究和内容聚合。截至2024年,利用 Cheerio 和 Node.js 进行 web scraping 仍然是一种流行且高效的方法。本文将深入探讨使用 Cheerio 和 Node.js 进行 web scrapi…