NVIDIA超大规模和 HPC 业务副总裁兼总经理 Ian Buck 近日在美国银行证券 2024 年全球技术大会上表示，客户正在投资数十亿美元购买新的NVIDIA硬件，以跟上更新的 AI 大模型的需求，从而提高收入和生产力。

Buck表示，竞相建设大型数据中心的公司将特别受益，并在数据中心四到五年的使用寿命内获得丰厚的回报，“云提供商在购买 GPU 上花费的每一美元，四年内（通过提供算力服务GAAS）都能收回 5 美元。”

“如果用于推理，则更有利可图，每花费 1 美元，在同样的时间段内就能产生 7 美元的营业额，并且这个数字还在增长。” Buck说道。

NVIDIA创始人、总裁兼首席执行官黄仁勋和执行副总裁兼首席财务官Colette Kress此前也曾表达过同样的观点。

他们此前曾表示，借助CUDA算法创新，NVIDIA将H100的LLM推断速度提升至原来的3倍，这可以将Llama 3这类的模型的成本降低到原来的三分之一，而H200在推理性能上较H100几乎翻了一番，为生产部署带来了巨大的价值。

例如，使用7000亿参数的LLama 3，单台HGX H200服务器可以每秒输出24000个Token，同时支持超过2400名用户。

这意味着，按照现有的定价来看，托管Llama3的API供应商每花费1美元在NVIDIAHGX H200服务器上，未来四年内就可从Llama3 token计费中赚取7美元收入。

围绕 Llama、Mistral 或 Gemma 的 AI 推理模型正在不断发展，并由Token提供服务。NVIDIA正在将开源 AI 模型打包到名为 Nvidia 推理微服务 (NIM) 的容器中。

NVIDIA最新推出的Blackwell 针对推理进行了优化，支持 FP4 和 FP6 数据类型，在运行低强度 AI 工作负载时可进一步提高能效。

根据官方的数据，与Hopper相比，Blackwell 训练速度比H100快4倍，推断速度快30倍，并且能够实时运行万亿参数大语言模型生成式AI，可进一步将成本和能耗降低到原来的25分之一。

这似乎呼应了黄仁勋多次喊出的“买的越多，省的越多”的口号，但不可忽视的是，NVIDIA GPU价格也在快速上涨。

为 Rubin GPU做准备

很多云提供商提前两年就已经开始规划新的数据中心，并希望了解未来的AI GPU 架构会是什么样子。

NVIDIA在6月初的Computex 2024展会上宣布，Blackwell芯片现已开始投产，即将替代Hopper芯片。2025年将会推出Blackwell Ultra GPU芯片。

NVIDIA还公布了下一代集成HBM4的名为“Rubin”的AI平台，该GPU将于2026年发布，以替代Blackwell和Blackwell Ultra GPU。

“对我们来说，做到这一点真的很重要——数据中心不是凭空而来的，它们是大型建设项目。他们需要了解Blackwell 数据中心会是什么样子，它与Hopper数据中心有何不同。”Buck说。

Blackwell 提供了一个转向更密集的计算形式和使用液体冷却等技术的机会，因为空气冷却效率不高。

NVIDIA已经宣布每年都会推出一款新的 GPU的节奏，这有助于公司跟上 AI 发展的步伐，进而帮助客户规划产品和 AI 战略。

Buck说：“NVIDIA已经与那些最大的客户针对Rubin GPU探讨了一段时间——他们知道我们的目标和时间表。”

AI 的速度和能力与硬件直接相关。在 GPU 上投入的资金越多，AI公司就能训练出更大的模型，从而带来更多收入。

微软和谷歌将自己的未来寄托在人工智能上，并竞相开发更强大的大型语言模型。微软严重依赖新的 GPU 来支撑其 GPT-4 后端，而谷歌则依赖其 TPU 来运行其人工智能基础设施。

Blackwell供不应求

NVIDIA目前正在生产 Blackwell GPU，样品很快就会发布。但客户可以预料，首批 GPU（将于年底发货）将供不应求。

“每一项新技术的转型都会带来……供需方面的挑战。我们在 Hopper 上就经历过这种情况，Blackwell 的产能提升也将面临类似的供需限制……今年年底到明年。” Buck 说道。

Buck还表示，数据中心公司正在淘汰 CPU 基础设施，为更多 GPU 腾出空间。Hopper GPU 可能会被保留，而基于旧 Ampere 和 Volta 架构的旧 GPU 则会被转售。

NVIDIA将保留多个级别的 GPU，随着 Blackwell 的不断发展，Hopper 将成为其主流 AI GPU。NVIDIA已经进行了多项硬件和软件改进，以提高 Hopper 的性能。

未来所有云提供商都将提供 Blackwell GPU 和服务器。

专家模型

Buck 表示，GPT-4 模型大约有 1.8 万亿个参数，由于 AI 扩展尚未达到极限，参数数量还将继续增长。

“人类大脑的规模大概相当于 1000 亿到 150 万亿个参数，具体数量取决于个人，取决于大脑中的神经元和连接。目前，人工智能的参数规模约为 2 万亿……我们尚未进行推理。”Buck说道。

未来将会有一个包含数万亿个参数的大型模型，在此基础上会构建更小、更专业的模型。参数数量越多对NVIDIA越有利，因为它有助于销售更多 GPU。

NVIDIA正在调整其 GPU 架构，从原来的基础模型方法转向混合专家模型。专家混合涉及多个神经网络通过相互参考来验证答案。

Buck说：“1.8 万亿参数的 GPT 模型有 16 个不同的神经网络，它们都试图回答各自层的部分问题，然后商讨、会面并决定正确答案是什么。”

即将推出的 GB200 NVL72 机架式服务器配备 72 个 Blackwell GPU 和 36 个 Grace CPU，专为混合专家模型而设计。多个 GPU 和 CPU 相互连接，从而支持混合专家模型。

“这些家伙都可以相互通信，而不会在 I/O 上受阻。这种演变在模型架构中不断发生，”Buck 说。

锁定客户的技巧

NVIDIA首席执行官黄仁勋本月在 HPE 的 Discover 大会上发表了一些激烈的言论，呼吁人们购买更多该公司的硬件和软件。

NVIDIA和 HPE 宣布推出一系列新产品，其名称简单明了，为“Nvidia AI Computing by HPE”。

“我们设计了小号、中号、大号和特大号，你可以选择，而且正如你所知，你买得越多，省得越多。” 黄在 Discover 的舞台上说道。

黄仁勋今年早些时候还发表了另一条备受争议的言论，当时他说未来的程序员不需要学习如何编写代码，但在 Nvidia GPU 上加载 AI 模型需要了解命令行和脚本，以创建和运行 AI 环境。

NVIDIA的专有言论和在人工智能市场的完全主导地位使其成为反垄断调查的目标。

当 Buck 试图淡化人们对 CUDA 的担忧时，他必须小心谨慎，他表示“护城河是一个复杂的词”。

NVIDIA两位高管都表示，CUDA 是其 GPU 的必备软件——要最大限度地发挥 GPU 的性能，就需要 CUDA。开源软件可以与 Nvidia GPU 配合使用，但无法提供 CUDA 库和运行时的强大功能。

向下兼容性和连续性是NVIDIA的独特优势，NVIDIA对AI 模型和软件的支持可以延续到下一代 GPU。但对于英特尔的 Gaudi 等 ASIC 则不然，它们必须针对每个新模型重新进行调整。

我会定期在CSDN分享我的学习心得，项目经验和行业动态。如果你对某个领域感兴趣，或者想要了解更多技术干货，请关注我的账号，一起成长！