站在 AI 时代风口浪尖的弄潮儿英伟达又为大家带来了一场科技饕餮盛宴!
昨晚 7 点,坐标中国台湾大学体育场,英伟达 CEO 黄仁勋为世界带来了一场名为 The Dawn of a New Industrial Revolution (揭开新工业革命序幕)的演讲。
在整个演讲中,老黄重新理解了英伟达与人工智能浪潮的关系,重磅剧透了下一代的 GPU 架构,并且从英伟达一系列“新动作”出发,点明了演讲题目:“AI 时代将会驱动下一场工业革命”
3.5研究测试:
hujiaoai.cn
4研究测试:
askmanyai.cn
Claude-3研究测试:
hiclaude3.com
从 CPU 到 GPU,老黄挑战摩尔定律
到底是 GPU 架构催生了深度学习革命,还是 AI 发展挖掘出了 GPU 的潜力?在这次演讲中,老黄丝毫不谦虚的给出了英伟达的答案:
如果没有我们精心打造的打造的各类特定领域的库,全球深度学习科学家们就无法充分利用潜力。CUDA就像OpenGL之于计算机图形学,SQL之于数据分析。
人工智能崛起之所以有可能,完全因为我们相信只要让强大的计算变得越来越便宜,总会有人找到巨大的用途。
将 AI 领域这十余年间的锋芒毕露做一个归纳,老黄将一切都归因于 GPU 的发展。伴随着需求计算量指数级的增长,CPU 性能的增长速度已经几乎被证明无法满足「计算通胀」,而真正使得目前我们可以张口闭口谈论天文级别数据量与模型规模的核心,正是来源于英伟达与它的 GPU。
老黄如此使用数据描述英伟达芯片过去的成绩:
过去 8 年,英伟达的芯片算力提升了 1000 倍,单位能耗降低至原来的 1/350
如果我们再贴上摩尔定律的内容:
集成电路上可以容纳的晶体管数目在大约每经过18个月到24个月便会增加一倍
恐怕我们也不会惊讶于英伟达的自信:
正因为我们利用特定算法将计算边际成本降低了100万级别,今天使用互联网上的所有数据来训练大模型才成为了所有人默认合乎逻辑的选择,不再有人怀疑和质疑这个做法
One-Year-Rhythm,下一代 GPU 就在一年后?
这场发布会非常吸引人眼球的一点,来源于黄教主提出的「One-Year-Rhythm」的节奏,老黄在演讲中提到:
英伟达新的GPU架构将从两年一次迭代,加速到以一年为周期推出
这个速度非常夸张,要知道英伟达上次革新自己的 GPU 架构不是在三年前而是在三个月前的 GTC大会中推出的 Blackwell。而在仅仅三个月后,黄教主又马不停蹄的给出了新的规划:2025 年,Blackwell Ultra ——> 2026 年,Rubin ——> 2027 年,Rubin Ultra
这种革新速度已经不能用「市场竞争」来形容了,作为 GPU 领域独孤求败的英伟达,现在只能和自己想象中的风车巨人进行搏斗。
而关于此,黄教主只能如是说:
我们的基本理念非常简单,我们要建立整个数据中心,再将它分解,并以一年的节奏部分卖给用户。我们将一切推向技术极限。无论是什么 TSMC 工艺,技术都会把它推向绝对极限,无论是什么封装技术,都将它推向绝对极限,无论是什么存储技术,都将它推向绝对极限,无论是网络技术,光学技术,一切都将被推向极限。
揭开新工业革命序幕
关注大模型的每一位估计都对 Token 这个词并不陌生,而在昨天,老黄给予了它一个中文翻译——词元。
词元,是大模型处理一切“知识”的最小单位,Token 将不同模态的信息进行统一:
当然有些词元它可能是影像,它可能是线图,可能是表格、歌曲、演讲、视讯、影片,有可能是任何形式,只要是有意义的,都算是,甚至包括蛋白质、化学分子等等。
而在这个 AI 时代,词元成为了一切的载体,老黄这样说:
几乎所有的事情都可以把它转换成Token,Token是非常有价值的。我们现在所处的不是AI时代,而是一个生成式AI时代。
黄教主将这样一个时代比喻为一个 AI 工厂,它正在生产一种「新形态的大宗商品」,这种产品每个产业都用得到,具有无与伦比的价值。这种工厂将会带来一场工业革命,为许多行业创造一种新的商品,而这种商品,正是「词元」。
今年 3 月,英伟达就推出了他们的「推理即服务」产品——NVIDIA NIM,作为一个软件平台,英伟达希望通过 NIM 去简化定制和预先训练的 AI 模型在生产环境中的部署。
整个 NIM 事实上是一个大的容器,这个容器里面打包优化好了各种“软件”,而这个容器可以将企业部署 AI 应用程序的时间,从几天压缩到几分钟:
这些容器,这些container里头有非常多很棒的软件。在这个容器里头有CUDA、cuDNN、TensorRT Triton,它是推理即服务,它是在云端上的一个堆叠。
AI 工厂是一个基础概念,而向上,它几乎可以产生无限的可能,从数字人、物理世界到真正的 Physical AI,伴随着“AI 工厂化”转型,作为 Token 的真正意义上的“生产者”,也难怪于英伟达写出 The Dawn of a New Industrial Revolution 这样一个自负的标题了。