AI-算力集群通往AGI

背景:
自GPT-4发布以来,全球AI能力的发展势头有放缓的迹象。
但这并不意味着Scaling Law失效,也不是因为训练数据不够,而是结结实实的遇到了算力瓶颈。
具体来说,GPT-4的训练算力约2e25 FLOP,近期发布的几个大模型比如Google的Gemini Ultra、Nvidia Nemotron 340B、以及Meta Llama3 405B背后使用的训练算力大致与GPT-4相当,没有质的提升,因此无法解锁模型的新能力。

在这里插入图片描述
为了成为AI时代的造物主,OpenAI/微软、xAI、Meta等科技巨头都在竞相建立一个由10万块H100构成的超级AI算力集群。

要想实现这个目标,光有钱是远远不够的,这里面涉及到能源挑战、网络拓扑结构、可靠性保障、并行方案、机架布局等众多技术难题。

这些技术难题是人类通向AGI路上的阻碍,同时也孕育着巨大的投资机会。

近日SemiAnalysis发布了一篇重磅深度报告,题为《100,000 H100 Clusters: Power, Network Topology, Ethernet vs InfiniBand, Reliability, Failures, Checkpointing》,对此话题展开分析,含金量很高。

报告链接放在文末,欢迎感兴趣的朋友去看原文。

先把主要结论列出来:

GPU数量决定了AI公司的生死线。当前AI公司第一梯队的门票是3.2万卡集群,明年第一梯队的门票可能会提升到10万卡(H100)集群。
一个10万张H100构成的AI集群功耗约为150MW,资本开支超过40亿美金,每年电费高达1.2亿美金。
为了满足下一代万亿参数多模态大模型训练,需要精巧的网络拓扑结构设计,综合使用数据并行、张量并行、流水线并行等技术进行分布式训练。
为了避免缴纳巨额的Nvidia Tax,越来越多的Hyperscaler开始选择博通的Tomahawk 5来搭建自己的超级AI集群,而非Nvidia的Spectrum-X,未来博通的网络收入或将继续飙升

文章有点硬核,建议耐心阅读哈。
(1)AI Infra的现状:一边铺设铁轨,一边快速行驶

AI Infra已经成为下一代大模型诞生的重要瓶颈。

有人形容OpenAI内部状态就像是一列开拓新大陆的火车,科学家负责让火车高速行驶,Infra工程师负责在前面修铁路,铁路铺设和火车行驶是齐头并进的。

根据测算,单个超级AI集群的资本支出超过40亿美金,功耗高达150 MW,每年耗能1.59 TWh。如果按0.078美元/kWh的标准费率测算,每年电费就得1.24亿美金。

虽然造价极其昂贵,全球科技巨头还是趋之若鹜。

为了说明10万卡构成的超级AI算力集群可以提供多少计算能力,我们来测算一下。

OpenAI在大约2万块A100上对GPT-4进行了90天的训练,BF16 FLOPS约为2.15e25 FLOP。

该集群的峰值吞吐量为6.28 BF16 ExaFLOP/秒。

在一个10万块H100构成的超级集群上,这一数字将飙升至198 FP16 ExaFLOP/秒,增加了31.5倍。在这里插入图片描述
使用H100训练万亿参数模型,可以实现高达35%的FP8 MFU和40%的FP16 MFU。

MFU(Model FLOPs Utilization)是衡量模型训练过程中,GPU实际运算能力与其理论峰值的比值。这个指标反映的是训练大模型时硬件资源的实际运算能力。

在10万块H100集群上训练100天,可以实现约6e26的有效FP8 FLOP。
也就是说,只需要4天就可以完成GPT-4的训练。

(2)AI背后的能源挑战

算力瓶颈的背后,有着“能源”和“工程能力”这两座大山。

一个由10万块H100构成的集群所需的功率约为150MW。而迄今为止最大的国家超级计算机El Capitan只需要30MW的功率,只有其1/5。

这150MW具体可以分为H100 Server内部的功耗,以及H100 Server外部的配套设备功耗。

H100 Server内部,每块GPU自身功耗约为700W,为每块GPU配套的CPU、NIC(Network Interface Card)、PSU(Power Supply Units)大约需要575W的功耗。

H100 Server外部,AI集群还囊括了存储服务器、网络交换机、光收发器等许多其他设备,约占总功耗的10%。

目前世界上还没有任何一座数据中心有能力部署150MW的AI集群。X.AI 甚至将田纳西州孟菲斯市的一家旧工厂改造成了数据中心。

这些AI集群通过光通信进行互联,而光通信的成本与传输距离成正比。

多模SR和AOC收发器的最长传输距离约为50米。

长距离单模DR和FR收发器的传输距离为500米~2000米,但其成本是前者的2.5倍。

园区级800G相干光收发器的传输距离可以超过2000米,但成本要高出10倍以上。在这里插入图片描述
较小规模的H100集群的通常做法是,通过1-2层交换机,把所有GPU以400G多模光收发器进行互联。

对于大规模H100集群,需要增加更多层交换机,光学设备的成本也会变得非常昂贵。不同的网络拓扑结构会带来截然不同的资本开支。

每栋数据中心大楼可以称为一个计算岛(compute island),里面包含多个“计算仓”(compute pod),这些计算仓之间用廉价的铜缆互联。随后多个“计算岛”(compute island)之间通过长距离的光通信进行互联。
在这里插入图片描述
【深度】通向AGI的钥匙:10万H100超级AI算力集群
Alpha Engineer
·2024-07-02 12:02
关注
10万张H100卡构成的超级AI算力集群就像是现代人类文明的奇观,是人类通向AGI的钥匙。​AI时代的军备竞赛已经拉开帷幕,赌注是天量的Capex支出,胜者则有机会成为AI时代的造物主。
作者:费斌杰 北京市青联委员 熵简科技CEO

自GPT-4发布以来,全球AI能力的发展势头有放缓的迹象。

但这并不意味着Scaling Law失效,也不是因为训练数据不够,而是结结实实的遇到了算力瓶颈。

具体来说,GPT-4的训练算力约2e25 FLOP,近期发布的几个大模型比如Google的Gemini Ultra、Nvidia Nemotron 340B、以及Meta Llama3 405B背后使用的训练算力大致与GPT-4相当,没有质的提升,因此无法解锁模型的新能力。

为了成为AI时代的造物主,OpenAI/微软、xAI、Meta等科技巨头都在竞相建立一个由10万块H100构成的超级AI算力集群。

要想实现这个目标,光有钱是远远不够的,这里面涉及到能源挑战、网络拓扑结构、可靠性保障、并行方案、机架布局等众多技术难题。

这些技术难题是人类通向AGI路上的阻碍,同时也孕育着巨大的投资机会。

近日SemiAnalysis发布了一篇重磅深度报告,题为《100,000 H100 Clusters: Power, Network Topology, Ethernet vs InfiniBand, Reliability, Failures, Checkpointing》,对此话题展开分析,含金量很高。

下面我给大家解读一下这篇大报告。报告链接放在文末,欢迎感兴趣的朋友去看原文。

在正式展开之前,我先把主要结论列出来:

GPU数量决定了AI公司的生死线。当前AI公司第一梯队的门票是3.2万卡集群,明年第一梯队的门票可能会提升到10万卡(H100)集群。

一个10万张H100构成的AI集群功耗约为150MW,资本开支超过40亿美金,每年电费高达1.2亿美金。

为了满足下一代万亿参数多模态大模型训练,需要精巧的网络拓扑结构设计,综合使用数据并行、张量并行、流水线并行等技术进行分布式训练。

为了避免缴纳巨额的Nvidia Tax,越来越多的Hyperscaler开始选择博通的Tomahawk 5来搭建自己的超级AI集群,而非Nvidia的Spectrum-X,未来博通的网络收入或将继续飙升。

下面我们正式开始。文章有点硬核,建议耐心阅读哈。

(1)AI Infra的现状:一边铺设铁轨,一边快速行驶

AI Infra已经成为下一代大模型诞生的重要瓶颈。

有人形容OpenAI内部状态就像是一列开拓新大陆的火车,科学家负责让火车高速行驶,Infra工程师负责在前面修铁路,铁路铺设和火车行驶是齐头并进的。

根据测算,单个超级AI集群的资本支出超过40亿美金,功耗高达150 MW,每年耗能1.59 TWh。如果按0.078美元/kWh的标准费率测算,每年电费就得1.24亿美金。

虽然造价极其昂贵,全球科技巨头还是趋之若鹜。

为了说明10万卡构成的超级AI算力集群可以提供多少计算能力,我们来测算一下。

OpenAI在大约2万块A100上对GPT-4进行了90天的训练,BF16 FLOPS约为2.15e25 FLOP。

该集群的峰值吞吐量为6.28 BF16 ExaFLOP/秒。

在一个10万块H100构成的超级集群上,这一数字将飙升至198 FP16 ExaFLOP/秒,增加了31.5倍。

使用H100训练万亿参数模型,可以实现高达35%的FP8 MFU和40%的FP16 MFU。

MFU(Model FLOPs Utilization)是衡量模型训练过程中,GPU实际运算能力与其理论峰值的比值。这个指标反映的是训练大模型时硬件资源的实际运算能力。

在10万块H100集群上训练100天,可以实现约6e26的有效FP8 FLOP。

也就是说,只需要4天就可以完成GPT-4的训练。

(2)AI背后的能源挑战

算力瓶颈的背后,有着“能源”和“工程能力”这两座大山。

一个由10万块H100构成的集群所需的功率约为150MW。而迄今为止最大的国家超级计算机El Capitan只需要30MW的功率,只有其1/5。

这150MW具体可以分为H100 Server内部的功耗,以及H100 Server外部的配套设备功耗。

H100 Server内部,每块GPU自身功耗约为700W,为每块GPU配套的CPU、NIC(Network Interface Card)、PSU(Power Supply Units)大约需要575W的功耗。

H100 Server外部,AI集群还囊括了存储服务器、网络交换机、光收发器等许多其他设备,约占总功耗的10%。

目前世界上还没有任何一座数据中心有能力部署150MW的AI集群。X.AI 甚至将田纳西州孟菲斯市的一家旧工厂改造成了数据中心。

这些AI集群通过光通信进行互联,而光通信的成本与传输距离成正比。

多模SR和AOC收发器的最长传输距离约为50米。

长距离单模DR和FR收发器的传输距离为500米~2000米,但其成本是前者的2.5倍。

园区级800G相干光收发器的传输距离可以超过2000米,但成本要高出10倍以上。

较小规模的H100集群的通常做法是,通过1-2层交换机,把所有GPU以400G多模光收发器进行互联。

对于大规模H100集群,需要增加更多层交换机,光学设备的成本也会变得非常昂贵。不同的网络拓扑结构会带来截然不同的资本开支。

每栋数据中心大楼可以称为一个计算岛(compute island),里面包含多个“计算仓”(compute pod),这些计算仓之间用廉价的铜缆互联。随后多个“计算岛”(compute island)之间通过长距离的光通信进行互联。
![](https://img-blog.csdnimg.cn/direct/d02f1060dd8f49acae95553636db8049.png
目前要在一个数据中心内集中提供150MW功率是相当困难的,因此网络拓扑结构的设计变得尤为重要。

有些AI公司选择Broadcom Tomahawk 5,有些选择Infiniband,也有一些选择英伟达的Spectrum-X。下面我们来探讨其中的原因,并比较这些方案的优劣势。

(3)AI Infra的核心:网络拓扑与并行设计

要深入理解网络拓扑结构,首先要搞懂3种不同类型的并行设计方法,即数据并行、张量并行、流水线并行。

数据并行(Data Parallelism)

数据并行是最简单的并行形式,每块GPU都拥有模型权重的完整副本,并接受不同的训练数据子集。

这种并行方式的通信要求最低,因为GPU之间只需要传递梯度数据。

但是,数据并行要求每块GPU都有足够的内存来存储整个模型的权重。这对于像 GPT-4 这样拥有1.8万亿参数的模型而言,意味着高达10.8 TB的内存占用。
在这里插入图片描述
张量并行(Tensor Parallelism)

为了克服数据并行带来的内存限制,人们发明了张量并行技术。

张量并行将模型每一层的工作和权重分布在多个GPU上,通常沿着隐藏维度进行分割。这意味着每个GPU只处理模型的一部分,而不是整个模型。

在张量并行中,GPU之间需要频繁通信,以交换中间计算结果,从外面看起来就像是一块巨型GPU一样。因此,张量并行需要高带宽和低延迟的网络连接。

通过张量并行,可以有效减少每块GPU的内存要求。比如使用8个张量并行等级进行NVLink连接时,每块GPU使用的内存可以减少8倍。在这里插入图片描述
流水线并行(Pipeline Parallelism)

另一个克服GPU内存限制的方法是流水线并行技术。

流水线并行的核心思想是将模型的不同层分配给不同的GPU,每块GPU只负责一部分层的计算。

当一块GPU完成层的前向、反向传播运算后,可以将中间结果传递给下一块GPU,自己则可以立即开始计算下一个数据批次。

使用流水线并行技术可以减少每个GPU所需的内存容量,因为每个GPU只存储模型的一部分层。

但它增加了GPU之间的通信量,每个GPU完成计算后,需要将数据传递给下一个GPU,这就要求有高效的网络连接来支持数据的快速传输。

流水线并行对通信量的要求很高,但没有张量并行那么高。在这里插入图片描述
3D并行(3D Parallelism)

为了最大限度提高模型FLOP利用率(MFU),Hyperscaler通常会将三种并行技术结合起来,形成 3D 并行。

具体做法如下:首先在H100 Server内的GPU之间使用张量并行,然后在同一个计算岛内的节点之间使用流水线并行,最后在不同计算岛之间使用数据并行。

在这里插入图片描述
4)Hyperscalers的AI集群设计方案

在理解了并行方案设计之后,我们一起来看下各家Hyperscalers超级AI算力集群的具体方案。

首先来看Meta的设计。如下图所示,这是一个包含32,000块GPU的计算集群,共有8个计算岛。在这里插入图片描述
每个计算岛内的GPU通过高带宽连接,而岛与岛之间则通过顶层交换机连接。

顶层交换机的带宽被故意设计为低于连接到下层交换机的总带宽,这种设计称为“Oversubscribe”,即带宽超额订阅。

带宽超额订阅会导致岛屿之间的通信速度降低,但在实际应用中,通常不会对性能产生太大影响,因为不是所有的服务器都会在同一时间使用最大带宽进行通信。

通过在顶层交换机上实施带宽超额订阅,平衡了性能和成本之间的关系。尽管这种设计可能会限制岛屿之间的通信带宽,但通过有效的网络管理,可以确保整个集群的运行效率,同时降低建设和维护成本。

相比Meta而言,Google则是设计了一种专门用于支持大规模TPU计算集群的网络架构,称为ICI(Inter Chiplet Interconnect)。

ICI网络能够支持最多8960块TPU芯片,每个64 TPU水冷机架之间需要通过昂贵的800G进行连接,在训练中只使用前端网络。

由于ICI网络只能扩展到一定的规模,而不是像GPU集群那样可以通过增加更多的网络层级来扩展,Google必须通过不断加强TPU前端网络来弥补这一不足。在这里插入图片描述

5)AI Infra的可靠性炼狱
可靠性是AI集群面临的一个重要挑战。

在大模型的训练过程中,GPU节点会不断宕机或报错。常见的报错有GPU HBM ECC Error、GPU驱动器卡死、光收发器故障、网卡过热等。

为了保障模型训练的持续性,降低平均故障恢复时间,数据中心必须保留热备节点。

当发生故障时,千万不要停止训练,而应该直接换上工作备用节点继续训练。

大多数情况下,对节点进行重启就可以解决问题。但在有些情况下,需要技术人员介入,对设备进行物理诊断和更换。

有时技术人员只需几小时就能修复损坏的GPU,但更多情况下,损坏的节点需要几天时间才能重新投入训练。
在这里插入图片描述
在训练模型时,我们需要经常将模型的Checkpoint保存到CPU内存或NAND SSD中,以防出现HBM ECC等错误。

当出现报错时,必须从较慢的内存层重新加载模型权重,然后重新开始训练。

但是频繁的进行Checkpointing会损害系统的整体MFU。集群需要不断暂停,对当前权重进行备份保存。

通常来说,每100次迭代会Checkpointing一次,这意味着你最多可能丢失99步有用的训练。

在一个10万卡集群上,如果每次迭代耗时2秒,那么在迭代到99次时发生故障的话,你会损失掉229 GPU天的工作量。

(6)诸神之战:博通Tomahawk 5 vs 英伟达Spectrum-X

当前建设10万张H100的超级AI算力集群,可以选择的网络方案主要有三种,分别是Broadcom Tomahawk 5,Nvidia Infiniband,以及Nvidia Spectrum-X。下面我们来详细比较这三种方案的优劣。

在大型AI集群中,Spectrum-X相比InfiniBand具有显著优势,包括性能优势、可靠性优势、以及成本优势。

Spectrum-X以太网每个SN5600交换机有128个400G端口,而InfiniBand NDR Quantum-2交换机只有64个400G端口。

需要注意的是,Broadcom的Tomahawk 5交换机ASIC也支持128个400G端口,这使得目前的InfiniBand处于非常不利的地位。

与Tomahawk相比,Spectrum-X的主要优势在于它得到了NCCL等Nvidia库的一流支持,而使用Tomahawk 5时,您需要进行大量的内部工程设计,以实现最大吞吐量。在这里插入图片描述
为了避免缴纳巨额的 Nvidia Tax,越来越多的Hyperscaler开始选择部署Broadcom Tomahawk 5方案。

每台基于Tomahawk 5的交换机的端口数与Spectrum-X SN5600交换机相同,都是128个400G端口,性能相近。

大多数客户直接与ODM合作,比如交换机方面用Celestica,收发器方面用Innolight、Eoptolink。因此Tomahawk 5的成本远低于Nvidia InfiniBand,也比Nvidia Spectrum-X便宜。

但是要想让Tomahawk 5达到和Nvidia Spectrum-X类似的表现,你需要有足够的工程能力,为Tomahawk 5优化NCCL通信集群。

Nvidia为Spectrum-X和InfiniBand提供了开箱即用的NCCL通信集合,但它不适用于Boardcom的Tomahawk 5。

Jensen一直称Nvidia为一家软件公司,软件生态为其提供了深厚的护城河。但现在越来越多的AI公司尝试弥补自身的工程能力,避免缴纳巨额的Nvidia Tax。

在这里插入图片描述
(7)BOM成本测算:10万卡AI集群需要多少Capex

定性分析完之后,我们来尝试进行定量测算。

以下详细测算了4种10万块H100构成的AI集群的设计方案的BOM成本。

这4种方案分别如下:

方案1:4层InfiniBand网络,32,768个GPU岛,轨道优化,7:1 oversubscription

方案2:3层SpectrumX网络,32,768个GPU岛,轨道优化,7:1 oversubscription

方案3:3层InfiniBand网络,24,576个GPU岛,非轨道优化,节点内前端网络

方案4:3层Broadcom Tomahawk 5以太网网络,32,768个GPU岛,轨道优化,7:1 oversubscription在这里插入图片描述
不难发现,一个10万块H100超级AI算力集群的Capex约为40亿美金。根据所选网络类型的不同,资本开支略有不同。

比较这4种方案,4层InfiniBand网络的成本是其他方案的1.3-1.6倍,这就是为什么没有人愿意选择大型InfiniBand网络的原因。

相比InfiniBand,Spectrum X提供了更大规模的计算岛、更高的岛间带宽,但它也带来了巨大的代价,即更高的功率需求。

我们认为,基于Broadcom Tomahawk 5的32k计算岛和顶层7:1的oversubscription是最具性价比的方案,这也是多家公司正在建设类似网络的原因。

由于无需支付Nvidia Tax,该方案能够在同等TCO(总体拥有成本)的条件下,提供最高的网络性能。

随着越来越多Hyperscaler选择Tomahawk 5来搭建自己的超级AI集群,博通的网络收入将继续飙升。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/767250.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

双曲方程初值问题的差分逼近(迎风格式)

稳定性: 数值例子 例一 例二 代码 % function chap4_hyperbolic_1st0rder_1D % test the upwind scheme for 1D hyperbolic equation % u_t + a*u_x = 0,0<x<L,O<t<T, % u(x,0) = |x-1|,0<X<L, % u(0,t) = 1% foundate = 2015-4-22’; % chgedate = 202…

刷代码随想录有感(124):动态规划——最长公共子序列

题干&#xff1a; 代码&#xff1a; class Solution { public:int findLength(vector<int>& nums1, vector<int>& nums2) {vector<vector<int>>dp(nums1.size() 1, vector<int>(nums2.size() 1, 0));int res 0;for(int i 1; i <…

买华为智驾,晚了肯定要后悔

文 | AUTO芯球 作者 | 雷慢 晚了就来不及了&#xff01; 你买华为系的车&#xff0c;薅羊毛真的要趁早。 华为ADS2.0高阶智驾正在慢慢恢复原价&#xff0c; 你看啊&#xff0c;就在昨天&#xff0c;华为宣布ADS智驾优惠后价格调到3万元&#xff0c; 只有6000元的优惠了。…

153. 寻找旋转排序数组中的最小值(中等)

153. 寻找旋转排序数组中的最小值 1. 题目描述2.详细题解3.代码实现3.1 Python3.2 Java 1. 题目描述 题目中转&#xff1a;153. 寻找旋转排序数组中的最小值 2.详细题解 如果不考虑 O ( l o g n ) O(log n) O(logn)的时间复杂度&#xff0c;直接 O ( n ) O(n) O(n)时间复杂…

从百数教学看产品设计:掌握显隐规则,打造极致用户体验

字段显隐规则允许通过一个控件&#xff08;如复选框、单选按钮或下拉菜单&#xff09;来控制其他控件&#xff08;如文本框、日期选择器等&#xff09;和标签页&#xff08;如表单的不同部分&#xff09;的显示或隐藏。 这种规则通常基于用户的选择或满足特定条件来触发&#…

vue3实现echarts——小demo

版本&#xff1a; 效果&#xff1a; 代码&#xff1a; <template><div class"middle-box"><div class"box-title">检验排名TOP10</div><div class"box-echart" id"chart1" :loading"loading1"&…

【Portswigger 学院】路径遍历

路径遍历&#xff08;Path traversal&#xff09;又称目录遍历&#xff08;Directory traversal&#xff09;&#xff0c;允许攻击者通过应用程序读取或写入服务器上的任意文件&#xff0c;例如读取应用程序源代码和数据、凭证和操作系统文件&#xff0c;或写入应用程序所访问或…

API Object设计模式

API测试面临的问题 API测试由于编写简单&#xff0c;以及较高的稳定性&#xff0c;许多公司都以不同工具和框架维护API自动化测试。我们基于seldom框架也积累了几千条自动化用例。 •简单的用例 import seldomclass TestRequest(seldom.TestCase):def test_post_method(self…

GDB 远程调试简介

文章目录 1. 前言2. GDB 远程调试2.1 准备工作2.1.1 准备 客户端 gdb 程序2.1.2 准备 服务端 gdbserver2.1.3 准备 被调试程序 2.2 调试2.2.1 通过网络远程调试2.2.1.1 通过 gdbserver 直接启动程序调试2.2.1.2 通过 gdbserver 挂接到已运行程序调试 2.2.2 通过串口远程调试2.2…

紫鸟浏览器搭配IPXProxy代理IP的高效使用指南

​紫鸟指纹浏览器一款专门为跨境电商而生的防关联浏览器&#xff0c;能够帮助跨境电商卖家解决多店铺管理问题。紫鸟指纹浏览器为跨境电商卖家提供稳定的登录环境&#xff0c;并且搭配IP代理&#xff0c;能够解决浏览器指纹记录问题&#xff0c;提高操作的安全性。那如何利用紫…

广州AI绘图模型训练外包定制公司

&#x1f680;设计公司如何借助AI人工智能降本增效&#xff0c;广州这家AI公司值得借鉴— 触站AI&#xff0c;智能图像的创新引擎 &#x1f31f; &#x1f3a8; 触站AI&#xff0c;绘制设计界的未来蓝图 &#x1f3a8;在AI技术的浪潮中&#xff0c;触站AI以其前沿的AI图像技术…

RK3568驱动指南|第十六篇 SPI-第188章 mcp2515驱动编写:复位函数

瑞芯微RK3568芯片是一款定位中高端的通用型SOC&#xff0c;采用22nm制程工艺&#xff0c;搭载一颗四核Cortex-A55处理器和Mali G52 2EE 图形处理器。RK3568 支持4K 解码和 1080P 编码&#xff0c;支持SATA/PCIE/USB3.0 外围接口。RK3568内置独立NPU&#xff0c;可用于轻量级人工…

Redux 使用及基本原理

什么是Redux Redux 是用于js应用的状态管理库&#xff0c;通常和React一起用。帮助开发者管理应用中各个组件之间的状态&#xff0c;使得状态的变化变得更加可预测和易于调试。 Redu也可以不和React组合使用。&#xff08;通常一起使用&#xff09; Redux 三大原则 单一数据源…

在uni-app使用vue3使用vuex

在uni-app使用vue3使用vuex 1.在项目目录中新建一个store目录&#xff0c;并且新建一个index.js文件 import { createStore } from vuex;export default createStore({//数据&#xff0c;相当于datastate: {count:1,list: [{name: 测试1, value: test1},{name: 测试2, value: …

从hugging face 下模型

支持国内下载hugging face 的东西 下模型权重 model_id 是红色圈复制的 代码 记得设置下载的存储位置 import os from pathlib import Path from huggingface_hub import hf_hub_download from huggingface_hub import snapshot_downloadmodel_id"llava-hf/llava-v1…

Swift 中强大的 Key Paths(键路径)机制趣谈(下)

概览 在上一篇博文 Swift 中强大的 Key Paths(键路径)机制趣谈(上)中,我们介绍了 Swift 语言中键路径机制的基础知识,并举了若干例子讨论了它的一些用武之地。 而在本文中我们将再接再厉,继续有趣的键路径大冒险,为 KeyPaths 画上一个圆满的句号。 在本篇博文中,您将…

C++:二维数组的遍历

方式一&#xff1a; #include <vector> #include <iostream> int main() { // 初始化一个2x3的二维向量&#xff08;矩阵&#xff09; std::vector<std::vector<float>> matrix { {1.0, 2.0, 3.0}, // 第一行 {4.0, 5.0, 6.0} // 第二行 };…

企业备份NAS存储一体机

企业文件服务器上的数据、员工电脑里的数据以及NAS存储内数据&#xff0c;需要及时备份&#xff0c;Inforternd存储设备内置了强大的备份服务器功能&#xff0c;无需额外费用&#xff0c;就能轻松将重要数据备份至安全可靠的存储空间中。 无论是GS或GSe 统一存储产品&#xff0…

开放式耳机怎么选?五大2024年口碑销量爆棚机型力荐!

在选购开放式耳机的时候&#xff0c;我们总会因为有太多的选择而陷入两难&#xff0c;又想要一个颜值比较高的&#xff0c;又想要同时兼顾性能还不错的&#xff0c;所以作为测评博主&#xff0c;今天我们就给大家带来自己的一些选购技巧和自己觉得还不错开放式耳机&#xff0c;…

不同行业如何选择适合自己行业的项目管理工具?

在当今的信息化时代&#xff0c;项目管理软件已成为各行各业不可或缺的工具。然而&#xff0c;由于各行业具有不同的特点和需求&#xff0c;因此选择合适的项目管理软件成为了一个重要问题。本文将探讨不同行业在选择项目管理软件时需要考虑的因素&#xff0c;希望能帮助大家更…