以NVIDIA A100(80GB)为例:
A100中的A是Ampere(安培体系)首字母,100是系列号,除了A100,还有A800
80GB指的是这张显卡的显存为80GB
PCIe:PCIe本身是一种总线协议,这里指的是这种架构的A100只能通过Nvlink Bridge进行两张互联
SXM:一种架构,支持4、8或者16张A100通过Nvlink与NvSwitch芯片进行互联
FP64:双精度型数据
Tensor Core:矩阵运算单元
FP32:单精度
Tensor Float 32:截短的 Float32 数据格式,将 FP32 中 23 个尾数位截短为 10 bits,而指数位仍为 8 bits,总长度为 19 bits
BFLOAT16:全称brain floating point,也是用16位二进制来表示的数
FP16:半精度
INT8:8位整型
TFLOPS:Tera Floating Point Operations Per Second,即每秒执行的万亿次浮点运算
TOPS:Tera Operations Per Second,即每秒执行的万亿次运算
HBM2/e:High Bandwidth Memory-HBM,是一种DRAM形态
MIG:Multi-Instance GPU (MIG)多实例GPU,允许一块物理 GPU 被分割成多个独立的 GPU 实例
7 MIG @ 5GB:分为7个实例,每个显存5GB
7 MIG @ 10GB:分为7个实例,每个显存10GB