NVIDIA GPU 内部架构介绍

NVIDIA GPU 架构

NVIDIA GPU 的 SM（Streaming Multiprocessor） 和 GPC（Graphics Processing Cluster） 是 GPU 架构中的关键组成部分。它们决定了 GPU 的计算能力和性能，以下是对这两个参数的详细介绍：

1. GPC（Graphics Processing Cluster）—— 图形处理集群

定义：

GPC 是 GPU 中更高层次的组织单元，负责管理多个 SM 和其它子单元，协调图形渲染、计算任务的调度与执行。

性能意义：

GPC 的数量直接影响 GPU 的渲染能力，更多的 GPC 允许显卡在更复杂的场景下保持高性能。
在最新架构中，GPC 的设计进一步优化以支持更高分辨率、更复杂的几何和光追任务。

架构示意图

一个典型 NVIDIA GPU 的架构层级可以表示为：

GPU
 ├── GPC (Graphics Processing Cluster)
 │     ├── TPC (Texture/Processor Cluster)
 │     │      ├── SM (Streaming Multiprocessor)
 │     │      │     ├── CUDA 核心 (CUDA Cores)
 │     │      │     ├── 张量核心 (Tensor Cores)
 │     │      │     ├── RT 核心 (Ray Tracing Cores)
 │     │      │     └── 纹理单元 (Texture Units)
 │     │      └── PolyMorph Engine
 │     └── Raster Engine (光栅引擎)
 └── L2 Cache (共享缓存)

TPC（Texture/Processor Cluster）：每个 GPC 包含多个 TPC，每个 TPC 包括两个 SM 单元。
Raster Engine（光栅引擎）：负责光栅化任务，将 3D 场景转换为像素。
PolyMorph Engine：支持几何处理、顶点着色、投影等任务。
L2 Cache：为 GPC 提供数据缓存，提高数据访问效率。

总体架构关系

GPC 是最顶层的计算集群，包含多个 TPC。
每个 TPC 包含多个 SM，以及负责几何运算的 PolyMorph Engine。
每个 SM 包含大量的 CUDA Core 和 Tensor Core，分别执行标量计算和矩阵运算任务。
CUDA Core 与 Tensor Core 是具体的计算执行单元，协作完成复杂的并行计算任务。

通过 GPC 和 SM 的协同工作，NVIDIA 显卡实现了强大的图形处理和计算性能，能够满足游戏、渲染、AI 和科学计算的高需求任务。

2. TPC（Texture/Processor Cluster）—— 纹理/处理集群

TPC 是 NVIDIA GPU 架构中的中间层模块，位于 GPC 和 SM 之间。它起到整合和协同 SM 工作的作用，是 GPU 架构中关键的组织单元。

定义：
TPC 是由 NVIDIA 定义的硬件集群单位，包含多个 SM（流多处理器） 和纹理处理单元。TPC 作为 GPC 的子单元，为 GPU 提供高效的计算和纹理处理能力。

架构位置：

每个 TPC 包含 2 个 SM（部分架构中可能不同，如早期架构有单个 SM）。
每个 GPC（图形处理集群）包含多个 TPC。
每个 GPU 包含多个 GPC，因此整个 GPU 架构分为 GPU > GPC > TPC > SM。

组成:

一个典型的 TPC 包含以下子模块：

SM（Streaming Multiprocessor）
- TPC 的主要计算单元，每个 TPC 包含 2 个 SM（在 Ampere 和 Ada Lovelace 架构中）。
- SM 内部包含 CUDA 核心、张量核心、RT 核心、纹理单元等。
纹理单元（Texture Units）
- 专门处理纹理采样、纹理过滤等任务。
- 与 SM 协同工作，加速纹理数据的加载和计算。
PolyMorph Engine（多变形引擎）
- 负责几何处理，包括顶点变换、投影和曲面细分。
- 每个 TPC 中包含一套独立的 PolyMorph 引擎。
缓存模块
- 包括一级缓存（L1 Cache）和纹理缓存，为 SM 和纹理单元提供快速的数据访问能力。

功能:

TPC 是连接 GPC 和 SM 的桥梁，主要功能包括：

并行计算能力扩展：
- 每个 TPC 通过包含多个 SM，显著提升 GPU 的并行计算性能。
纹理处理：
- 集成了纹理单元和纹理缓存，用于高效处理游戏和渲染中的纹理任务，如采样、过滤和贴图。
几何处理：
- PolyMorph 引擎负责几何阶段的计算，例如顶点着色和几何曲面变换，支持复杂的 3D 场景。
模块化扩展：
- NVIDIA 的 TPC 设计使 GPU 架构具备高度模块化，方便扩展性能和功能，适应不同的市场需求（游戏、AI、科学计算）。

架构变化

不同架构中 TPC 的设计有所变化：

Pascal 架构（如 GTX 10 系列）：每个 TPC 包含 1 个 SM。
Turing 架构（如 RTX 20 系列）：每个 TPC 包含 2 个 SM，首次引入 RT 核心。
Ampere 架构（如 RTX 30 系列）：每个 TPC 包含 2 个 SM，改进了张量核心和 RT 核心。
Ada Lovelace 架构（如 RTX 40 系列）：延续每 TPC 2 个 SM 的设计，进一步优化性能。

示例分析：RTX 4090 的 TPC 设计

RTX 4090 的架构细节：
- GPC 数量：12
- TPC 数量：72
- SM 数量：128（每 TPC 包含 2 个 SM）
- CUDA 核心总数：16,384（每 SM 包含 128 个 CUDA 核心）
每个 TPC 的具体配置：
- SM 数量：2
- PolyMorph 引擎：1
- 纹理单元：4（每个 SM 包含 2 个纹理单元）