【CUDA】了解GPU架构

一、初步认识

二、Fermi架构

三、Kepler 架构

3.1 动态并行

3.2 Hyper-Q

一、初步认识

SM（Streaming Multiprocessors）是GPU架构中非常重要的部分，GPU硬件的并行性就是由SM决定的。以Fermi架构为例，其包含以下主要组成部分：

CUDA cores
Shared Memory / L1Cache
Register File
Load / Store Units
Special Function Units
Warp Scheduler

GPU中每个SM都设计成支持数以百计的线程并行执行，并且每个GPU都包含了很多的SM，所以GPU支持成百上千的线程并行执行。当一个kernel启动后，thread会被分配到这些SM中执行。大量的thread可能会被分配到不同的SM，但是同一个block中的thread必然在同一个SM中并行执行

CUDA采用 Single Instruction Multiple Thread（SIMT，单指令多线程）的架构来管理和执行thread，thread以32个为单位组成一个单元，称作warp。warp中所有线程并行的执行相同的指令。每个thread拥有独立的指令地址计数器和状态寄存器，并且用该线程自己的数据执行指令

SIMT和SIMD（Single Instruction Multiple Data，单指令多数据）类似，SIMT应该算是SIMD的升级版，更灵活，但效率略低，SIMT是NVIDIA提出的GPU新概念。二者都通过将同样的指令广播给多个执行官单元来实现并行。一个主要的不同就是，SIMD要求所有的 vector element 在一个统一的同步组里同步的执行，而SIMT允许线程们在一个warp中独立的执行。SIMT有三个SIMD没有的主要特征：

每个thread拥有独立的指令地址计数器
每个thread拥有独立的状态寄存器
每个thread可以有独立的执行路径

一个 block 只会由一个 SM 调度，block 一旦被分配好 SM，该 block 就会一直驻留在该 SM 中，直到执行结束。一个 SM 可以同时拥有多个 block

大部分 thread 只是逻辑上并行，并不是所有的 thread 可以在物理上同时执行。这就导致，同一个 block 中的线程可能会有不同步调

并行 thread 之间的共享数据会导致竞态：多个线程请求同一个数据会导致未定义行为。CUDA 提供了 API 来同步同一个 block 的 thread 以保证在进行下一步处理之前，所有 thread 都到达某个时间点。不过，没有提供什么原子操作来保证 block 之间的同步的

同一个 warp 中的 thread 可以以任意顺序执行，active warps 被 SM 资源限制。当一个 warp 等待时，SM 就可以调度驻留在该 SM 中另一个可用 warp。在并发的 warp 之间切换是没什么消耗的，因为硬件资源早就被分配到所有 thread 和 block，所以该新调度的 warp 的状态已存储在 SM 中了

SM可以看做GPU的心脏，寄存器和共享内存是SM的稀缺资源。CUDA将这些资源分配给所有驻留在SM中的thread。这些有限的资源就使每个 SM 中 active warps 有非常严格的限制，也就限制了并行能力。所以，掌握部分硬件知识，有助于CUDA性能提升

二、Fermi架构

Fermi是第一个完整的GPU计算架构

512个 accelerator cores 即所谓 CUDA cores（包含ALU和FPU）
16个 SM，每个 SM 包含32个 CUDA core
六个384位 GDDR5 DRAM，支持 6GB global on-board memory
GigaThread engine 将 thread blocks 分配给 SM 调度
768KB L2 cache
每个 SM 有 16 个 load/store 单元，允许每个 clock cycle 为 16 个 thread（即所谓 half-warp）计算源地址和目的地址
Special function units（SFU）用来执行 sin cosine 等（一种特殊的硬件单元，主要用于高效地执行特定的数学函数计算）
每个 SM 两个 warp scheduler 两个 instruction dispatch unit，当一个 block 被分配到一个 SM 中后，所有该 block 中的 thread 会被分到不同的 warp 中
Fermi（compute capability 2.x）每个 SM 同时可处理 48 个 warp 共计1536个 thread

每个SM由以下几部分组成：

执行单元（CUDA cores）
调度分配 warp 的单元
shared memory，register file，L1 cache

三、Kepler 架构

Kepler相较于Fermi更快，效率更高，性能更好

15个 SM
6个 64位 memory controller
192 个单精度 CUDA cores，64 个双精度单元，32 个 SFU，32 个 load/store 单元（LD/ST）
增加 register file 到 64K
每个 Kepler 的 SM 包含四个 warp scheduler、八个 instruction dispatchers，使得每个 SM 可以同时 issue 和执行四个 warp
Kepler K20X（compute capability 3.5）每个 SM 可以同时调度64个 warp 共计 2048 个thread

3.1 动态并行

Dynamic Parallelism 是 Kepler 的新特性，允许 GPU 动态的启动新的 Grid。有了这个特性，任何 kernel 内都可以启动其它的 kernel。这样直接实现了kernel的递归以及解决了kernel之间数据的依赖问题

3.2 Hyper-Q

Hyper-Q是Kepler的另一个新特性，增加了CPU和GPU之间硬件上的联系，使CPU可以在GPU上同时运行更多的任务。增加GPU的利用率减少CPU的闲置时间。Fermi依赖一个单独的硬件上的工作队列来从CPU传递任务给GPU，这样在某个任务阻塞时，会导致之后的任务无法得到处理，Hyper-Q解决了这个问题。相应的，Kepler为GPU和CPU提供了32个工作队列