参考

如何计算神经网络模型的复杂度
深度学习卷积、全连接层、深度可分离层参数量和FLOPs计算公式

概念

1. Params：模型的参数量。（空间复杂度）
2. FLOPs：FLoating point Operations，前向推理的计算量。（时间复杂度）
3. MAC：Memory Access Cost。基本上看每个计算输出结果$C_{out}\times H_{out}\times W_{out}$ 相加的总和。
4. MACC(MADD)：multiply-accumulate operations：先乘起来再加起来的运算次数。 也就是 乘加 看做一次运算。
   所以 1个 MACC = 2个 FLOPs。
5. 内存量

$H_{in}$: 输入的 height
$W_{in}$: 输入的 width
$H_{out}$: 输出的 height
$W_{out}$: 输入的 width
$K$: 卷积核size
$C_{in}$: 输入的channel 数
$C_{out}$: 输出的 channel数

参数量计算

全连接层

卷积层

普通卷积: 输入尺寸 $C_i\ast H_i\ast W_i$, 卷积核的大小为 $K\ast K$, 输出的尺寸大小为$C_o\ast H_o\ast W_o$.

• 不考虑 bias
  $$K^2\times C_i\times C_o$$
• 考虑bias
  $$(K^2\times C_i+1)\times C_o$$

池化层

对于池化层而言，常用的Max-pooling，Avg-pooling等是不存在参数量的。

batch norm

每个 batch 减均值，除方差。
再根据参数 $\alpha$, $\beta$ 做缩放
在训练时计算的均值方差是直接计算，在预测时是用 running mean，running var.

所以参数量是？2HW*C， 错了， 是
$$2\times C_i$$

激活函数

无参数

FLOPs

卷积层

• 不考虑 bias
  $$(2\times (K^2\times C_i)-1)\times (C_o\times H_o\times W_o)$$

先计算输出的feature中一个元素需要的计算量。$(K^2\times C_i)$ 表示乘法次数，$(K^2\times C_i)-1$ 表示加法次数。

• 考虑bias
  带bias 的计算(一部分是乘法，一部分是加法）
  $$2\times (K^2\times C_i)\times (C_o\times H_o\times W_o)$$

全连接层

输入维度 $C_i$, 输出$C_o$. 全连接层就理解为一个矩阵，矩阵行数，矩阵列数，如考虑bias，则先计算输出向量中一个元素需要多少计算量，首先要做 $C_i$ 次乘法，然后做 $C_i-1$ 次加法。若考虑 bias，则做的加法会多一次。

• 不考虑 bias ：$(2N_{in}-1)N_{out}$
  $N_{in}{N}_{out}$ 为乘法的运算量，
  $(N_{in}-1)N_{out}$为加法的运算量
• 考虑 bias ：$(2N_{in})N_{out}$

工具

torchinfo
mmdetection 工具代码

More

https://github.com/sovrasov/flops-counter.pytorch
https://github.com/open-mmlab/mmcv/blob/2.x/mmcv/cnn/utils/flops_counter.py