【CAM】CAM(Class Activation Mapping)——可视化CNN的特征定位

文章目录

一、CAM(Class Activation Mapping)
二、CAM技术实现
- 2.1 网络修改
- 2.2 微调
- 2.2 特征提取
三、总结
Reference

完整代码见Github ：https://github.com/capsule2077/CAM-Visualization ，如果有用可以点个Star，谢谢！

一、CAM(Class Activation Mapping)

CAM是类别激活映射图，提出于论文：Learning Deep Features for Discriminative Localization ，这是一篇发表于2015年的CVPR论文。论文主要强调了卷积神经网络具有的特征定位能力，但是堆叠的全连接层会破环这种能力。为了证明这种能力，作者通过CAM技术把这种能力可视化出来，下面的图很直观，这是ResNet18对最左上角的原图进行预测的Top5的结果，图的上方注明了具体的类别和对应的概率值，预测结果的图以类似热力图的样式进行标注，颜色越深的地方就是模型越关注的特征，针对不同的分类情况模型的关注点都不同。

针对概率值最大的是dome(圆顶)，可以看到颜色最深的地方汇聚于建筑物的圆顶部分。而针对palace(宫殿)，模型的关注点更加宽泛，深颜色区域遍布整个建筑物。由此可见，CNN确实可以捕捉到圆顶的特征和位置信息。

在这里插入图片描述

二、CAM技术实现

CAM技术其实就是全局平均池化层和一个全连接层来实现；全局平均池化提出于论文：Network In Network，与最大池化相比，全局平均池化层可以保留更多的图像信息，因为它计算每个池化区域的平均值，有助于捕捉整体图像的分布信息。

全局平均池化层一般应用于网络的末端。假设有一个三通道的特征图，将红色特征图所有值算平均得到一个神经元输出，蓝绿特征图类似。有多少个通道就能输出一个相同维度的向量，而这个向量经过softmax就能得到分类的概率值。所以如果要用于ImageNet进行分类，在经过全局平均池化层前的特征图是有1000个通道的，对应1000个类别。
在这里插入图片描述
由于GAP（Global Average Pooling 全局平均池化层）考虑一整个通道的这种特性，那么我在GAP的后面加上一个全连接层，相当于对每个通道（因为GAP得到的向量是由每个通道全局平均得来的）进行加权，其他和普通网络一样。

在这里插入图片描述
举个例子，如果神经网络将图片分类成”狗“，那么把”狗“对应的全连接层权重与GAP前的特征图进行加权计算，权重值代表了某个特征对图像分类为”狗“的重要性。例如Resnet18最后一层特征图有512个通道。这512个通道可以认为提取到不同的特征，该特征具有高度抽象性，且每个通道对最后的结果贡献不同，因此单独可视化每个通道获取热图也让人很难理解。所以CAM技术根据每个通道不同的贡献大小去融合获取一张CAM，类似于热力图可以很清晰的看出网络聚焦的特征。

2.1 网络修改

由于CAM技术要求网络的最后由GAP + FC组成，但是AlexNet、VGG这些网络都不符合，所以需要自行修改网络结构。如何修改网络结构参考：【Pytorch】加载预训练模型及修改网络结构

这里以修改VGG16为例：

def get_vgg(depth = 16):
	# 调用torchvision中的VGG16
    vgg = getattr(torchvision.models, "".join(['vgg', str(depth)]))()
    # 修改维全局平均池化层，即一个通道的特征图最后只输出一个值
    vgg.avgpool.output_size = (1, 1)
    # 修改全连接层
    vgg.classifier = nn.Linear(512, 100)
    
    return vgg

ResNet网络是符合GAP + FC的结构的，所以如果用ResNet进行试验的话可以直接调用预训练模型。

2.2 微调

由于修改了网络结构，所以需要对参数进行微调。微调可以只微调全连接层，其余层加载官方的预训练权重。训练时只需要将全连接层的参数传入SGD优化器即可model.classifier.parameters()，我使用预训练的权重在MINI-ImageNet数据集上做100分类的微调，MINI-ImageNet参考之前的记录：【代码实验】CNN实验——利用Imagenet子集训练分类网络（AlexNet/ResNet）

微调后的权重文件：VGG16_100.pth,提取码：3v0i

	...
 # 训练时只需要将全连接层的参数传入SGD优化器即可
  optimizer = optim.SGD(model.classifier.parameters(), lr=args.learning_rate,
                            momentum=0.9, weight_decay=0.0005) 
    ...