工作中经常会使用到轻量级的网络模型来进行开发，所以平时也会常常留意使用和记录，在前面的博文中有过很多相关的实践工作，感兴趣的话可以自行移步阅读即可。
《移动端轻量级模型开发谁更胜一筹，efficientnet、mobilenetv2、mobilenetv3、ghostnet、mnasnet、shufflenetv2驾驶危险行为识别模型对比开发测试》
《基于Pytorch框架的轻量级卷积神经网络垃圾分类识别系统》
《基于轻量级卷积神经网络模型实践Fruits360果蔬识别——自主构建CNN模型、轻量化改造设计lenet、alexnet、vgg16、vgg19和mobilenet共六种CNN模型实验对比分析》
《探索轻量级模型性能上限，基于GhostNet模型开发构建多商品细粒度图像识别系统》
《基于轻量级神经网络GhostNet开发构建的200种鸟类细粒度识别分析系统》
《基于MobileNet的轻量级卷积神经网络实现玉米螟虫不同阶段识别分析》
《python开发构建轻量级卷积神经网络模型实现手写甲骨文识别系统》
本文使用的是GhostNet模型，GhostNet 是一种轻量级卷积神经网络，是专门为移动设备上的应用而设计的。其主要构件是 Ghost 模块，一种新颖的即插即用模块。Ghost 模块设计的初衷是使用更少的参数来生成更多特征图 (generate more features by using fewer parameters)。
官方论文地址在这里，如下所示：
官方也开源了项目，地址在这里，如下所示：
可以详细阅读官方的代码实例即可，之后可以基于自己的数据集来开发构建模型即可。
这里给出GhostNet的核心实现部分，如下所示：
class GhostNet(nn.Module):
def __init__(self, cfgs, num_classes=1000, width_mult=1.0):
super(GhostNet, self).__init__()
self.cfgs = cfgs
output_channel = _make_divisible(16 * width_mult, 4)
layers = [
nn.Sequential(
nn.Conv2d(3, output_channel, 3, 2, 1, bias=False),
nn.BatchNorm2d(output_channel),
nn.ReLU(inplace=True),
)
]
input_channel = output_channel
block = GhostBottleneck
for k, exp_size, c, use_se, s in self.cfgs:
output_channel = _make_divisible(c * width_mult, 4)
hidden_channel = _make_divisible(exp_size * width_mult, 4)
layers.append(
block(input_channel, hidden_channel, output_channel, k, s, use_se)
)
input_channel = output_channel
self.features = nn.Sequential(*layers)
output_channel = _make_divisible(exp_size * width_mult, 4)
self.squeeze = nn.Sequential(
nn.Conv2d(input_channel, output_channel, 1, 1, 0, bias=False),
nn.BatchNorm2d(output_channel),
nn.ReLU(inplace=True),
nn.AdaptiveAvgPool2d((1, 1)),
)
input_channel = output_channel
output_channel = 1280
self.classifier = nn.Sequential(
nn.Linear(input_channel, output_channel, bias=False),
nn.BatchNorm1d(output_channel),
nn.ReLU(inplace=True),
nn.Dropout(0.2),
nn.Linear(output_channel, num_classes),
)
self._initialize_weights()
def forward(self, x, need_fea=False):
if need_fea:
features, features_fc = self.forward_features(x, need_fea)
x = self.classifier(features_fc)
return features, features_fc, x
else:
x = self.forward_features(x)
x = self.classifier(x)
return x
def forward_features(self, x, need_fea=False):
if need_fea:
input_size = x.size(2)
scale = [4, 8, 16, 32]
features = [None, None, None, None]
for idx, layer in enumerate(self.features):
x = layer(x)
if input_size // x.size(2) in scale:
features[scale.index(input_size // x.size(2))] = x
x = self.squeeze(x)
return features, x.view(x.size(0), -1)
else:
x = self.features(x)
x = self.squeeze(x)
return x.view(x.size(0), -1)
def _initialize_weights(self):
for m in self.modules():
if isinstance(m, nn.Conv2d):
nn.init.kaiming_normal_(m.weight, mode="fan_out", nonlinearity="relu")
elif isinstance(m, nn.BatchNorm2d):
m.weight.data.fill_(1)
m.bias.data.zero_()
def cam_layer(self):
return self.features[-1]简单看下数据集情况：
【白内障】
【糖尿病视网膜病变】
【青光眼】
【正常眼球】
共包含上述四种不同类型的眼球数据集。
这里主要的目的是想要对主要核心的参数进行全方位多层次的对比实验分析，整个实验阶段一共进行了72组的对比实验，主要从以下几个角度进行切入：
损失函数：
CrossEntropyLoss
FocalLoss
PolyLoss
优化器：
AdamW
RMSProp
SGD
学习率：
0.001
0.0005
是否使用预训练技术：
True
False
是否进行数据增强：
True
False不难计算出一共组合形成了72组实验，当然了如果想要进一步细化可以根据自己的实际情况进行改造即可。
关于这点就不再赘述了，实验组数越多自然消耗的时间就越多，这是一个正比例的关系，所以不是一味地增加实验组数就是绝对的好事。
等待漫长的训练过程结束后我们对其进行评估测试来整体对比分析。
首先是使用CrossEntropyLoss损失函数的详细对比情况：
下面是详细的precision、recall、f1、accuracy等的指标对比：
接下来是使用了FocalLoss函数的详细实验评测对比分析结果：
最后是使用了PolyLoss函数的详细实验评测对比分析结果：
完成单个阶段的独立对比分析后，接下来我们来看看优化器对于不同模型带来的影响。首先是使用AdamW的结果：
之后是RMSProp：
最后是SGD：
接下来我们来分析不同学习率对于模型的影响：
首先是学习率0.0005的情况下，模型的评测对比：
其次是学习率为0.001的情况下，模型的详细对比：
可以看到：学习率所带来的影响变化就是比较有规律性的。
上面依次对比分析了单个角度下的评测结果，这里我们来整体对比下72组实验不同的评测结果：
感兴趣的话也都可以自行动手尝试下！
