MATLAB深度学习(七)——ResNet残差网络

一、ResNet网络

ResNet是深度残差网络的简称。其核心思想就是在，每两个网络层之间加入一个残差连接，缓解深层网络中的梯度消失问题

二、残差结构

在多层神经网络模型里，设想一个包含诺干层自网络，子网络的函数用H(x)来表示，其中x是子网络的输入。残差学习是通过重新设定这个参数，让一个参数层表达一个残差函数 $F(x)=H(x)-x$

因此这个子网络的输出y 就是

$y=F(x)+x$

其中 +x 的操作，是通过一个相当于恒等映射的跳跃连接来完成的，它将残差块的输入直接与输出连接，这就是残差结构。按照上面的结构递推，根据前向传播，第i个残差块的输出就是第i+1个残差块的输入

$x_{\ell+1}=F(x_\ell)+x_\ell$

根据递归公式，可以推导出

$x_L=x_\ell+\sum_{i=l}^{L-1}F(x_i)$

这里的L表示任意后续残差块，i是靠前块，那么公式就说明了总会有信号能从浅层到深层。

从反向传播来看，根据上面的公式对 Xl 进行求导，可以得到

$\begin{aligned} \frac{\partial\mathcal{E}}{\partial x_\ell} & =\frac{\partial\mathcal{E}}{\partial x_L}\frac{\partial x_L}{\partial x_\ell} \\ & =\frac{\partial\mathcal{E}}{\partial x_L}\left(1+\frac{\partial}{\partial x_\ell}\sum_{i=l}^{L-1}F(x_i)\right) \\ & =\frac{\partial\mathcal{E}}{\partial x_L}+\frac{\partial\mathcal{E}}{\partial x_L}\frac{\partial}{\partial x_\ell}\sum_{i=l}^{L-1}F(x_i) \end{aligned}$

这里的 $\mathcal{E}$ 是最小损失化函数。以上说明，浅层的梯度计算 $\frac{\partial\mathcal{E}}{\partial x_{\ell}}$ ，总会直接加上上一个项 $\frac{\partial\mathcal{E}}{\partial x_L}$ 因为存在额外的一项，所以就想 F(xi)很小，总的梯度都不会消失。

三、基于ResNet识别实现步骤

其主要步骤为1.加载图像数据，并将数据分为训练集合与验证集；2.加载MATLAB训练好的ResNet50；3.和Alexnet一样替换最后几层；4.按照网络配置调整图像数据；5.对网络进行训练

3.1 调整ResNet实现迁移学习

针对ImageNet的数据任务，原本最后三层 FC SOFTMAX 输出层是针对1000个类别的物体进行识别，针对图像问题，继续调整这三层，首先冻结上面的层。将下面的三层进行替换。由于ResNet50需要输入的图像大小为224 * 224 *3.

unzip('MerchData.zip');
img_ds = imageDatastore('MerchData', ...
    'IncludeSubfolders',true, ...
    'LabelSource','foldernames');

total_split = countEachLabel(img_ds); %返回一个包含每个标签和相应图像数量的表格

num_images = length(img_ds.Labels); %返回的图像的个数，5个类型都有15张照片
perm =  randperm(num_images,10);  %随机取出10个
figure
for i = 1:9
    subplot(3,3,i)
    imshow(imread(img_ds.Files{perm(i)})); %从图像数据集 (img_ds) 中读取一张图像并显示它
    %可以用alexnet的方法
end

test_idx = randperm(num_images,9); %随机取5张做样本
img_ds_Test = subset(img_ds,test_idx);
train_idx = setdiff(1:length(img_ds.Files),test_idx);
img_ds_Train = subset(img_ds,train_idx);



%% 步骤2：加载预训练好的网络

% 加载ResNet50网络（注：该网络需要提前下载，当输入下面命令时按要求下载即可）
net = resnet50;

%% 步骤3：对网络结构进行调整，替换最后几层

% 获取网络图结构
LayerGraph = layerGraph(net);
clear net;

% 确定训练数据中新冠图片标签类别数量：5类
numClasses = numel(categories(img_ds_Train.Labels));
disp(numClasses);

% 保留ResNet50倒数第三层之前的网络，并替换后3层
% 倒数第三层的全连接层，这里修改为5类
newLearnableLayer = fullyConnectedLayer(numClasses,...
    'Name','new_fc',...
    'WeightLearnRateFactor',10,...
'BiasLearnRateFactor',10);
%numClasses 分类任务。通过设置 WeightLearnRateFactor 和 BiasLearnRateFactor
%来控制学习率的调整，使得这些层在训练过程中能更快速地学习
% 分别替换最后3层：fc1000、softmax和分类输出层
LayerGraph = replaceLayer(LayerGraph,'fc1000',newLearnableLayer);
%替换了原网络中的 fc1000 层（ResNet50 中的全连接层）为 new_fc 层
% （即刚才定义的新的全连接层）。replaceLayer 函数通过层的名字来替换图层


newSoftmaxLayer = softmaxLayer('Name','new_softmax');
LayerGraph = replaceLayer(LayerGraph,'fc1000_softmax',newSoftmaxLayer);


newClassLayer = classificationLayer('Name','new_classoutput');
LayerGraph = replaceLayer(LayerGraph,'ClassificationLayer_fc1000',newClassLayer);

%% 步骤4：按照网络配置调整图像数据

% 输入图像格式转换，这里调用了自定义函数preprocess
img_ds_Train.ReadFcn = @(filename)preprocess(filename);
img_ds_Test.ReadFcn  = @(filename)preprocess(filename);

% 数据增强的参数
augmenter = imageDataAugmenter(...
    'RandRotation',[-5 5],...
    'RandXReflection',1,...
    'RandYReflection',1,...
    'RandXShear',[-0.05 0.05],...
    'RandYShear',[-0.05 0.05]);
% 将批量训练图像的大小调整为与输入层的大小相同
aug_img_ds_train = augmentedImageDatastore([224 224],img_ds_Train,'DataAugmentation',augmenter);
% 将批量测试图像的大小调整为与输入层的大小相同
aug_img_ds_test = augmentedImageDatastore([224 224],img_ds_Test);

%% 步骤5：对网络进行训练

% 对训练参数进行设置
options = trainingOptions('adam',...
    'MaxEpochs',10,...
    'MiniBatchSize',8,...
    'Shuffle','every-epoch',...
    'InitialLearnRate',1e-4,...
    'Verbose',false,...
    'Plots','training-progress',...
    'ExecutionEnvironment','cpu');

% 用训练图像对网络进行训练
netTransfer = trainNetwork(aug_img_ds_train,LayerGraph,options);

%% 步骤6：进行测试并查看结果

% 对训练好的网络采用验证数据集进行验证
[YPred,scores] = classify(netTransfer,aug_img_ds_test);

% 随机显示验证效果
idx = randperm(numel(img_ds_Test.Files),4);
figure
for i = 1:4
    subplot(2,2,i)
    I = readimage(img_ds_Test,idx(i));
    imshow(I)
    label = YPred(idx(i));
    title(string(label));
end

%% 计算分类准确率
YValidation = img_ds_Test.Labels;
accuracy = mean(YPred == YValidation);

%% 创建并显示混淆矩阵
figure
confusionchart(YValidation,YPred)

实现效果如下：