运动想象 (MI) 分类学习系列 (7) :CMO-CNN

运动想象分类学习系列:CMO-CNN

0. 引言
1. 主要贡献
2. 提出的算法
3. 数据增强策略
4. 结果
- 4.1 学科内分类
- 4.2 跨学科分类
- 4.3 数据增强策略
- 4.4 网络可视化
- - 4.4.1 短连接可视化
  - 4.4.2 滤波器可视化
  - 4.4.3 中间特征的可视化
5. 总结
欢迎来稿

论文地址：https://www.sciencedirect.com/science/article/abs/pii/S1746809422009107
论文题目：A compact multi-branch 1D convolutional neural network for EEG-based motor imagery classification
论文代码：无

0. 引言

由于采集的脑电信号信噪比低，准确解码意图具有挑战性，解码原始脑电信号更具挑战性。目前，没有深度学习在解码原始脑电信号时实现高分类性能的方法。我们提出了一种新的用于解码MI EEG信号的端到端网络，即紧凑型多分支一维卷积神经网络（CMO-CNN），无需使用原始EEG信号进行滤波等预处理。使用一维卷积作为特征提取器，使用不同滤波尺度和不同分支的深度提取多样化和多层次的特征进行融合。增加了一维挤压和激励模块（SE模块）和快捷方式连接，以进一步提高网络的泛性和鲁棒性。

总的来说：文章中提出的数据增强以及数据可视化的思路有着不错的创新点，算法本身就是多分支融合加上注意力机制。。。

1. 主要贡献

我们设计了一个简单有效的模型来解决基于运动意象任务的识别问题。该模型能够充分学习原始MI EEG信号中的事件相关不同步/同步（ERD/ERS）现象，从而对运动意图进行准确分类。
模型结构简单，只需要简单的知识深度学习以重现模型。
数据增强使用数据插值和剪裁的方法。
使用各种可视化方法分析网络。
平均值分类精度在两个公共数据集上分别实现了83.92%和87.19%。

2. 提出的算法

该网络结构主要由三个部分组成：第一部分是主体结构，称为多分支一维卷积神经网络（MO-CNN）。从下图可以看出，我们使用一维卷积提取特征，每个分支的第一层卷积核大小都不同，以获得具有不同感知场的特征，分别为20、13、15，分支的深度都不一致，分别为6、5、4层，以获得多级特征。第二部分是一维SE块，输入网络数据是通道×样本，SE块的一维结构。第三部分是在特定隐藏层之间添加快捷方式连接。为了减轻网络的过拟合现象，并保持三个分支的输出数据形式一致，在Flatten层的前面和Concatenation层的后面添加了Dropout层。
在这里插入图片描述
注意：ELU是激活函数，MaxPooling1D的步幅为2，不同分支的卷积使用不同的颜色，1D SE-block的r值是8，Dropout 是0.5.

3. 数据增强策略

专门一个章节来描写数据增强是因为数据增强对于现在算法精确度的提高很重要！！！
本文的数据增强策略是：插值和数据裁剪。
在进行数据裁剪之前，利用API scipy的interp1d函数对每个脑电通道4 s（1000个样本）的MI EEG数据进行插值，数据长度增加到1050个样本，如下图所示。然后，使用长度为 1000 和 stides 10 的滑动窗口裁剪每个 EEG 通道，这可以将数据增加 5 倍。对数据进行有限插值不会影响数据质量，插值了0.05倍，裁剪可以有效增强数据质量也是当前常用增强数据质量方法！！！
在这里插入图片描述

4. 结果

4.1 学科内分类

MO-CNN：没有短连接和SE模块
CMO-CNN：所有结构都有
与其它算法比较的结果如下表所示：
在这里插入图片描述
所提出模型在每个人上的分类结果如下表所示：

4.2 跨学科分类

跨学科分类是当前研究的主流，强烈建议写论文的时候附上该结果。
在这里插入图片描述

4.3 数据增强策略

下图显示了数据增强策略对结果的影响：
在这里插入图片描述

4.4 网络可视化

4.4.1 短连接可视化

分析短连接对网络的影响：
在这里插入图片描述

4.4.2 滤波器可视化

MI任务分类算法的生理基础是ERD/ERS现象。因此，可以分析网络学习的滤波器，以查看学习的特征是否基于ERD/ERS现象。
在这里插入图片描述
综上所述，每个频段的信息在MI的分类中都有作用，其中小30Hz的信息最为重要。这可以解释为什么一些深度学习算法使用过滤后的脑电图数据，并且准确性反而大大降低。本文使用原始脑电数据，不进行滤波等处理，因此每个频段的信息都存在，并且数据的完整性不会被破坏，这也是我们提出的方法达到如此高的分类精度的原因之一。

4.4.3 中间特征的可视化

为了理解我们提出的端到端网络的每一层提取了哪些特征，我们可视化了网络中每个隐藏层的输出。
在这里插入图片描述
从图 14 中的可视化中可以看出几个有趣的特征。

不同的卷积核尺度确实可以学习不同的特征：从每个分支的第一层可以更清楚地看到这一点，例如，第一层的重复部分有明显的差异。
网络层数越多，抽象特征出现得越早：网络的前几层隐藏层主要学习数据中的局部特征，可以看出与网络输入数据在波形上有相似性，最后几层隐藏层提取全局特征（MI任务的特征），即，特征变得抽象。在图 14 中可以看出，随着层数的增加，网络的三个分支慢慢被抽象化（提取为全局特征）。可以看出，分支 CNN-1 提取的六层特征在第三层开始抽象，分支 CNN-2 提取的五层特征在第四层开始抽象，只有最后一层四层的 CNN-3 提取的特征才具有抽象特征。这意味着网络的隐藏层越多，全局特征将被提取得越早。