运动想象分类学习系列:IFNet
- 0. 引言
- 1. 主要贡献
- 2. 提出的方法
- 2.1 交互式频率卷积神经网络
- 2.1.1 光谱空间特征表示
- 2.1.2 跨频交互
- 2.1.3 分类（一个池化+分类层）
- 2.2 重复试验增强
- 3. 实验
- 3.1 基线比较
- 3.2 消融实验
- 3.2.1 数据增强消融
- 3.2.2 条带分割消融
- 3.2.3 交互算子的烧蚀
- 4. 总结
- 欢迎来稿
论文地址：https://ieeexplore.ieee.org/abstract/document/10070810
论文题目：IFNet： An Interactive Frequency Convolutional Neural Network for Enhancing Motor Imagery Decoding from EEG
论文代码：https://github.com/Jiaheng-Wang/IFNet
0. 引言
基于脑电图（EEG）的脑机接口（BCI）的运动意象（MI）解码的关键原理是联合高效地从频谱、空间和时间域中提取任务判别特征，而有限、噪声和非平稳的脑电图样本对解码算法的先进设计提出了挑战。方法：受跨频耦合概念及其与不同行为任务的相关性的启发，该文提出一种轻量级交互式频率卷积神经网络（IFNet） 来探索跨频交互以增强MI特征的表示。IFNet首先分别提取低频段和高频段的光谱空间特征。然后，使用逐个元素加法操作学习两个波段之间的相互作用，然后进行时间平均池化。结合作为正则化器的重复试验增强，IFNet为最终的MI分类提供了光谱-时空-鲁棒的特征。
总得来说，有一定的借鉴价值，包括频带分成了两个而不是如FBCSP那样区分，另外特征增强方法有点意思，基础框架还是EEGNet！ 所以EEGNet永远的神！！！
另外，对于模型这里频带的选择可能是参考FBCSP的，但是又跟节律扯上关系，我是觉得有点难以理解的，mu节律和beta节律被分割开了，所以很难解释清楚，有兴趣的同学可以按照节律的思路测试一下。。。。
1. 主要贡献
- 我们提出了一种
轻量级交互式频率卷积神经网络 （IFNet）来探索跨频相互作用，以增强 MI 任务的频谱-时空鲁棒表示。 - 我们引入了
重复试验增强作为正则化器，以缓解网络训练期间由有限和嘈杂的脑电图样本引起的过拟合。 - 我们在两个基准数据集上对最先进的MI解码算法进行了广泛的实验，证明了所提出的IFNet的有效性和优越性。此外，它在
解码速度和准确性之间实现了最佳权衡。最后但并非最不重要的一点是，我们验证了IFNet学习神经生理学上可解释的特征。
2. 提出的方法
2.1 交互式频率卷积神经网络
受跨频耦合(CFC)概念和EEGNet高效设计的启发，我们提出了IFNet来有效和高效地捕获光谱-时空-时间判别特征。IFNet由三个阶段组成：光谱空间特征表示、跨频交互和分类。IFNet的架构如下图所示。
具体参数如下：
注意：这里平均池化层的stride也设置为125。
2.1.1 光谱空间特征表示
为了实现显式频带相互作用，我们将脑电图信号分为两个特征频带。由于脑振荡通常被归类为特定频段（delta：<4 Hz、θ：4-7 Hz、alpha：8-12 Hz、beta：12-30 Hz、γ：>30 Hz），脑电信号首先分别滤波为低频（4-16 Hz）和高频（16-40 Hz）频段。这两个波段的选择涵盖了与 MI 特征最相关的 mu 和 beta 节奏。我们采用空间滤波，然后采用时间滤波来学习光谱空间判别模式。具体来说，在我们的实现中，X 被视为具有多通道的时间维度的一维图像。然后，通过以下方式产生光谱空间特征：
U
l
=
F
t
^
(
F
s
^
(
X
l
)
)
U
h
=
F
t
~
(
F
s
~
(
X
h
)
)
\begin{align*} U_{l} &= \widehat { \mathcal {F}_{t} } \left ({ \widehat { \mathcal {F}_{s} } (X_{l}) }\right ) \\ U_{h} &= \widetilde { \mathcal {F}_{t} } \left ({ \widetilde { \mathcal {F}_{s} } (X_{h}) }\right ) \tag{1}\end{align*}
UlUh=Ft
(Fs
(Xl))=Ft
(Fs
(Xh))(1)
其中，
X
l
X_{l}
Xl表示低频信号，
X
h
X_{h}
Xh表示高频信号,
F
s
^
\widehat {\mathcal {F}_{s}}
Fs
和
F
t
^
\widehat {\mathcal {F}_{t}}
Ft
分别表示一维逐点空间卷积和一维深度时间卷积。它们之后都跟着批量归一化 （BN） 层。
2.1.2 跨频交互
为了增强光谱空间特征的表示能力，我们对不同频段之间的相互作用进行了建模。具体来说，我们研究了各种交互算子。
- Summation（求和）： I ( U l , U h ) = U l + U h I(U_l,U_h)=U_l+U_h I(Ul,Uh)=Ul+Uh
- Concatenation（串联）： I ( U l , U h ) = [ U l , U h ] I(U_l,U_h)=[U_l,U_h] I(Ul,Uh)=[Ul,Uh]
- Hadamard product（Hadamard 算子）： I ( U l , U h ) = U l ⊙ U h I(U_l,U_h)=U_l⊙U_h I(Ul,Uh)=Ul⊙Uh
- Linear projection（线性投影）： I ( U l , U h ) = W l U l + W h U h I(U_l,U_h)=W_lU_l+W_hU_h I(Ul,Uh)=WlUl+WhUh
- Split attention（分散注意力）：采用 Fuse 和 Select 算子。
2.1.3 分类（一个池化+分类层）
虽然传统的 MI 解码方法通常使用方差作为时间特征，但池化广泛用于 CNN 中的信息聚合。因此，我们采用非重叠窗口大小W 以提取稳健的时间表示。由于脑电图的振荡节律可以在短时间内假设为静止信号，因此在这项工作中，W 在 250 Hz 采样率下设置为 125，表示 0.5 秒长的 EEG 特征。
注意：这里池化层的stride也设置为125。
2.2 重复试验增强
我们引入了由随机裁剪和随机擦除组成的重复试验增强作为正则化器，以稳定训练并增强神经网络在脑电图解码中的泛化。简而言之，它通过多个数据转换在小批量中生成多个样本实例。重复试验增强的图示如图 2 所示。
3. 实验
3.1 基线比较
下图展示了在BCIC-IV-2a数据集上的结果。IFNet 始终优于其他方法，并且 IFNet 与所有其他方法之间的平均分类准确度差异在统计学上是显著的。
下图展示了在OpenBMI数据集上跨会话和会话内性能。IFNet 在两种评估设置中都实现了最高的平均分类准确率。
3.2 消融实验
3.2.1 数据增强消融
BCIC-IV-2a数据集上不同数据增强策略组合的深度学习模型的平均准确率
3.2.2 条带分割消融
BCIC-IV-2a数据集上不同波段分割选项的IFNet结果
3.2.3 交互算子的烧蚀
不同交互算子在BCIC-IV-2a数据集上的IFNet结果
4. 总结
到此，使用 运动想象 (MI) 分类学习系列 (8) :IFNet 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。
如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。
欢迎来稿
欢迎投稿合作，投稿请遵循科学严谨、内容清晰明了的原则！！！！ 有意者可以后台私信！！
