运动想象迁移学习系列:TDLNet
- 0. 引言
- 1. 主要贡献
- 2. 网络介绍
- 2.1 TDM模块
- 2.2 Inception模块
- 2.3 RAMM模块
- 3. 特征可视化算法
- 4. 结果
- 4.1 消融实验
- 4.2 与基于CNN的参考和迁移学习方法的比较
- 4.3 基于遮挡信号频率的特征可视化
- 5. 总结
- 欢迎来稿
论文地址:https://ieeexplore.ieee.org/abstract/document/10275048
论文题目:TDLNet: Transfer Data Learning Network for Cross-Subject Classification Based on Multiclass Upper Limb Motor Imagery EEG
论文代码:暂未找到
0. 引言
针对单肢不同运动的基于运动意象的脑机接口(MI-BCI)指令集数量有限,难以满足实际应用需求。因此,设计单肢、多类别的运动意象(MI)范式并对其进行有效解码是MI-BCI未来发展的重要研究方向之一。此外,MI-BCI 的主要挑战之一是难以对不同个体的大脑活动进行分类(主要是跨被试分类任务存在难题
)。本文提出迁移数据学习网络(TDLNet)来实现多类上肢运动意象的跨主体意图识别。
1. 主要贡献
- 该文提出迁移数据学习网络(TDLNet)来实现
多类上肢运动意象
的跨主体意图识别
。 - 在TDLNet中,RAMM被提出用于为
不同的脑电信号通道分配权重
,以用于不同的运动图像任务。 - 提出一种
基于遮挡信号频率
的特征可视化算法
对MI-BCI框架进行定性分析。
2. 网络介绍
网络的主要结构如下所示:
TDLNet 网络主要包括三块内容:传输数据模块(TDM)
、Inception模块
和残余注意力机制模块(RAMM)
。
2.1 TDM模块
传输数据模块 (TDM)
的结构如表 I 所示,其中
C
C
C 是通道数,
T
T
T 是时间点的数量。TDM的输入是将两个受试者
的脑电信号
按类别在深度方向上拼接
而得到的,表示为:
注意:这里是选择两个不同受试相同类别的脑电数据,即被试1和被试2的脑电信号!! 这也是文章中的特色所在!!!
TDM的结构如下表所示:
2.2 Inception模块
Inception模块
采用多个并行卷积分支,内核大小
1
×
3
1×3
1×3,
1
×
5
1×5
1×5,
1
×
7
1×7
1×7 和
M
a
x
p
o
o
l
i
n
g
Maxpooling
Maxpooling 用于从输入要素图中提取多尺度时间信息
。Inception模块
的结构如图2所示:
2.3 RAMM模块
RAMM模块
为每个EEG信号通道分配权重。RAMM模块的网络结构如下所示:
3. 特征可视化算法
为了对TDLNet
进行定性分析
,该文提出一种基于遮挡信号频率的特征可视化算法,如算法1所示。
4. 结果
4.1 消融实验
首先,从TDLNet
中删除TDM,并将其表示为TDLNet-w/o-TDM
。在TDLNet-w/o-TDM的训练和分类中,对两个受试者的脑电数据进行独立处理。同样,从 TDLNet 中删除了 Inception 和 RAMM 组件,从而生成分别表示为 TDLNet-w/o-Inception
和 TDLNet-w/o-RAMM
的模型。
4.2 与基于CNN的参考和迁移学习方法的比较
TDLNet
与基于CNN
的参考方法(DeepConvNet
、ShallowConvNet
和EEGNet-4,2
、EEGNet-8,2
)和迁移学习方法(MSFBCNN
、EEGSym
、MSATNet
)进行了比较。表IV给出了跨受试者分类实验
的结果。
4.3 基于遮挡信号频率的特征可视化
为了研究TDLNet如何成功解码EEG信号中的信息,使用算法1对从TDLNet中提取的特征进行可视化,结果如图6所示。f1gure 1 中的红色圆圈表示可用于区分的不同分类器模式
。
5. 总结
到此,使用 TDLNet 已经介绍完毕了!!! 如果有什么疑问欢迎在评论区提出,对于共性问题可能会后续添加到文章介绍中。
如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦😄。
欢迎来稿
欢迎投稿合作,投稿请遵循科学严谨、内容清晰明了的原则!!!! 有意者可以后台私信!!