文章:
CR-GCN: Channel-Relationships-Based Graph Convolutional Network for EEG Emotion Recognition
单位:
上海大学计算机学院、上海工业计算机、喀什大学计算机学院。提出CR-GCN,使用GCN的邻接矩阵提取情感数据中的特征用于分类。 2022.7.26 BrainSci IF:3.88\JCR:Q2
脑电情绪主要研究方向:离散法、维数法
情绪识别主要特征:
EEG信号中较高频带与情绪的产生和后续变化密切相关,可从这些频带中提取特征,本文从theta、alpha、beta、gamma频带中提取PSD特征,把脑电通道拓扑结构与功能连接相结合,在维数上进行分类
技术路线:
1、实验开始的前3s作为基线数据,来消除脑电噪声
2、6s的时间窗切段
3、每个切片中提取功率谱密度PSD(频域)并归一化,建立特征矩阵
4、使用脑电通道的拓扑结构和脑功能连接构建邻域矩阵
5、最后使用各个切片的特征立方和邻域矩阵作为GCN的输入
补充:
拓扑结构:
raw。plot_psd_topo()
原始EEG通道的拓扑结构
CR-GCN使用通道的邻域矩阵来表示通道关系,通过邻域矩阵构建图特征,来表示通道拓扑结构
功能连接
功能连接是大脑电极与电极之间(脑区与脑区之间)信号的统计学关系,是功能层面的联系而不是结构层面(神经元)的连接.
是功能层面的联系意思是:
即使大脑两个电极或者两个脑区之间的功能层面的联系很强,也并不能说明这两个脑区之间存在神经元,把这两个脑区连在一起
功能连接类别:
2、电极与电极功能连接:头皮层面
3、脑区与脑区功能连接:源定位技术得到每个脑区的激活,再分析脑区之间的连接
功能连接性质:
方向性:
无向功能连接:可同时评估脑区/电极之间连接的强弱和连接的方向(谁影响谁,存在一个从一个电极到另一个电极的信息流)
有向功能连接:脑区、电极二选一评估
无向连接
有向连接
模型搭建:
CR-GCN一共5个结构:
1、Data calibration:
取前3秒基线脑电数据的均值,然后叠加20次,形成60秒数据
从观看60s视频的脑电数据中减去相应的基线数据
这样,脑电图信号就有很高的概率去除与情绪无关的噪音信号
2、Data division: window = 6s frame = 3s 按照公式 ((60-T)/S+1)切段
3、Feature extraction:提取每个切段的高频带PSD特征,为更好地识别、并进行特征归一化
4、 Adjacency matrix construction:
EEG信号通道拓扑矩阵:是基于距离的方法,倾向于研究脑电信号通道之间的局部关系。
EEG信号通道连接矩阵:基于功能连接方法,倾向于研究脑电信号通道之间的全局关系。
因此,为了更准确地描述脑电通道之间的关系,把上述局部+全局相结合更好的捕获脑电通道之间的关系
5、Emotion Recognition:
PSD归一化后的特征矩阵作为GCN节点,邻域矩阵作为节点关系、GCN分类、softmax输出预测结果
Result:
论文对比实验结论:
CC为相关系数的绝对值,0.5为随机选取值,0.98是通过反复实验选择的值。
在相同条件下,节点特征的归一化比不归一化的方法至少高13%。
结论:
1、邻接矩阵的设计捕捉了脑电信号通道之间的局部和全局关系,更准确地描述了脑电信号通道之间的关系。邻接矩阵的设计既考虑了生物拓扑结构,又考虑了脑电信号通道之间的功能连通性。因此,CR-GCN比ERDL更准确地描述了脑电通道之间的关系。
2、CR-GCN的图表示提供了更好的捕获通道间关系和提取图域特征的方法,有利于实现情感识别。