点击下载原文

摘要

● DEAP：用于分析人类情感状态的多模态数据集。
● 32名参与者观看了40个一分钟长的音乐视频。
● 参与者根据唤醒、价值、喜欢、支配力、熟悉度对每个视频进行评分。
● 利用了last.fm网站检索的情感标签、视频两点检测和在线评估工具对实验的评分进行了广泛的分析。

引言

● 数据集的目的：创建一个自适应音乐视频推荐系统。
● 定量分析情绪状态，以唤醒度和情绪为横轴和纵轴。

刺激选择

● 首先选择了120个初始刺激，60个情感标签组合选择，60个手动选择。然后，为每个刺激确定了一个一分钟的精华部分。最后，通过基于网络的主观评估实验，选择了最终的40个刺激。
● 手动选择的标准
1.该标签是否准确反映了情绪内容。
2.歌曲是否有音乐视频可用。
3.歌曲是否适合在实验中使用。
● 将选取的120个视频刺激，提取具有最大情感内容的片段，时长为1分钟。最后根据志愿者的主观评分，选择了40个视频用于实验。用线性回归方法计算唤醒度和情绪（愉悦度）。

实验

环境

● 两个光照可控的实验室。
● 一台专门记录脑电图和外周生理信号的电脑。
● 另一台是专门用于刺激的电脑（播放视频）。
● 参与者距离屏幕约1米。
● 实验前询问每位参与者是否舒适，必要时进行调整。

参与者

● 32名健康参与者（50%为女性），年龄在19-37岁之间，平均年龄为26.9岁。
● 每一位参与者在实验之前，签署一份同意书，并填写一份问卷。然后得到一套阅读说明，告知他们实验方案和用于自我评估的不同量表的含义。
● 实验开始之前，先进行一次练习，以熟悉系统。

步骤

● 实验开始时进行了为期两分钟的基线记录，期间向参与者展示了一个注视的十字（轻松的观看屏幕），然后40个试验中展示了40个视频。
1.屏幕上显示了2秒钟的当前试验编号，告知参与者进度。
2.5秒钟基线记录（注视十字）。
3.1分钟的音乐视频展示。
4.对唤醒、情绪、喜好和支配力进行自我评估。
● 经过20次试验后休息，之后继续进行后半部分的测试。

参与者自我评估

● 在每次试验后，都要进行自我评估，在Valence SAM（悲伤到快乐）, arousal SAM（平静到兴奋）, dominance SAM（顺从到有力量）, and liking（不喜欢到喜欢）维度，1-9分（是连续的量表）。

● 实验结束后，参与者被要求对每首歌的熟悉程度进行评分（1-5分）。

主观评价分析

● 首先，将喜欢、效价、唤醒、支配和熟练度的评分记录提供描述性统计。然后，讨论不同等级之间的相关变异。刺激被选择在效价唤醒空间的四个象限中诱发刺激。

EEG频率与参与者评分之间的相关性

● 情绪价值与 EEG 信号显示出最强的相关性，并且在所有分析的频率波段中都发现了相关性。

单次试验分类

● 采用EEG，周边生理信号和MCA（多模态内容分析）三种不同的方式进行分类。

结果

● 使用MCA特征进行分类的效果显著优于EEG和外周特征。
● 各种模态在表现上具有适度的互补性，其中EEG在唤起度方面表现最佳，外周信号在情感价值方面表现最佳，而MCA在喜好方面表现最佳。

结论

提出了一个用于分析自发情绪的数据库。该数据库包含了32位参与者的生理信号（以及22位参与者的前额面部视频），每位参与者观看并对40个音乐视频的情绪反应进行评分，评定标准包括唤醒度、愉悦度、控制度以及对视频的喜好和熟悉程度。我们提出了一种新颖的半自动化刺激选择方法，使用情感标签进行选择，该方法通过对参与者在实验期间的评分进行分析进行了验证。我们发现了参与者评分和EEG频率之间存在显著相关性。使用从EEG、外周和MCA模态提取的特征进行唤醒度、愉悦度和喜好度的单次试验分类。结果显示，与随机分类相比，性能显著提高。最后，这些结果的决策融合产生了一定程度的性能提升，表明至少在某种程度上存在模态的互补性。
​该数据库已公开提供，并且我们希望其他研究人员能够在这个极具挑战性的数据库上尝试他们的方法和算法。