论文学习——THE USTC SYSTEM FOR ADRESS-M CHALLENGE

这篇文章是介绍根据自发语音实现多语种AD检测，我们的方法主要有两部分构成：
- 使用不同的音频特征和静音相关的信息，进行AD检测和MMSE预测
- 调整wav2vec2.0语言识别模型，将之应用在不同的频段上

目前根本没有任何研究是探索有哪些语音特征，能够转换并且应用在Ad检测上的。ICASSP2023年的信号处理挑战SPGC就是今年就是专门探索这个的，提出了一个基于自发语音的多语言AD检测比赛。
这个比赛主要分为两类，分别是分类任务和MMSE回归任务，都是在英语上进行训练，然后使用希腊语进行训练的。

《Disfluencies and Fine-Tuning Pre-Trained Language Models for Detection of Alzheimer’s Disease》这篇文章已经验证过了，对于单模态AD检测而言，语言不流利和预训练的语言模型是十分有效的。
基于此，为了应对这个挑战，我们尝试了两种方法：
- 使用预先定义好的音频特征
- 使用预训练的大语言模型

第一种方式是使用设计好的音频特征，进行AD检测。静音相关的音频特征和语言是独立的，并且适合别的特征进了融合，在这里，我们是用XGBoost进行Ad分类，使用SVR和XGBoost进行MMSE回归任务。
XGBoost
SVR

第二种方法是微调预训练的语言模型，用来进行AD检测。我们在原始的英语和希腊语数据集上预训练了wav2vec2.0模型，然后使用低通滤波处理语音信号，保留语言通用韵律信息，这些信息是低频的，然后过滤那些高频的信息，比如说特定于语言的音素信息。

为了获取跨语言的音频表示，基于**《Multilingual Alzheimer’s Dementia Recognition through Spontaneous Speech: a Signal Processing Grand Challenge》**，我们设计了10种静音特征，具体构成如下
- 每秒钟的静音次数
- 静音时间和语音持续时间的比率
- 静音和语音持续时间的统计特征（最大值、最小值、平均值和标准偏差）
使用两个声音活动检测工具来定位静音段落的位置，具体使用的工具如下
- pyannote的递归神经网络
- 查询概率结束分类器：Improved end-of-query detection for streaming speech recognition

其他声音特征

其他语言特征

使用Huggingface中的"facebook/wav2vec2-base-960h" model (WB)和"facebook/hubert-base-ls960" model (HB)来提取预训练的语音embedding
然后还有其他的人口统计特征

看了这个不禁开始感叹，这是什么条件，我靠！他用了8张A100GPU来训练600,000次。
为了能够尽快提高跨语言音频表示的学习，我们预训练了一个基于希腊语和英语的双语wav2vec-base模型，主要是引用了Facebook的开源的wav2vec模型。使用100个小时的双语数据进行预训练，英语和希腊语各50个小时
现有的（“facebook/wav2vec2-large-xlsr-53”）和我们的双语 wav2vec2-base 模型在 200 个不同频段的英语训练样本上使用序列分类头进一步微调（平均汇集输出上具有 Sigmoid 激活函数的线性层）。这些微调模型的 8 个希腊样本的 AD 检测结果如表 1 所示。我们可以看到，对于大多数频率 epoch 配置，我们的预训练模型的性能与在多语言语音数据但没有希腊语上训练的现有模型相同或更好。两个预训练模型都展示了利用低通滤波语音进行跨语言 AD 分类的优势。最后，采用 0-1kHz 和 epoch30 的配置在 237 个英语和 8 个希腊样本上微调我们的双语预训练模型以生成一组提交的结果。
这里没有使用facebook公开的XSLR进行训练，而是自己进行微调的wav2vec模型进行训练

在这里插入图片描述

通过微调我们预训练的双语模型wav2vec2.0，在0-1000Hz波段的音频数据，我们在分类人中的准确率到达了73.9%，最终的结果表明，使用平衡过后的多语言数据集，并且使用低通率的过滤的语音能够显著调高Ad检测准确性。
回归任务使用了eGeMAPS和静音特征，效果比基本的模型要好，说明这两个指标的效果很好。