眼底照 + OCT图 + 精神状态，预测阿尔兹海默症

眼底照片和OCT图像，预测阿尔兹海默症

数据
多模态网络
模型集成
可视化分析

论文：https://www.ophthalmologyretina.org/action/showPdf?pii=S2468-6530%2824%2900045-9

目前，认知障碍的诊断依赖于血清和蛋白质生物标志物的检测、脑脊液检查和正电子发射断层扫描等成本高昂且有时具有侵入性的测试。

因此，这些测试并不适合在基层医疗环境或社区中进行认知障碍的检测。

这篇研究的目的是开发和验证一个能够快速、简便地准确识别认知障碍患者的人工智能系统。

过程：开发深度学习模型、模型验证和性能改进。

深度学习模型：

之所以使用此子解法：因为多模态视网膜图像可以提供关于视网膜和脉络膜的综合信息，这对于识别认知障碍具有潜在价值。

例如，使用眼底图像可以观察视网膜血管的变化（视网膜发病中后期变化），而OCT图像可以提供视网膜层次结构的详细视图（视网膜发病前期变化）。

性能改进：

之所以使用此子解法：增加样本多样性可以帮助模型更好地泛化到不同的人群，而模型集成可以提高预测性能，减少过拟合的风险。

例如，集成多个不同架构的网络（如ResNet-50, InceptionV3, DenseNet-121和VGG），可以利用它们各自的优势，提高整体模型的鲁棒性和准确性。

入选标准是年龄≥50岁。共有4403名符合条件的个体，其中3468人（78.8%，包括1963名女性，占56.6%）参加了眼科检查。

需要每位参与者的眼底照片（双眼的视盘中心和黄斑中心）清晰可见，OCT图像（双眼的中心凹水平截面）层次分明且可以分析，以及迷你精神状态检查（MMSE）的数据。

在这里插入图片描述

开发数据集：

外部验证数据集：

主要统计数据和结果：

为了提高模型的鲁棒性和适用性，训练集故意包括了患有眼病的患者的视网膜图像，因为AMD和青光眼等与年龄相关的眼病在50岁以上的个体中很常见。

对所有参与者使用4张眼底照片（双眼的视盘中心和黄斑中心图像）和2张OCT图像（双眼的中心凹水平截面）进行模型开发和验证。

同时收集了包括性别、年龄、教育水平、体力活动、收缩压、体质指数（BMI）、总胆固醇以及高血压、糖尿病和与年龄相关的眼病状况等风险因素数据。

在这里插入图片描述

训练用于分类眼底和OCT图像的CNN模型。采用3种独立的特征编码器（例如VGG-19）提取特征，并通过共享全连接层进行分类。

为了提高系统的整体性能和鲁棒性，训练了4个使用不同计算视觉学习主干网络的多模态网络，如VGG-19、ResNet-50、InceptionV3和DenseNet-121。

模型集成技术，结合了四种不同的深度学习模型（ResNet-50, InceptionV3, DenseNet-121, 和 VGG），通过简单的平均方法融合，以增强模型的鲁棒性和准确性。
通过集成多个模型，研究提高了算法对输入数据的综合理解能力，减少了过拟合的风险，使得模型在未见数据上的表现更加平滑和泛化。

模型集成能够综合不同模型的优势，降低因模型特定偏差带来的风险，从而在多样化的数据上获得更稳定和可靠的性能。

例如，在眼底图像分析中，不同模型可能对不同类型的图像特征（如血管结构、黄斑区的细节等）有不同的敏感性，通过模型集成，可以综合这些特征的识别能力，提高诊断的准确性和鲁棒性。

模型性能：

模型1（单独使用以黄斑为中心的眼底照片）
模型2（单独使用以视盘为中心的眼底照片）在三个数据集（内部验证、外部验证1、外部验证2）中的AUC值分别为0.738/0.758/0.725 和 0.754/0.732/0.702。
模型3（结合使用以黄斑和视盘为中心的眼底照片）在各数据集中的AUC值有轻微提高，分别为0.766、0.760、0.750。
模型4（使用OCT图像中穿过中心凹的水平截面）的性能略有下降，AUC值为0.726、0.707、0.702。
模型5（多模态模型，结合使用眼底照片和OCT图像）达到了最高的性能，AUC值为0.820、0.786、0.784。
模型6（使用CAIDE风险评分）的AUC值为0.836、0.795、0.749。

模型5的性能显著优于模型1至4。