Self-feedback Transformer: A Multi-label Diagnostic Model for Real-World Pancreatic Neuroendocrine Neoplasms Data

摘要

计算机辅助诊断（CAD）是一个新兴领域，但大多数模型在处理现实世界中的医疗数据时，特别是在罕见肿瘤如胰腺神经内分泌肿瘤（pNENs）的情况下，难以应对缺失和噪声数据的问题。多标签模型可以满足现实世界研究的需求，但当前的方法并未充分考虑缺失和噪声标签的问题。

本研究引入了一种名为自反馈 Transformer（Self-feedback Transformer, SFT）的多标签模型，该模型利用 Transformer 来建模标签与图像之间的关系，并采用一种巧妙的自反馈策略来提高标签的利用率。

方法

模型的工作流程如下：
首先，通过卷积神经网络（CNN）对图像进行嵌入；然后，对所有标签进行嵌入，并结合它们的状态嵌入；
最后，将所有嵌入输入到Transformer中，输出的标签令牌被输入到全连接（FC）层以进行最终预测。
基于此网络，研究者进一步引入了一种自反馈策略，该策略允许标签信息（包括缺失标签）在迭代过程中重复利用，从而增强标签的利用率。

就是不断的迭代

实验结果