文献阅读（50）—— Transformer 用于肺癌诊断预测

Time-distance vision transformers in lung cancer diagnosis from longitudinal computed tomography

这一篇也是一篇刚出来的文章，觉得还是有必要精读的。后面几天会更新一下最近看的Transformer的文章

先验知识/知识拓展

• 核心任务：使用纵向数据对肺癌CT数据分类

文章结构

• 摘要
• introduction
• related work
• method★
• experiments and results
• conclusions

背景

提出问题：
纵向的医学数据在采集的过程中多数不是等间隔的，可能存在相隔时间很久，不同个体相同时间内的采样次数也是不同的。虽然自注意力机制是一种将时间序列和图像有效结合的学习方法，但是在解释稀疏，不规则采样空间特征之间的时间距离方面尚未被探索。针对这个问题，作者提出两个module来解决此问题：

文章方法

1. 文章核心网络结构

作者在Transformer的基础上增加了两个小模块提升性能的同时增加模型的可解释性。

• 利用连续时间的embedding向量（Time Encoding ViT）
• 使用一个是temporal emphasis model权衡自注意力机制（Time Aware ViT）
  

2. Time Encoding ViT （TeViT）

将每张图片的时间encoding为一个和图像特征等长的向量共同作为输入特征。其中rt是最后一个时间和现在时间点差值（两者的时间间隔）

3. Time Aware ViT(TaViT)

TaViT是为了学习一个temporal emphasis model（TEM）来衡量每个头部的自注意力机制的权重。其中的R就是TaViT的核心，是时间i和时间j之间的时间间隔，把他们转换为非负值（越接近现在时间点的CT影响越大）
转化过程

普通的注意力机制

改进后的

文章结果

1. 在Tumor-CIFAR 上验证

2. 在NLST上验证

将CS-CNN,TeViT,和TaViT对比

总结

1. 文章优点

• 提出了两个精妙的trick，将纵向数据中的时间作为其中的考虑因素，将时间encoding和feature token一起作为transformer的输入，就可以考虑每一张照片的时间
• 之后在attention的部分，有效的结合之前的ct信息，根据现在时间和时间的时间差值对attention机制中的queue,key 和value进行权重加持，因为时间间隔越久越不重要。
• 很巧妙，最近看到很多文章在考虑时间的时候都是加一个scale

2. 文章不足

可借鉴点/学习点？

文章写的还是很容易读懂的，这种思想值得借鉴。