文章目录
- TriFormer: A Multi-modal Transformer Framework For Mild Cognitive Impairment Conversion Prediction
- 摘要
- 本文方法
- 实验结果
- SwIPE: Efficient and Robust Medical Image Segmentation with Implicit Patch Embeddings
- 摘要
- 本文方法
- 实验结果
TriFormer: A Multi-modal Transformer Framework For Mild Cognitive Impairment Conversion Prediction
摘要
轻度认知障碍(MCI)转化为阿尔茨海默病(AD)的预测对于早期治疗以预防或减缓AD的进展非常重要。为了准确预测MCI向稳定MCI或渐进式MCI的转换，我们提出了TriFormer，这是一种基于Transformer的新型框架，具有三个专用Transformer来整合多模态数据。
- 图像Transformer从医学扫描中提取多视图图像特征
- 临床Transformer嵌入和关联多模态临床数据
- 模态融合Transformer，基于融合图像和临床Transformer的输出产生准确的预测
本文方法
左边的图像Transformer使用ViT从MRI中提取多视图图像特征。右边的临床Transformer研究不同临床数据之间的相关性。
图像切片标记与临床分类标记相连接，并作为模态融合转换器的输入，模态融合转换器结合提取的多模态特征来执行更准确的MCI转换预测。
实验结果
SwIPE: Efficient and Robust Medical Image Segmentation with Implicit Patch Embeddings
摘要
现代医学图像分割方法主要使用patch掩模形式的离散表示来学习特征并生成预测。虽然有效，但这种模式在空间上缺乏灵活性，难以适用于高分辨率图像，并且缺乏对物体形状的直接理解。为了解决这些限制，最近的一些研究利用隐式神经表征(INRs)来学习分割的连续表征。然而，这些方法往往直接采用为三维形状重建而设计的部件。更重要的是，这些公式也被限制在基于点或全局的上下文中，分别缺乏上下文理解或局部细粒度的细节，这两者都是准确分割的关键。
为了解决这个问题，我们提出了一种新颖的方法，SwIPE(隐式斑块嵌入分割)，它利用inr的优势，在patch水平(而不是在点水平或图像水平)预测形状，从而实现准确的局部边界划定和全局形状一致性。
本文方法
在高层次上，SwIPE首先将输入图像编码为patch和图像形状embedding，然后使用这些embedding以及坐标信息P通过patch DP和图像解码器预测类占用分数
实验结果
