1、Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization

中文标题：处理全阶段缺失模态：迈向具有鲁棒重建和个性化的通用模型

简介：这篇论文提出了一种具有模态重建和模型个性化的鲁棒通用多模态模型,能够有效地处理训练和测试阶段的缺失模态问题。

目前的多模态学习方法大多依赖于在训练过程中所有数据都有完整的模态,这限制了在实际应用中经常遇到的大量模态不完整样本的使用。为此,作者提出了以下创新点:

1. 利用多模态掩蔽自编码器同时重建缺失模态和掩蔽补丁,充分利用模态完整和模态不完整数据。

2. 采用创新的分布逼近机制,使重建的模态有助于设计的数据-模型共同蒸馏方案,引导在存在缺失模态的情况下的模型学习。

3. 提出基于CLIP的超网络,能够个性化部分模型参数,使模型适应每个不同的缺失模态场景。

通过在两个脑肿瘤分割基准上的广泛验证,实验结果表明,该方法在不同缺失比例的所有阶段缺失模态设置下,均优于以前的最先进方法。

总的来说,这项工作为解决多模态学习中缺失模态的问题提供了一种鲁棒有效的解决方案,具有重要的学术和应用价值。

2、Can Dense Connectivity Benefit Outlier Detection? An Odyssey with NAS

中文标题：密集连接有利于异常值检测吗？ NAS 的奥德赛

简介：这篇论文提出了一种新的基于神经架构搜索(NAS)的异常检测器密集连接搜索(DCSOD)方法,用于解决现有Out-of-Distribution(OOD)检测方法中存在的问题。

目前,现有的OOD检测研究主要集中在通过置信度得分和基于深度生成模型的方法进行检测,却未考虑DNN结构中密集连接的影响。此外,现有的异常检测方法在泛化性能方面存在高方差,也缺乏对不同异常检测器进行稳定性和可靠性的评估。

为此,作者提出了DCSOD方法,自动探索CNN架构的密集连接,用于解决近OOD检测任务。具体包括:

1. 引入了一个包含多种卷积运算符和密集连接的分层搜索空间,允许灵活地探索具有不同连接模式的CNN架构。

2. 提出了基于多视图特征学习的进化蒸馏方法,以改进搜索期间对OOD检测的评估质量,提高搜索的稳定性和可靠性。

通过在CIFAR基准测试上的全面检验,DCSOD方法在广泛使用的体系结构和先前的NAS基线上实现了显著的OOD检测性能提升,AUROC提高了约1.0%,达到了最先进水平。

总的来说,该工作为利用神经架构搜索来解决OOD检测问题提供了一种创新性的解决方案,为推动CNN在现实世界应用中实现安全可靠部署做出了重要贡献。

3、Plug-and-Play Diffusion Distillation

中文标题：即插即用扩散蒸馏

简介：这篇论文提出了一种新的蒸馏方法,用于引导扩散模型,可以大幅提高其推理计算效率,同时保持生成图像的视觉质量。

扩散模型在图像生成方面表现优异,但由于其迭代性质和对无分类器指导的依赖,推理计算开销较大。为了解决这个问题,作者提出了以下创新点:

1. 在保持原始文本到图像模型不变的情况下,训练了一个外部轻量级引导模型。

2. 展示了这种引导方法将无分类器指导的潜空间扩散模型的推理计算减少了近一半,同时只需要基础模型1%的可训练参数。

3. 一旦训练完成,引导模型可以应用于各种微调后的基础扩散模型的特定领域版本,无需额外的训练。这种"即插即用"的功能极大地提高了推理计算效率。

4. 实验结果表明,该方法可以在仅有8到16步的情况下,产生视觉上令人满意的结果,并达到与教师模型相当的FID分数。

总的来说,这项工作通过引入轻量级引导模型的方式,有效地提高了扩散模型的推理效率,同时保持了生成图像的视觉质量,为扩散模型在实际应用中的部署提供了重要的技术支撑。