目录
- 【图像超分】
- 【物理信息神经网络】
- 【扩散模型】
【图像超分】
[2024 红外图像超分] Infrared Image Super-Resolution via Lightweight Information
Split Network
论文链接：https://arxiv.org/pdf/2405.10561v2
代码链接：无
单图像超分辨率（SR）是一个成熟的像素级视觉任务，旨在从其退化的低分辨率对应图像重建高分辨率图像。尽管利用深度神经网络进行SR取得了显著进展，但大多数现有的深度学习架构包含大量层，导致计算复杂度高和内存需求大。这些问题在红外图像SR的背景下尤为突出，因为红外设备通常具有严格的存储和计算限制。为了缓解这些挑战，文中引入了一种新颖、高效且精确的单红外图像SR模型，称为轻量级信息分割网络（LISN）。LISN由四个主要组件组成：浅层特征提取、深层特征提取、密集特征融合和高分辨率红外图像重建。该模型的一个关键创新是引入了用于深层特征提取的轻量级信息分割块（LISB）。LISB采用顺序过程提取层次特征，然后根据所考虑特征的相关性进行聚合。通过整合通道分割和移位操作，LISB成功地在增强SR性能和轻量级框架之间实现了最佳平衡。全面的实验评估表明，与当代最先进的方法相比，所提出的LISN在SR质量和模型复杂性方面均表现出优越的性能，证实了其在资源受限的红外成像应用中的实际部署有效性。
实验结果
【物理信息神经网络】
[2024] RoPINN: Region Optimized Physics-Informed Neural Networks
机构：清华大学
论文链接：https://arxiv.org/pdf/2405.14369
代码链接：https://github.com/thuml/RoPINN
物理信息神经网络（PINNs）通过强制深度模型的输出和梯度满足目标方程，已被广泛应用于解决偏微分方程（PDEs）。由于数值计算的限制，PINNs通常在有限选择点上进行优化。然而，由于PDEs通常定义在连续域上，仅在离散点上优化模型可能不足以在整个域中获取准确的解。为了缓解默认散点优化的这种固有缺陷，本文提出并从理论上研究了一种新的训练范式，即区域优化。具体来说，文中提出将PINNs的优化过程从孤立点扩展到它们的连续邻域，这在理论上可以减少泛化误差，尤其是对于PDEs的隐藏高阶约束。一种实用的训练算法——区域优化PINN（RoPINN），无缝地从这种新范式中推导出来，通过一种简单但有效的蒙特卡罗采样方法实现。通过将采样过程调整到可信区域，RoPINN精细平衡了优化和泛化误差。实验表明，RoPINN在广泛的PDEs上一致提升了各种PINNs的性能，无需额外的反向传播或梯度计算。
伪代码
实验结果
【扩散模型】
[NeurIPS 2024] Motion Consistency Model: Accelerating Video Diffusion with Disentangled Motion-Appearance Distillation
机构：微软
论文链接：https://arxiv.org/pdf/2406.06890
代码链接：https://yhzhai.github.io/mcm/
图像扩散蒸馏在很少的采样步骤下实现了高保真生成。然而，将这些技术直接应用于视频扩散时，由于公共视频数据集中的视觉质量有限，通常会导致帧质量不理想。这影响了教师和学生视频扩散模型的表现。该研究旨在通过使用丰富的高质量图像数据来提高视频扩散蒸馏效果的同时改善帧外观。文中提出了运动一致性模型（MCM），一种单阶段视频扩散蒸馏方法，它分离了运动和外观学习。具体来说，MCM包括一个从视频教师模型中提取运动的视频一致性模型，以及一个增强帧外观以匹配高质量图像数据的图像鉴别器。这种组合带来了两个挑战：（1）帧学习目标冲突，因为视频蒸馏从低质量视频帧中学习，而图像鉴别器则针对高质量图像；（2）训练-推理差异，由于训练和推理过程中使用的视频样本质量不同。为了应对这些挑战，作者引入了分离的运动蒸馏和混合轨迹蒸馏。前者仅对运动表示应用蒸馏目标，而后者通过混合来自低质量和高质量视频域的蒸馏轨迹来缓解训练-推理差异。大量实验表明，MCM达到了最先进的视频扩散蒸馏性能。此外，我们的方法可以增强视频扩散模型中的帧质量，产生具有高美学评分或特定风格的帧，而无需相应的视频数据。
实验结果
