[论文阅读] 测试时间自适应TTA

最初接触 CVPR2024 TEA: Test-time Energy Adaptation
[B站]（1:35:00-1:53:00）https://www.bilibili.com/video/BV1wx4y1v7Jb/?spm_id_from=333.788&vd_source=145b0308ef7fee4449f12e1adb7b9de2
实现：

读取预训练好的模型参数
设计需要更新的模型参数，其他模块不进行梯度更新
设计辅助任务进行测试时间的模型更新

论文列表--待更新

Contrastive Test-Time Adaptation(CVPR 2022)
Improved Test-Time Adaptation for Domain Generalization(CVPR 2023)
SoTTA: Robust Test-Time Adaptation on Noisy Data Streams(NeurIPS 2023)
Feature Alignment and Uniformity for Test Time Adaptation(CVPR 2023)
A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts(arXiv 2023)
TEA: Test-time Energy Adaptation(CVPR 2024)

Contrastive Test-Time Adaptation(CVPR 2022)

缩写：CoTTA
在测试时适应过程中将自监督对比学习与自我训练相结合。
PDF Code
上图展示了不同的方法。说明方法 AdaContrast 如何利用目标域数据与以前的工作。（a）如果不进行调整，就是普通训练，仅根据目标数据评估源模型。（b）使用伪标签时，源分类器预测被用作自我训练的伪标签。（c）现有的伪标签方法SHOT使用离线全局细化来减少嘈杂的伪标签。（d）在AdaContrast中，我们考虑了目标样本之间的两种关系：我们使用对比学习来利用样本对中的信息来学习更好的目标表示，同时通过聚合邻域中的知识来完善伪标签。颜色表示伪标记的类。
这个方法是利用对比学习的Moco为基本框架。主要流程如下图所示。
对比测试时适应方法（AdaContrast）的框架：在适应开始时，模型和动量模型由源模型初始化。目标图像由一个弱增强和两个强增强转换。（a）弱增强图像被编码为特征向量 w，用于根据与目标特征空间的余弦距离查找最近邻，该空间作为内存队列进行维护。对相关概率进行平均，然后进行 argmax 以获得用于自我训练和对比学习的精细伪标签 ˆ y。（b）将图像的两个强增强版本编码为动量对比度的查询和关键特征q，k[6,17]，与自训练联合应用。不使用投影头;当前伪标签和历史伪标签用于排除同类负对。（c）从弱增强图像中获得的伪标签 ˆ y 也用于监督强增强图像的预测，从而加强自训练中的弱-强一致性。多样性正则化也基于相同的预测。请注意，用于最近邻搜索和对比学习的队列是分开的，它们分别使用 w 和 k 进行更新（此处未说明）。
基本流程是：
对输入图片进行一次弱增强，两次强增强，分别输入到不同的编码器中。弱增强经过encoder得到的伪标签对强增强的输出进行监督。
弱图像增强获得的样本进入经过源模型参数初始化的encoder中获得概率分布，这个概率分布与内存队列中的概率分布计算距离，使用K个临近的概率分布的平均值作为当前样本的输出的概率分布，进行argmax变成用于自训练和对比学习的伪标签，然后当前样本的概率分布对内存队列进行更新。
两个强增强得到的输入进入Moco，一个是Encoder得到query，一个是momentum encoder得到key。momentum得到的key对key队列进行更新，利用伪标签的值mask相同类别的key，只是对不同类别进行对比学习（就是不会让正样本和正样本进行对比）。其余操作与Moco相同。
损失函数：weak aug输出作为伪标签进行监督的的CE Loss，一个CTR对比学习Loss，一个均匀分布Loss（防止错误的伪标签对模型造成不利影响，同时提高模型输出的多样性）

Improved Test-Time Adaptation for Domain Generalization(CVPR 2023)

PDF Code
目前TTA遇到的困难是：

辅助任务设计很困难，辅助任务设计不好，与原来损失如果不匹配，使用TTA性能会下降。目前大多设计一个看起来比较合理的辅助任务。
模型需要更新的参数设计也比较复杂，更新哪个模块设计比较困难。
主要是应用一致性损失。

在每个block后面加入自适应模块。改动模块的激活层得到两个不同的特征，这两个特征的差经过fw之后要接近于0。其中胖一点的Θ是要更新的参数，瘦一点的θ是模型原来的参数这个是不在测试时间进行改变的。

SoTTA: Robust Test-Time Adaptation on Noisy Data Streams(NeurIPS 2023)

PDF Code
观察：如果测试集中有noise、对抗性样本等，TTA的性能会直线下降。
问题：现有的TTA方法都无可避免的适应了混杂在测试数据中的不好的样本，导致模型性能下降。
与先前的假设（Clean TTA）不同，真实世界的测试流可能包括模型范围之外的意外噪声样本（噪声TTA），例如眩光、覆盖镜头的落叶、看不见的物体（例如火烈鸟）以及自动驾驶场景中的噪声。在这种情况下，现有 TTA 方法的准确性会降低。现有 TTA 方法和我们的方法（SoTTA）在 CIFAR10-C 上的平均分类准确率（%）。与原始数据相比，当嘈杂的数据混合到测试流中（嘈杂）时，现有方法的性能会下降
SoTTA概述。SoTTA 通过高置信度统一类采样（HUS）实现输入鲁棒性，通过熵锐度最小化（ESM）实现参数鲁棒性。
创新点：

高置信度均匀采样，选取良性样本进行memory更新。
熵锐度最小化，实现模型参数鲁棒性。
观察：噪声样本和良性样本的区别可以通过模型输出观察到。
memory更新：对数据进行筛选更新，保持memory中样本类别相对平衡有代表性，噪声低。
Loss函数：熵的一阶泰勒，使模型扰动前后保持不变。

Feature Alignment and Uniformity for Test Time Adaptation(CVPR 2023)

PDF Code
缩写：TSD
测试时间自蒸馏
首先将 TTA 作为功能修订问题来解决，因为源域和目标域之间存在域间隙。之后，按照两个测量对齐和均匀性来讨论测试时间特征修订。对于测试时间特征的均匀性，提出了一种测试时间自蒸馏策略，以保证当前批次和之前所有批次表示之间的均匀性一致性。对于测试时特征对齐，提出了一种记忆空间局部聚类策略，以对齐即将到来的批次的邻域样本之间的表示。为了解决常见的噪声标签问题，提出了熵和一致性滤波器来选择和删除可能的噪声标签。
我们提出的方法概述。蓝线表示向前和向后，黑线仅表示向前（即没有梯度反向传播）。不同颜色的特征、日志和原型意味着不同的类别。MSLC：记忆空间局部聚类。TSD：测试时间自蒸馏。
分类模型与原型模型输出的一致性。
我的理解，MSLC是对原型分类模型中的feature和Logits进行更新（更新原型向量，如果分类预测与原型预测一致，则让临近的原型向量与当前得到的特征更加接近，否则就远离，动量更新），TSD是计算分类模型和原型模型输出的一致性损失（为了防止原型模型输出的噪声先经过过滤器再计算CE Loss）。

A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts(arXiv 2023)

PDF github综述(没看完)
在这里插入图片描述
TTT：有Training data，可以改变模型训练的策略，重新训练一个新的模型。
TTA：只有预训练好的模型和测试数据。
这篇综述也说了一些相关的领域，比如自监督、半监督、领域泛化、领域适应、测试增强、迁移学习、持续学习等，对概念理解有帮助。