论文阅读《Sylph: A Hypernetwork Framework for Incremental Few-shot Object Detection》

论文地址:https://arxiv.org/abs/2203.13903
代码地址:https://github.com/facebookresearch/sylph-few-shot-detection

目录

  • 1、存在的问题
  • 2、算法简介
  • 3、算法细节
    • 3.1、基础检测器
    • 3.2、小样本超网络
      • 3.2.1、支持集特征提取
      • 3.2.2、代码预测
      • 3.2.3、代码聚合和归一化
    • 3.3、基础检测器的训练
    • 3.4、超网络的训练
    • 3.5、元测试
  • 4、实验
    • 4.1、对比实验
    • 4.2、消融实验
    • 4.3、学习能力测试
  • 5、结论

1、存在的问题

目前的小样本目标检测方法:基于两阶段微调、基于元学习。

基于微调:首先在基类上进行预训练,然后在来自基类和新类的一个小的平衡数据集上进行微调,即采用新类+基类联合训练。但由于计算和内存需求,将很难扩展到许多现实世界的应用。

基于元学习:侧重于检测新类别,而在面对已经学习到的基础类别时,往往无法保持原始检测器的性能,或者说会遗忘掉基础类别的信息

大多数小样本目标检测方法由backbone和检测头组成,backbone从输入图像中提取特征图并输入到检测头中,检测头中并行执行多元分类分支和回归分支

对于 N 路分类问题,分类器通常生成 N+1 个 logits,对应于 N 个类别和1个背景。回归器生成与每个类别相关联的边界框预测。通常,为每个类别生成一个权重,共N个权重,预测得分最高的类选择其对应的回归量作为输出。但由于所有参数都来自很少的新类训练样本,这就导致准确的回归和分类很难实现

2、算法简介

针对增量小样本学习问题,探索一种可以快速从小样本中学习新类别,又不会忘记以前见过的类别的模型Sylph,且不需要对模型参数进行任何额外的优化。
面对新类别会直接训练,不用联合训练(连带着基类和已经学习到的新类别一起训练)

在基础训练的时候训练出一个和类别无关的回归器,在适应新类别时,只需要用这个回归器进行定位操作就可以了;
因此只需要考虑小样本分类问题,只关注分类器的参数;
训练新类别时,生成一组新的分类器参数(新类类代码),再通过元测试阶段将新类类代码和基类类代码合成在一起。

3、算法细节

包含两个部分:
1、一个基础目标检测器,将回归任务与分类任务解耦,对图像中的显著目标进行类别不可知的定位。使用多个二元分类器来代替一个多元分类器。
2、一个小样本超网络,为每个二元分类器提供特定的参数。

在这里插入图片描述

3.1、基础检测器

使用FCOS(Fully Convolutional One-Stage Object Detection)作为基础检测器
FCOS:基于像素级预测一阶段全卷积目标检测网络 anchor-free
FCOS的检测头由两部分组成:
1、与类别无关的回归器 B β B_\beta Bβ(基础训练部分学习得到)
2、多个二元分类器 C γ c ∗ C_{\gamma_{c}^*} Cγc(每个类别都对应一个二元分类器)

FCOS的回归过程:
直接对feature map中每个位置对应原图的边框都进行回归。
假设当前这张输出特征图的shape为:HW(C+1+4),其中,H和W是特征图的尺寸;C是类别数;
那么,在center-ness分支中的1是center-ness数值(当前位置与要预测的物体中心点之间的归一化距离,值在[0, 1]之间);
在回归分支中的4是4维关于检测框的输出值t、b、r、l(为当前位置与GT框4个顶点间的距离)。
将特征图解码为检测框的过程如下:
确定中心点:对于特征图中的某点(x,y),可以找到这个点对应原始图像的中心点。如果这个中心点在GT框内,那么为正样本点,它的类别就标记为这个GT框的类别,如果不在任何GT内,则为负样本点。
解码检测框:有了中心点,再加上网络预测值t、b、r、l,就可以得到检测框。
在这里插入图片描述

基础检测器完成回归,接下来只需要进行小样本分类即可

3.2、小样本超网络

解决小样本分类问题,为每个二元分类器提供参数

包括三个部分:支持集特征提取、代码预测、代码聚合和归一化

3.2.1、支持集特征提取

输入:支持集图像
输出:支持样本特征

1、超网络和基础网络共享主干,使用共享的主干网络提取支持集图像的特征(提取整张图片的特征);
2、ROIAlignV2 完成裁剪和映射,为每个目标实例生成一个固定大小的支持样本特征。

在这里插入图片描述

3.2.2、代码预测

输入:支持样本特征
输出:特征的权重和偏置

网络由3 × 3卷积层组成,与组归一化和ReLU激活函数交织在一起,然后是一个用于预测权重和偏置的层。最后使用全局平均池化将预测权重降至最终维度。

在这里插入图片描述

3.2.3、代码聚合和归一化

输入:特征的权重和偏置
输出:聚合和归一化结果

将特征的权重和偏置聚合在一起: w c = 1 K ∑ i = 0 k − 1 ( w c , i ) \begin{aligned}w_c=\frac{1}{K}\sum_{i=0}^{k-1}(w_{c,i})\end{aligned} wc=K1i=0k1(wc,i); b c = 1 K ∑ i = 0 k − 1 ( b c , i ) b_c=\frac1K\sum_{i=0}^{k-1}(b_{c,i}) bc=K1i=0k1(bc,i)
为避免梯度爆炸,聚合完成之后再沿通道轴进行L2归一化: w c ∣ ∣ w c ∣ ∣ \frac{w_c}{||w_c||} ∣∣wc∣∣wc
为增加兼容性,归一化完成后对权重进行缩放: w c ∗ = g ∣ ∣ w c ∣ ∣ w c w_c^*=\frac{g}{||w_c||}w_c wc=∣∣wc∣∣gwc
对于偏置,再额外增加一个先验偏置和标量,用于解决方差小的问题: b c ∗ = g b ∗ b c + b p b_c^*=g_b*b_c+b_p bc=gbbc+bp; b p = − log ⁡ ( ( 1 − π ) / π ) , π = 0.01 b_p=-\log((1-\pi)/\pi),\pi=0.01 bp=log((1π)/π),π=0.01

在这里插入图片描述

3.3、基础检测器的训练

定义:
基类数据: C b C^b Cb
新类数据: C n C^n Cn
未经训练过的新类数据: c t n ∈ C n c^{n}_{t} \in C^n ctnCn
已经训练过的新类数据: c t ′ n ∀ t ′ < t c^{n}_{t'} \forall t^′ < t ctnt<t

输入:丰富的基类数据
输出:与类别无关的边界框回归参数: β \beta β

基类的类代码: γ b = { w c b , b c b } ∀ c b ∈ C b \begin{aligned}\gamma_b=\{w_{c_b},b_{c_b}\} \forall c_b\in C^b\end{aligned} γb={wcb,bcb}cbCb

生成基础检测器 D ϕ D_\phi Dϕ,能够在图像中为基类和潜在的新类生成边界框。

3.4、超网络的训练

定义:
基类数据: C b C^b Cb
新类数据: C n C^n Cn
从基类数据中采样一组包含N个类别的小样本集及其边界框(I,b)
包含N X K个样本的支持集
包含 N X 1个样本的查询集

输入:查询集
输出:新类的类代码: γ c b ∗ = ( w c b ∗ , b c b ∗ ) \gamma_{c_b}^*=(w_{c_b}^*,b_{c_b}^*) γcb=(wcb,bcb)

除了FCOS中分类器的前四层卷积不冻结之外,其他模块的参数都冻结
生成超网络 H ψ H_\psi Hψ,能够采用类代码对查询图像特征进行分类预测。

3.5、元测试

元测试阶段的作用:用于合成新类和基类类代码

从整个集合中对每个类选取 K 个样本,并通过超网络一次一个类进行前向传递以合成新类+基类类代码: γ c ∗ = { w c ∗ , b c ∗ } ∀ c ∈ C b ∪ C n \begin{aligned}\gamma_{c}^{*}=\{w_{c}^{*},b_{c}^{*}\}\forall c\in C^{b}\cup C^{n}\end{aligned} γc={wc,bc}cCbCn.

使用合成的类代码,基础检测器能够以与普通检测器相同的推理速度和行为进行推理。

4、实验

4.1、对比实验

1、大规模数据集 LVIS :
使用罕见类作为新类,常见类作为基类。
Sylph 在不同的预训练策略上平均超过 ONCE 8%。在大量数据增强的情况下,ONCE∗ 在训练过程中难以收敛,导致其性能比 Sylph 差很多。

Default:模型在ImageNet-1k上进行预训练;

Aug:应用大规模抖动(LSJ)和RandAugment;

All:除上述增强外,还使用了IG-50M预训练骨干权重。

在这里插入图片描述

2、COCO数据集:
当K = 1,5,10时,我们将Sylph与ONCE进行基准测试,并为Sylph增加K = 20,30。还包括10shot TFA(基于两阶段微调的方法)。

Sylph-LVIS 在 COCO 的新类分割上(3.8%)与 Sylph 在 LVIS 的罕见类上(16.5%)存在很大的精度差距,这表明大规模预训练是必不可少的,因为它能产生:
(1)更精确的边界框定位器;
(2)能更好地泛化到新分类的特征提取器。

在这里插入图片描述

4.2、消融实验

1、组成模块的消融:
在这里插入图片描述
2、训练方式的消融:
FA:在元训练期间严格冻结整个基类检测器,保留预训练的基类代码。

Joint:使用默认设置对所有可用类进行预训练和元训练。

Sylph:元训练期间除了FCOS中分类器的前四层卷积不冻结之外,其他模块的参数都冻结
Joint的表现与FA相当,落后于Sylph。

这可能由两个原因来解释:
(1)随着基类数量的增加,Joint在元训练努力提升在基类上的性能;
(2)由于在类级别上使用均匀抽样,当与罕见类混合时,频繁类得到的抽样较少,从而导致在这些拆分上的AP下降。

在这里插入图片描述

4.3、学习能力测试

测试不同微调方法在新类上的平均精度。

本文方法遵循:在基类上训练FCOS,在新类上微调。

TFA-ours:遵循本文的训练方式,在微调阶段,只使用新类数据,回归器保持冻结,且分类器没有使用任何预训练的基类参数初始化。

TFA * -st:同时微调回归器和分类器。

结论:本文提出的Sylph并不需要对新类的学习潜力做出很大的牺牲也能够完成新类的学习。
在这里插入图片描述

5、结论

本方法也有局限性:

1、仍然依赖于大规模数据集。由于标注者的错误或标签集中不包含某个类别而导致的未标注对象会在数据集中产生假阴性,这可能会导致模型无法显示此类对象。

2、融合支持集特征的更复杂的聚合方法也可能带来进一步的改进。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/402065.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【Vulkan Tutorials 01】【环境搭建】三角形例子

Development Environment&#xff08;开发环境&#xff09; 1. 安装Vulkan SDK 官网 2. 安装cmake和minGW 2.1 cmake 官网 双击可执行文件&#xff0c;然后直接安装&#xff0c;注意环境变量选择设置&#xff0c;否则需要自己操作。 2.2 minGW 官网 下载如下图所示&am…

【Pytorch深度学习开发实践学习】B站刘二大人课程笔记整理lecture08数据集导入和构建

lecture08数据集导入和构建 课程网址 Pytorch深度学习实践 部分课件内容&#xff1a; import torch from torch.utils.data import Dataset, DataLoader import numpy as npclass DiabetesDataset(Dataset):def __init__(self):xy np.loadtxt(diabetes.csv.gz, delimiter,, …

Sora:打开视频创作新纪元的魔法钥匙

随着人工智能技术的飞速发展&#xff0c;AI视频模型已成为科技领域的新热点。而在这个浪潮中&#xff0c;OpenAI推出的首个AI视频模型Sora&#xff0c;以其卓越的性能和前瞻性的技术&#xff0c;引领着AI视频领域的创新发展。让我们将一起探讨Sora的技术特点、应用场景以及对未…

vulnhub靶场之Deathnote

一.环境搭建 1.靶场描述 Level - easy Description : dont waste too much time thinking outside the box . It is a Straight forward box . This works better with VirtualBox rather than VMware 2.靶场下载 https://www.vulnhub.com/entry/deathnote-1,739/ 3.启动环…

【linux】shell命令 | Linux权限

目录 1. shell命令以及运行原理 2. Linux权限的概念 3. Linux权限管理 3.1 文件访问者的分类 3.2 文件类型和访问权限 3.3 文件权限值的表示方法 3.4 文件访问权限的相关设置方法 4. file指令 5. 目录的权限 6. 粘滞位 7. 关于权限的总结 1. shell命令以及运行原理 …

05.STLvector、list、stack、queue

STL标准模板库 standard template library STL将原来常用的容器和操作进行封装&#xff0c;增加了C的编码效率 容器 string #include vector #include list #include stack #include queue #include set #include map #include 迭代器 容器和算法之间的粘合剂&#xff0…

js 多对象去重(多属性去重)

需求中发现后端可能没有处理重复数据&#xff0c;这个时候前段可以直接解决。 在 JavaScript 中&#xff0c;可以使用 Set 数据结构来进行多对象的去重。Set 是 ES6 新引入的集合类型&#xff0c;其特点是元素不会重复且无序。 下面是一个示例代码&#xff0c;展示如何通过 S…

Nginx----高性能的WEB服务端

一、Nginx介绍 1、什么是Nginx Nginx Nginx是一个高性能的HTTP和反向代理服务器。是一款轻量级的高性能的web服务器/反向代理服务器/电子邮件&#xff08;IMAP/POP3&#xff09;代理服务器&#xff0c;单台物理服务器可支持30 000&#xff5e;50 000个并发请求。 一款高性能…

一分钟学会MobaXterm当Linux客户端使用

一、介绍 MobaXterm是一款功能强大的远程计算机管理工具&#xff0c;它集成了各种网络工具和远程连接协议&#xff0c;可以帮助用户在Windows系统上轻松管理远程计算机。MobaXterm支持SSH、Telnet、RDP、VNC等多种远程连接协议&#xff0c;同时还集成了X11服务器&#xff0c;可…

启动node服务报错Error: listen EACCES: permission denied 0.0.0.0:5000

启动node服务报错&#xff1a; 解决方案&#xff1a; 将监听端口改成3000或者其他 修改后结果&#xff1a; 参考原文&#xff1a; Error: listen EACCES: permission denied_error when starting dev server: error: listen eacc-CSDN博客

并发编程入门指南

文章目录 并发编程进程和线程的区别并发和并行的区别创建线程的方式线程之间的状态&#xff0c;状态之间的转换新建三个线程&#xff0c;如何保证按顺序执行wait方法和sleep的区别如何停止一个正在运行的线程synchronized关键字底层原理Monitor属于重量级锁&#xff0c;了解过锁…

外贸邮件群发软件有效果吗?邮件群发平台?

外贸邮件群发软件怎么选&#xff1f;国外邮箱群发平台如何选择&#xff1f; 外贸业务已成为许多企业发展的重要方向。在这个过程中&#xff0c;各种工具和技术层出不穷&#xff0c;其中外贸邮件群发软件因其能够高效、批量地发送邮件而备受关注。那么&#xff0c;外贸邮件群发…

API接口测试工具的使用指南

API接口测试是确保软件系统正常运作的关键步骤。API接口测试工具可以帮助开发人员和测试人员验证API的功能、性能和安全性。本文将介绍API接口测试工具的基本使用方法&#xff0c;以便有效地进行接口测试。 1. 选择合适的API测试工具 在开始API接口测试之前&#xff0c;首先需要…

STM32F10X(Cortex-M3)系统定时器寄存器笔记和系统定时器精准延时函数

Cortex-M3系统定时器寄存器笔记和系统定时器精准延时函数 简介系统定时器寄存器STK_CTRLSTK_LOADSTK_VALSTK_CALIB STM32F10X(Cortex-M3)精准延时函数 简介 在STM32F10X(Cortex-M3)除了通用定时器和看门狗定时器外&#xff0c;还有一个系统定时器(SysTick) 拿STM32F103C8T6来说…

vue如何动态加载显示本地图片资源

在实际开发中&#xff0c;根据某一个变量动态展示图片的情况有很多。实现方法分打包构建工具的差异而不同。 1、webpack的项目 require引入图片资源 2、vite的项目 new URL(url,base).href 疑问解答&#xff1a;为什么vite项目不可以用require&#xff1f; 原因在于&#xf…

vue项目设置的端口号运行后会自动加一问题解决

vue项目设置的端口号运行后会自动加一问题解决 主要原因是之前运行项目后没有完全的关闭服务&#xff0c;导致再次运行项目端口号被占用&#xff0c;自动加一&#xff01; 问题解决 打开任务管理器&#xff0c;在进程中找到node相关进程&#xff0c;右键结束任务

长期有效的文本二维码怎么生成?将文字做成二维码只需3步

现在经常会在扫描二维码的时候&#xff0c;发现很多的二维码种会展现文字的内容&#xff0c;比如常见的有物品信息、个人信息、信件等等。通过生成二维码的方式&#xff0c;来让其他人扫码获取内容&#xff0c;这种方式可以有效地降低成本&#xff0c;而且获取内容的方式也更加…

HDFS中常用的Shell命令 全面且详细

HDFS中常用的Shell命令目录 一、ls命令 二、mkdir 命令 三、put命令 四、get命令 五、mv命令 六、rm命令 七、cp命令 八、cat命令 前言 安装好hadoop环境之后&#xff0c;可以执行hdfs相关的shell命令对hdfs文件系统进行操作&#xff0c;比如文件的创建、删除、修改文…

企微hook框架

https://wwm.lanzoum.com/ipUTp1ot1twh 密码:hvev 免费的企微框架 支持文本消息&#xff0c;图片消息&#xff0c;视频消息&#xff0c;文件消息。 其他可自行下载测试。 有兴趣可以进群交流。720192224 BOOL WxWorkSendData(string data) { WX_GETOBJDATA ob…

Linux课程三课---Linux开发环境的使用(yum的相关)

作者前言 &#x1f382; ✨✨✨✨✨✨&#x1f367;&#x1f367;&#x1f367;&#x1f367;&#x1f367;&#x1f367;&#x1f367;&#x1f382; ​&#x1f382; 作者介绍&#xff1a; &#x1f382;&#x1f382; &#x1f382; &#x1f389;&#x1f389;&#x1f389…