写在前面

  这是一篇基于 Box 的弱监督实例分割文章，之前也分享过几篇（主页有，欢迎关注一下呗~），采用旧纸堆里面翻出来的能量函数来做弱监督。

• 论文地址：Box-supervised Instance Segmentation with Level Set Evolution
• 代码地址：https://github.com/LiWentomng/boxlevelset
• 收录于：ECCV 2022
• 补一下博客篇数，2023年每周一篇，还剩下6篇未补。欢迎关注，长年稳定更新~

一、Abstract

  本文提出一种 single-shot 的基于 box 监督的实例分割方法，致力于整合传统的能量函数模型以及深度神经网络。具体来说，以一种端到端的方式，通过一个连续的 Chan-Vese 能量函数来迭代地学习一系列层级（mask?）：采用 SLOLv2 来自适应地预测实例感知的 mask 作为每一个实例层级。所有的输入图像及提取的特征都用来进化层级曲线，其中一个 box 投影函数用来获得初始的边界。通过最小化可微分的能量函数，每个实例的层级在其对应的 box 标注框内被迭代地优化，实验结果很牛皮。

二、引言

  第一段实例分割的目的，应用，之前方法对于标注的依赖。
  第二段介绍现有的基于 Box 的方法，基于伪标签的以及颜色相似度的，即 BBTP 和 Boxinst。本文指出这两种方法过于简化了一个假设：像素或者颜色对被强制共享相同的颜色，于是来自相似形状目标和背景的噪声上下文无可避免地会影响训练，使得性能不太好。
  本文提出一种 single-shot 的基于 box 监督的实例分割方法来解决这些问题，致力于整合传统的能量集合模型以及深度神经网络。以一种端到端的方式在标注的 Bounding box 内，从隐藏的曲线卷积中来迭代地学习一系列层级（mask?）。
  具体来说，引入一种传统 Chan-Vese 能量函数，并采用 SOLOv2来预测实例感知的mask 图来作为每个实例的层级。除输入的特征图外，还采用了一种长范围依赖的深度结构特征来稳定地进化层级曲线，得以向目标边界逼近。通过最小化可微分的能量函数，每个实例的层级在其对应的 box 标注框内被迭代地优化，实验结果很牛皮。

贡献如下：

• 第一个提出一种基于层级进化的方法用在基于 box 的弱监督实例分割上；
• 将深度结构特征并入低层级的图像，在 bounding box 区域内实现稳定的层级进化，其中一个 box 的投影函数用于层级初始化。
• 在 COCO、PASCAL VOC、遥感数据集 iSAID 和医疗数据集 LiTS上效果很好。

三、相关工作

3.1 基于 Box 的实例分割

  讲一下最近的方法，指出 BBTP 和 Boxinst，这两种方法过于简化了一个假设：像素或者颜色对被强制共享相同的颜色，因此来自相似形状目标和背景的噪声上下文无可避免地会影响训练，使得性能不太好。除了这两个外，最近的 BBAM 和 DIscoBox 关注于代理 mask 标签的生成，需要多个阶段的训练或者多个网络结构。而本文提出的基于层级方法以一种端到端的隐含方式通过优化 box 区域内的能量函数来迭代地对齐实例边界。

3.2 基于层级的分割

  主要划分为两类：基于区域和边缘的方法。核心理念是在一个高维度通过一个能量函数来展现隐藏的曲线，而这能够用梯度下降来优化。接下来是一些举例，指出他们的不足：全监督方式训练网络去预测不同的子区域并得到目标的边界，而本文提出的是 box 级别的监督。

四、提出的方法

  一些符号：输入的图像 $I_{img}$，高层深度特征 $I_{feat}$，初始层级 ${\varphi }_0$

4.1 图像分割中的层级模型

  对层级方法的回顾：将图像分割视为一种连续的能量最小化问题。
  Mumford-Shah 层级模型：给定一图像 $I$，找到一组参数化的轮廓 $C$，将图像层级 $\Omega \in {\mathbb{R}}^2$ 划分为 $N$ 个不联通的区域 ${\Omega }_1,\cdots ,{\Omega }_N$。Mumford-Shah 能量函数 ${\mathcal{F}}^{MS}$ 定义如下：
$${\mathcal{F}}^{MS}(u_1,\cdots ,u_N,{\Omega }_1,\cdots ,{\Omega }_N)=\sum _{i=1}^N(\underset{{\Omega }_i}{\int }(I-u_i{)}^{2}dxdy+\mu \underset{{\Omega }_i}{\int }|\nabla u_i{|}^{2}dxdy+\gamma |C_i|),$$其中 $u_i$ 为接近于输入 $I$ 的光滑分段函数，目的是确保每个区域 ${\Omega }_i$ 内的光滑。$\mu$，$\gamma$ 为加权系数。
  之后 Chan 和 Vese 简化了这一能量函数：
$$\begin{array}{rl}{\mathcal{F}}^{\text{CV}}(\varphi ,x,c_2)& =\underset{Q}{\int }{\left|I(x,y)-c_1\right|}^{2}H(\varphi (x,y))dxdy\\ & +\underset{Q}{\int }{\left|I(x,y)-c_2\right|}^2(1-H(\varphi (x,y)))dxdy+\gamma \underset{Q}{\int }\left|\nabla H(\varphi (x,y))\right|dxdy\end{array}$$其中 $H$ 为 Heaviside 海塞函数，$\varphi (x,y)$ 为层级函数，如果为 0 则表示轮廓 $C=\{(x,y):\varphi (x,y)=0\}$ 将图像空间 $\Omega$ 划为两个不连通区域，内部轮廓为 $C:{\Omega }_1=\{(x,y):\varphi (x,y)>0\}$，外部轮廓为 $C:{\Omega }_2=\{(x,y):\varphi (x,y)<0\}$。上式右边一二项倾向于拟合数据，第三项用一个非负系数 $\gamma$ 归一化 $0$ 层级轮廓。$c_1$，$c_2$ 分别为 $C$ 内部和 $C$ 外部的输入 $I(x,y)$ 的均值。
  于是通过 $c_1$ 和 $c_2$ 找到一个层级函数 $\varphi (x,y)=0$ 来优化能量函数 ${\mathcal{F}}^{\text{CV}}$，从而得到图像的分割结果。

4.2 基于 Box 的实例分割

在 Bounding Box 内的层级进化

  给定输入图像 $I(x,y)$，旨在标注的 bounding box $\mathcal{B}$ 区域内隐式地进化出一组层级来预测目标边界曲线。由 SOLOv2 预测出的尺寸为 $H\times W$ 的 mask $M\in {\mathbb{R}}^{H\times W\times S^2}$ 包含 $S\times S$ 个可能的实例图。每一个可能的实例图仅包含一个实例，他们的中心位于 $(i,j)$。位置 $(i,j)$ 处预测出 mask 类别概率 $p_{i,j}^{\ast }>0$ 时被视为正样本。然后将 box $\mathcal{B}$ 内的每个正样本图作为层级 $\varphi (x,y)$，其输入图像 $I(x,y)$ 相应的像素空间被视为 $\Omega$，即 $\Omega \in \mathcal{B}$。当 $C=\{(x,y):\varphi (x,y)=0\}$ 时，对应的 $C$ 为分割出的边界，此时 box 区域被划分为不相连的前景和背景区域。

  通过优化下面的能量函数来学习一系列的层级 $\varphi (x,y)$：
$$\begin{array}{rl}\mathcal{F}\left(\varphi ,I,c_1,c_2,\mathcal{B}\right)& ={\int }_{\Omega \in \mathcal{B}}{\left|I^{\ast }(x,y)-c_1\right|}^2\sigma (\varphi (x,y))dxdy\\ & +{\int }_{\Omega \in \mathcal{B}}{\left|I^{\ast }(x,y)-c_2\right|}^2(1-\sigma (\varphi (x,y)))dxdy+\gamma {\int }_{\Omega \in \mathcal{B}}|\nabla \sigma (\varphi (x,y))|dxdy\end{array}$$其中 $I^{\ast }(x,y)$ 表示归一化后的图像 $I(x,y)$，$\gamma$ 为非负系数，$\sigma$ 为 $sigmoid$ 函数，其被视为层级 $\varphi (x,y)$ 的特征函数。相比于传统的 Heaviside 海塞函数，$sigmoid$ 更为光滑，能够更好地表示预测实例的特征以及提高层级进化在训练过程中的收敛。上式右边一二项旨在强制预测的 $\varphi (x,y)$ 统一内部区域 $\Omega$ 和外部区域 $\bar{\Omega }$。$c_1$，$c_2$ 为 $\Omega$ 和 $\bar{\Omega }$ 的均值，定义如下：
$$c_1(\varphi )=\frac{\underset{\Omega \in \mathbb{B}}{\int }{I}^{\ast }(x,y)\sigma (\varphi (x,y))dxdy}{\underset{\Omega \in \mathbb{B}}{\int }\sigma (\varphi (x,y))dxdy},c_2(\varphi )=\frac{\underset{\Omega \in \mathcal{B}}{\int }{I}^{\ast }(x,y)(1-\sigma (\varphi (x,y)))dxdy}{\underset{\Omega \in \mathcal{B}}{\int }(1-\sigma (\varphi (x,y)))dxdy}$$能量函数 $\mathcal{F}$ 可以在训练过程中利用梯度反向传播来优化。当时间步 $t\ge 0$ 时，能量函数 $\mathcal{F}$ 对 $\varphi$ 的微分可表示为：
$$\frac{\partial \varphi }{\partial t}=-\frac{\partial F}{\partial \varphi }=-\nabla \sigma (\varphi )[(I^{\ast }(x,y)-c_1{)}^2-(I^{\ast }(x,y)-c_2{)}^2+\gamma div\left(\frac{\nabla \varphi }{|\nabla \varphi |}\right)]$$其中 $\nabla$ 和 $div$ 分别为空间求导以及散度算子。于是 $\varphi$ 的更新为：
$${\varphi }_i={\varphi }_{i-1}+\Delta t\frac{\partial {\varphi }_{i-1}}{\partial t}$$上式可以视为沿着能量函数下降方向的一个隐式的曲线进化，而最优的实例边界 $C$ 可以借助迭代拟合 ${\varphi }_{i-1}$，从而最小化能量函数 $\mathcal{F}$ 获得：
inf ⁡ Ω ∈ B { F ( ϕ ) } ≈ 0 ≈ F ( ϕ i ) \operatorname*{inf}_{\Omega\in\mathcal{B}}\{\mathcal{F}(\phi)\}\approx0\approx\mathcal{F}(\phi_i) Ω∈Binf​{F(ϕ)}≈0≈F(ϕi​)

输入的数据格式

  除输入低水平的图像特征 $I_u$ 外，还采用嵌入了图像语言信息的高层深度特征 $I_f$ 来获得更加鲁棒的结果。将 SOLOv2 中所有 FPN 层的 mask 特征 $F_{\text{m}ask}$ 送入到一个卷积层来提取高层特征 $I_f$。此外，还通过树滤波器来增强 $I_f$，这利用了最小跨越树（minimal spanning tree?）来建模长距离依赖并保存目标结构。为层级进化构建的整体能量函数为：
$$\mathcal{F}(\varphi )={\lambda }_1\ast \mathcal{F}(\varphi ,I_u,c_{u_1},c_{u_2},\mathcal{B})+{\lambda }_2\ast \mathcal{F}(\varphi ,I_f,c_{f_1},c_{f_2},\mathcal{B}),$$其中 ${\lambda }_1$ 和 ${\lambda }_2$ 分别为平衡两种特征的权重，$c_{u_1}$、$c_{u_2}$、$c_{f_1}$、$c_{f_2}$ 分别为输入 $I_u$ 和 $I_f$ 的均值。

层级初始化

  利用 box 投影函数来促进模型自动地生成一个粗糙估计的初始层级 ${\varphi }_0$。
  通过赋值 GT box 上的每个位置来得到二值化的区域 m b ∈ { 0 , 1 } H × W m^b\in\{0,1\}^{H\times W} mb∈{0,1}H×W。每一个实例预测的 mask 得分 m p ∈ { 0 , 1 } H × W m^p\in\{0,1\}^{H\times W} mp∈{0,1}H×W 被视为前景概率。box 投影函数 $\mathcal{F}({\varphi }_0{)}_{box}$ 定义如下：
$$\mathcal{F}({\varphi }_0{)}_{box}={\mathcal{P}}_{dice}(m_x^p,m_x^b)+{\mathcal{P}}_{dice}(m_y^p,m_y^b)$$其中 $m_x^p$、$m_x^b$、$m_y^p$、$m_y^b$ 分别为 $x$ 和 $y$ 坐标轴上mask 预测值 $m^p$ 和二值化 GT 区域 $m^b$ 的投影，${\mathcal{P}}_{dice}$ 表示这一投影操作具有 1-D dice 系数加权。

4.3 训练和推理

损失函数

  损失函数 $L$ 包含两部分，分类损失 $L_{cate}$ 和 box 监督下的实例分割损失 $L_{inst}$：$L=L_{cate}+L_{inst}$，其中 $L_{cate}$ 为 Focal 损失，$L_{inst}$ 为可微分的层级能量函数：
L i n s t = 1 N p o s ∑ k 1 { p i , j ∗ > 0 } { F ( ϕ ) + α F ( ϕ 0 ) b o x } L_{inst}=\dfrac{1}{N_{pos}}\sum_k\mathbb{1}_{\{p_{i,j}^{*}>0\}}\{\mathcal{F}(\phi)+\alpha\mathcal{F}(\phi_0)_{box}\} Linst​=Npos​1​k∑​1{pi,j∗​>0}​{F(ϕ)+αF(ϕ0​)box​}其中 $N_{pos}$ 表示正样本的索引，$p_{i,j}^{\ast }$ 为目标位置 $(i,j)$ 上的类别概率。$1$ 为索引函数，这能确保仅有正的实例 mask 样本才能执行层级进化，如果 $p_{i,j}^{\ast }>0$，$1$ 为 1，反之为 0。$\alpha$ 为权重系数，实验设置为 0.3.

推理

  推理过程和 SOLOv2 一致：输入图像，利用 NMS 产生有效的 mask。仅有一点不同：采用了额外的一个卷积层来生成高层特征。

五、实验

5.1 数据集

  Pascal VOC、COCO、iSAID、LiTS。

5.2 实施细节

  AdamW 优化器，8 块 V100（还是够壕~），12 或 36 个 epochs。ResNet + ImageNet 预训练权重作为 Backbone。COCO 数据集：学习率 $10^{-4}$，batch 16。Pascal VOC 数据集：初始学习率 $5\times 10^{-5}$，batch 8，在这两个数据集上，尺度随机缩放 640-800。iSAID 和 LiTS 有着相同的设置，COCO AP 作为评估指标，非负权重 $\gamma$ 设为 $10^{-4}$。

5.3 主要结果

5.4 消融实验

  消融实验在 Pascal VOC 数据集上进行：

层级能量

高层特征的通道数量

  表 7。

训练计划

  表 8。

深度结构特征的有效性

  表 9。

六、结论

  本文提出了一种 single-shot 的基于 box 的弱监督实例分割方法，能够以端到端的方式迭代地学习一系列层级函数：一种实例感知 mask 图用于预测和作为层级，输入的图像和提取的深度特征用于进化层级曲线，其中一个投影损失函数用于获得初始的边界。通过最小化可微分的能量函数，每个实例的层级能够在相应的 bounding box 标注内迭代地优化，大量的实验表明方法很牛。

写在后面

  本文结合若干年前的能量函数方法与现有的深度学习方法进行弱监督实例分割，属实是一锄头挖进往日的纸质期刊堆了，不排除有越来越多的方法~