论文阅读(三十二):EGNet: Edge Guidance Network for Salient Object Detection

文章目录

  • 1.Introduction
  • 2.Related Works
  • 3.Salient Edge Guidance Network
    • 3.1Complementary information modeling
      • 3.1.1Progressive salient object features extraction
      • 3.1.2Non-local salient edge features extraction
    • 3.2One-to-one guidance module
  • 4.Experiments
    • 4.1Implementation Details
    • 4.2Datasets and Evaluation Metric
    • 4.3Ablation Experiments and Analyses


  论文:EGNet: Edge Guidance Network for Salient Object Detection
  论文链接:EGNet: Edge Guidance Network for Salient Object Detection
  代码链接:Github

1.Introduction

  常见用于显著性目标检测任务的深度学习方法大多存在边缘轮廓不清晰、显著性不能精确提取的问题,因此本文利用VGG网络的特性,即第二个池化层输出的特征图具有良好的边缘信息特征,而最后一层具有丰富的显著性特征,故将边缘信息特征与显著性特征进行像素级的融合,得到具有清晰轮廓的显著性目标。
  总的来说,本文研究了显著边缘特征和显著目标特征之间的关系,并利用显著边缘特征来帮助显著目标特征更准确地定位显著对象,尤其是边界信息。贡献如下:

  • 1.提出EGNet模型来建模显著目标信息和显著边缘信息,以保留显著目标的边界。
  • 2.EGNet模型允许这两个互补的任务相互帮助来互相优化,从而改善了预测的显著性图。

2.Related Works

  以往的工作往往专注于优化显著目标的细节信息,而没有充分利用显著边缘检测和显著目标检测之间的互补性。本研究计了两个模块来独立提取这两种特征,并将二者进行融合,使得显著的边缘信息不仅可以提高边缘的质量,而且可以使定位更加准确。

3.Salient Edge Guidance Network

在这里插入图片描述

3.1Complementary information modeling

  EGNet使用VGG作为主干网络(截断了最后三个全连接层),得到了六个编码器 C o n v 1 − 2 、 C o n v 2 − 2 、 C o n v 3 − 3 、 C o n v 4 − 3 、 C o n v 5 − 3 、 C o n v 6 − 3 Conv1-2、Conv2-2、Conv3-3、Conv4-3、Conv5-3、Conv6-3 Conv12Conv22Conv33Conv43Conv53Conv63的输出结果。其中 C o n v 1 − 2 Conv1-2 Conv12感受野较小被舍弃,将其余编码器输出记为:
在这里插入图片描述
其中, C o n v 2 − 2 Conv2-2 Conv22的输出 C ( 2 ) C^{(2)} C(2)(低级特征)保留较多细节信息,因此从中提取边缘特征,从其他输出中提取显著目标信息。

3.1.1Progressive salient object features extraction

在这里插入图片描述
  为获取丰富的上下文特征,在PSFEM(渐进式显著对象特征提取模块,Progressive Salient Object Features Extraction Module)模块中使用卷积层将编码器输入的特征图转换为单通道预测掩码,且每张特征图都通过深度监督帮助模型训练。
在这里插入图片描述
  将六个编码器模块对应的侧路径记为 S ( i ) , i ∈ { 1 , 2 , 3 , 4 , 5 , 6 } S^{(i)},i∈\{1,2,3,4,5,6\} S(i),i{1,2,3,4,5,6},每条侧路径上都有 C o n v Conv Conv模块(对应上图中黄色的 C o n v Conv Conv模块),该模块中包含三个卷积层( T 1 、 T 2 、 T 3 T1、T2、T3 T1T2T3),每个卷积层后都有 R e L U ReLU ReLU函数。这些 C o n v Conv Conv模块中的卷积层参数如上表所示,依次为卷积核大小、填充大小、卷积核个数。 D D D则是将多通道特征图转换为单通道显著性图的过渡卷积层。

3.1.2Non-local salient edge features extraction

在这里插入图片描述

  NLSEM(非局部显著边缘特征提取模块)模块用于对显著边缘信息进行建模并提取显著边缘特征。由于编码器 C o n v 2 − 2 Conv2-2 Conv22中保存较多的边缘细节信息,因此选择从该编码器的输出中提取局部边缘信息。为此,需要先从深层特征图中获取显著对象的语义信息、位置信息,便于在浅层特征图中定位显著目标区域。若直接将深层特征图不断下采样至低层,则其包含的语义信息会被逐渐稀释。为此,本文设计了一个位置传播方式,用于将深层特征图包含的位置信息传播到侧路径 S ( 2 ) S^{(2)} S(2)中,使得浅层特征图更关注于显著区域边缘信息的提取。
  融合后的特征图 C ‾ ( 2 ) \overline{C}^{(2)} C(2)表示为:
在这里插入图片描述

  • F ^ ( 6 ) \hat{F}^{(6)} F^(6):经过 C o n v Conv Conv操作后的深层特征图。
  • C ( 2 ) C^{(2)} C(2) C o n v 2 − 2 Conv2-2 Conv22编码器的输出。
  • T r a n s ( ∗ , θ ) Trans(*,θ) Trans(,θ):参数为 θ θ θ的卷积层,用于改变特征通道数。
  • ϕ ϕ ϕ:ReLU激活函数。
  • U p ( ) Up() Up():上采样操作,通过双线性插值实现。

之后与其他侧路径相同,将 C ‾ ( 2 ) \overline{C}^{(2)} C(2)输入到包含三个卷积运算的 C o n v Conv Conv模块中增强特征,这些卷积的参数可参考上表。模型中添加了额外的显著边缘监督来监督显著边缘特征,使用了交叉熵损失函数:
在这里插入图片描述

3.2One-to-one guidance module

在这里插入图片描述
  NLSEM模块获取了显著边缘特征(记为 F E F_E FE)、PSFEM模块获取了显著目标特征(对应路径 S ( i ) , i ∈ { 3 , 4 , 5 , 6 } S^{(i)},i∈\{3,4,5,6\} S(i),i{3,4,5,6},显著特征记为 F ^ ( i ) \hat{F}^{(i)} F^(i))。若直接通过采样操作从上到下逐渐融合显著边缘特征和多分辨率显著目标特征,则显著目标特征会在采样过程中被稀释。为此提出一对一指导模块,利用显著边缘特征来指导显著目标特征在分割和定位方面表现更好。
  具体做法为,在路径 S ( i ) , i ∈ { 3 , 4 , 5 , 6 } S^{(i)},i∈\{3,4,5,6\} S(i),i{3,4,5,6}中增加了子路径,将显著边缘特征融合到增强后的显著目标特征中,得到显著边缘引导特征,记为 G ( i ) G^{(i)} G(i)
在这里插入图片描述
之后与PSFEM模块一样,在每个子边路径中使用 C o n v Conv Conv增强显著边缘引导特征,并通过过渡卷积层将其转换为单通道的显著性图。
  每个显著性图加入模型训练的深度监督:
在这里插入图片描述
最后将各尺度的显著性图融合,得到最终的显著性图。最终显著性图的损失函数为:
在这里插入图片描述
  由此可得总的损失函数:
在这里插入图片描述

4.Experiments

4.1Implementation Details

  模型包含以VGG、ResNet为骨干的两个版本,新增卷积层的权重均以截断正态随机初始化( σ = 0.01 σ=0.01 σ=0.01),偏置初始化为0。学习率为 5 e − 5 5e^{-5} 5e5、权重衰减为0.0005、动量为0.9、每条支路生成的显著性图对应权重为1、轮次为124,且每15轮后将学习率除以10。在推理过程中,可以得到一张预测的显著边缘图和一组显著性目标图,使用融合后的显著性目标图作为最终的显著性图。

4.2Datasets and Evaluation Metric

  在六个数据集上评估了模型,使用了F-measure、MAE、S-measure作为评估指标。
在这里插入图片描述

4.3Ablation Experiments and Analyses

略。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/907752.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

MySQL超大分页怎么优化处理?limit 1000000,10 和 limit 10区别?覆盖索引、面试题

1. limit 100000,10 和 limit 10区别 LIMIT 100000, 10: 这个语句的意思是,从查询结果中跳过前100000条记录,然后返回接下来的10条记录。这通常用于分页查询中,当你需要跳过大量的记录以获取后续的记录时。例如,如果你…

源码侦探:理解 numpy 中的 tile 方法

文章目录 pre :先来一张源码的切片1. 参数和基本定义:2. 将 reps 转换为元组:3. 提升数组维度:4. 特殊情况检查:5. 处理数组维度的不同情况:6. 计算输出数组的形状:7. 通过重复构造数组&#xf…

单链表OJ题(3):合并两个有序链表、链表分割、链表的回文结构

目录 一、合并两个有序链表 二、链表分割 三、链表的回文结构 u解题的总体思路: 合并两个有序链表:首先创建新链表的头节点(哨兵位:本质上是占位子),为了减少一些判断情况,简化操作。然后我们…

Qt6 CMake 中引入 Qt Linguist 翻译功能

qt cmake 使用自带翻译工具配置步骤 创建Qt CMake 程序配置项目 CMake 及 代码使用流程最终CMake 如下最终工程链接为:参考 创建Qt CMake 程序 配置项目 CMake 及 代码 在CMake 中添加如下代码, 导入相关的翻译库 find_package(QT NAMES Qt6 Qt5 REQUIRED COMPON…

Android IPC机制(一)多进程模式

1. 什么是进程? 进程是操作系统分配资源(如 CPU、内存等)的基本单位。简单来说,进程是一个正在执行的程序的实例。每个进程都有自己的内存空间、数据栈和其他辅助数据,用于跟踪进程的执行状态。在 Android 中&#xff…

SQL,力扣题目1767,寻找没有被执行的任务对【递归】

一、力扣链接 LeetCode_1767 二、题目描述 表:Tasks ------------------------- | Column Name | Type | ------------------------- | task_id | int | | subtasks_count | int | ------------------------- task_id 具有唯一值的列。 ta…

《JVM第3课》运行时数据区

无痛快速学习入门JVM,欢迎订阅本免费专栏 运行时数据区结构图如下: 可分为 5 个区域,分别是方法区、堆区、虚拟机栈、本地方法栈、程序计数器。这里大概介绍一下各个模块的作用,会在后面的文章展开讲。 类加载子系统会把类信息…

[ 问题解决篇 ] 解决远程桌面安全登录框的问题

🍬 博主介绍 👨‍🎓 博主介绍:大家好,我是 _PowerShell ,很高兴认识大家~ ✨主攻领域:【渗透领域】【数据通信】 【通讯安全】 【web安全】【面试分析】 🎉点赞➕评论➕收藏 养成习…

Vue+element-ui实现网页右侧快捷导航栏 Vue实现全局右侧快捷菜单功能组件

Vue+element-ui实现网页右侧快捷导航栏 Vue实现全局右侧快捷菜单功能组件 可视区域没超过当前屏幕高度时候只显示三个菜单效果 可视区域超过当前屏幕高度时,显示可回到顶部菜单的,当然这个菜单显示条件可以自定义,根据需求设置 然后将这个整体功能创建为一个全局组件 代…

苏州金龙新V系客车创新引领旅游出行未来

10月25日,为期三天的“2024第六届旅游出行大会”在风景秀丽的云南省丽江市落下帷幕。本次大会由中国旅游车船协会主办,全面展示了中国旅游出行行业最新发展动态和发展成就,为旅游行业带来全新发展动力。 在大会期间,备受瞩目的展车…

看门狗电路原理与应用

看门狗的原理与应用 看门狗基本原理 看门狗,英文简称为“Watchdog Timer ”或者“Watchdog”; 本质上就是一个定时器的作用,简单理解就是 MCU发出一个周期性的信号,这个信号是满足看门狗芯片内部计时器的时间限制,则…

Caché/IRIS file2Xml 一个将文件转换成Studio导出的xml格式的工具

file2Xml 一个将文件转换成Studio导出的xml格式的工具 通过此工具可以将本地文件转换成xml格式文件,然后通过Studio导入到服务器中,而不再需要其他工具将文件传至服务器。 下面以为ensemble2016自带的一个示例界面增加背景图为例。 http://localhos…

java项目之教师工作量管理系统源码(springboot)

风定落花生,歌声逐流水,大家好我是风歌,混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的教师工作量管理系统。项目源码以及部署相关请联系风歌,文末附上联系信息 。 项目简介: 教师工作量管理系统的…

外贸平台开发多语言处理的三种方式

随着全球贸易的不断增长,外贸平台的多语言处理已成为提升用户体验和市场竞争力的重要因素。在开发外贸平台时,有多种方法可以实现多语言支持。本文将探讨三种主要的多语言处理方式:数据库级多语言支持、前端国际化框架以及内容管理系统&#…

《Python网络安全项目实战》项目2 Python基础练习_总复习(1)

《Python网络安全项目实战》项目2 Python基础练习 总复习(1) 班级: 姓名: 实训成绩: 任务单成绩 : 输入用户名密码并将其输出打印。 userName _____________________ passWord ______________________ #输…

Linux——Ubuntu环境C编程

配置vim编辑器 设置一个tab键为4个空格 打开/etc/vim/vimrc文件,此文件为只读,所以要用sudo访问boot权限: set ts4(设置一个tab键为4空格) set nu(vim编辑器下显示行号) gcc编译器 gcc命令…

Java毕业设计-基于微信小程序的校园二手物品交易系统的实现(V2.0)

博主介绍:✌stormjun、8年大厂程序员经历。全网粉丝15w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇&…

WPF+MVVM案例实战(十九)- 自定义字体图标按钮的封装与实现(EF类)

文章目录 1、案例效果1、按钮分类2、E类按钮功能实现与封装1.文件创建与代码实现2、样式引用与封装 3、F类按钮功能实现与封装1、文件创建与代码实现2、样式引用与封装 3、按钮案例演示1、页面实现与文件创建2、运行效果如下 4、源代码获取 1、案例效果 1、按钮分类 在WPF开发…

各地级市能源消耗量数据-基于灯光数据的反演(2000-2022年)

今天带来的数据是的全国各省市能源消耗量数据,省级的能源消耗量数据可以在统计年鉴之中查到,但市级的数据却暂无统计。但今天我们基于一篇论文提供的思路,通过夜间灯光与省级能源消耗量对更小尺度的地区能源消耗量进行反算。原文提供1995-200…

告别登录,这款插件直接复制CSDN内容,真棒!

前言 我们在开发过程中,肯定会遇到这样或者那样的问题,这时候,我们想到最多的就是用搜索引擎去搜索各种资料,查看各种博客。以前,查看博客是很方便的,不过后来,像CSDN的,就是必须要…