Masked Image Training for Generalizable Deep Image Denoising 论文阅读笔记

在这里插入图片描述

  • CVPR2023 港科大(广州)发的一篇denoising的论文,作者里面有上海AILab的董超老师(看introduction的时候看到有一段很像董超老师 Networks are slaching off 的论文的思想,说网络overfitting的时候学习了训练集的噪声模式而非图片内容,翻回去作者看,果然有董超老师),文章提出了一种提高现有denoising方法泛化性的方法,动机就是迫使网络学习图像内容而不要学习噪声模式,主要通过两种mask的方法,一个是input mask,一个是attention mask。通过提出的方法,网络用高斯噪声训练,可以泛化到各种各样的噪声类型,如speckle noise、poisson noise等等。

方法介绍

  • 文章做了一个很有意思的动机实验:在非自然图像上训练高斯去噪,然后放到自然图像加高斯噪声上去测试,如果去噪成功,说明忘了学习的是训练集上的高斯噪声的模式,从而可以泛化到具有相同噪声却有不同图像内容的自然图像上。从下图的denoised by swinir可以看出来,确实去噪成功,也证实了网络在这次实验中只是在学习高斯噪声的模式,从而无法泛化到其它的噪声上。如果希望网络训练出来之后能够泛化到各种各样的噪声上,应该让网络学习自然图像是怎么样的而非学习噪声是怎么样的。
    在这里插入图片描述
  • 从而,文章提出,对输入的图像进行mask操作,使得网络在学习去噪的同时学习重建,这样就能迫使网络学习图像内容而非噪声模式,这样训练的泛化结果(以mask的图片作为输入)即上图的右下角,可以看出网络确实是企图去恢复一张细胞图像,从而确认网络学习到了图像内容。
  • 文章使用了SwinIR这个backbone,但是做了一点小修改(正文没有提,github提了issue回答了我,baseline就是swinIR去掉global residual),input mask被加在最初的特征图上,也就是第一层1x1的卷积之后,把随机数量的特征更换成mask token,这一步有点像drop-out操作,只是不置0而是用一个mask token。mask token被初始化为0 vector并且是可学习的参数。(文章提到,其实不学习,直接用0 vector也ok)
  • 然而,直接mask input的训练方式会使得测试的时候图片亮度被提高。这是由于train和test的做法的不同,test的时候是没有mask的,其实相当于,如果train的时候用了drop out,test的时候不用drop out,卷积核一次见到的非零值就会变多,最终的结果就会变得比train的时候大。针对这个问题有一个ECCV2018 inpainting的工作提出了mask的卷积(“Image Inpainting for Irregular Holes Using Partial Convolutions”),在卷积的输出乘以一个该卷积核当前区域被mask掉的像素数量成比例的因子,从而解决了这个问题,但这里是transformer,所以文章提出对特征进行mask。其实就是把网络中间的特征,也用随机的概率mask掉一些位置,换成另一个mask token。
    在这里插入图片描述

其它

  • 文章很多细节没有披露,好在github的issue有进行详细的解答,比如我一开始比较疑惑为什么attention mask可以解决训练和测试阶段不统一导致的亮度问题,看了issue才明白,原来他们训练和测试都会使用attention mask,而input mask仅在训练使用。至于测试使用attention mask导致信息丢失问题,作者也大方承认了,并说这是feature work的内容。
    在这里插入图片描述
  • 当被问及为什么不在其它网络结构上进行实验是,作者说只是没做,不代表不可以,也说这是feature work的内容,我觉得回答得很诚恳!
    在这里插入图片描述

实验

  • 在高斯噪声上训练,在各种其它噪声上测试。

  • 实验发现使用随机的ratio比使用固定的ratio好
    在这里插入图片描述

  • 另一个有意思的点是,随着mask ratio的增加,高斯噪声的去噪效果只有极缓慢的下降而其它噪声的去噪效果却可以增加,直到75%,所以选75%左右是最佳选择,存在一个泛化和拟合的trade off

在这里插入图片描述

  • 与SOTA方法的比较在下面:
    在这里插入图片描述

  • 这里的baseline model和dropout到底是什么,文章并没有明确指示。我猜测baseline是文章正文中描述的transformer网络结构去掉两个mask机制的模型,也就是说文章用的其实并不是swinir,而是一点修改,从结果也看出baseline比swinir效果好一点,而baseline加上两个mask机制效果又比baseline效果好。github的回答证实了我这一点猜想:
    在这里插入图片描述

  • 文章做了很多泛化实验,这些实验有很好的借鉴性。比如,文章可视化了训练过程中在不同噪声上的psnr和ssim曲线,可以看出,随着训练进行,baseline对其它噪声的psnr下降了,而mask training的模型对其它噪声的psnr提高了,由此看出baseline在过拟合而mask training在有效拟合。

  • 再比如下面这个图:
    在这里插入图片描述

个人观点

  • 我觉得实验结果的展示上可以借鉴,当图像的亮度有变化却不明显时,可以借鉴直方图来展示使得读者能更直观地感受亮度的变化。

  • dropout模型根据github的回复,是放在整个网络输出层的前面,虽说是引用了另一篇文章的做法,但我觉得奇怪,从本文相同的目的来说,为什么不是放在网络的中间以及图片的输入处(不过这样好像就和本文提出的方法一模一样了)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/125665.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

NR DCI size alignment

DCI对齐在38.212 7.3.1.0 DCI size alignment 中讲述。 Step 0 CSS 下,DCI 0_0根据初始UL BWP 确定大小,DCI 1_0 根据CORESET0 或初始DL BWP(没有CORESET 0时) 确定大小 根据激活的UL/DL BWP 确定DCI 0_0和DCI 1_0 的size&…

DehazeNet: An End-to-End System for Single Image Haze Removal(端到端的去雾模型)

1、论文去雾总体思路 DehazeNet是2016年华南理工大学的研究者提出的一个端到端的深度学习模型,该模型主要通过输入的原始有雾图像拟合出该图所对应的medium transmission map(透射率t值图),并使用引导滤波对t值进行refine&#x…

TSINGSEE青犀智能分析网关工服识别算法,如何最大限度保障工人安全?

众所周知,TSINGSEE青犀智能分析网关算法繁多,大多数算法已经和大家讲解过了,今天就和大家聊一聊工服识别算法。工服识别算法一般应用于工地、化工、煤矿等场所,用来监督检测施工人员是否按照要求着工服,最大程度保障人…

【Spring】Spring IOCDI详解

文章目录 1. Spring是什么?2. 认识IOC2.1 传统程序开发1. Main.java2. Car.java3. Framework.java4. Bottom.java5. Tire.java 2.2 分析传统开发2.3 IOC程序开发1. Main.java2. Car.java3. Framework.java4. Bottom.java5. Tire.java 2.4 分析IOC开发2.5 IOC容器优点…

软件测试-根据状态迁移图设计测试用例

测试用例状态迁移图 许多需求用状态机的方式来描述,状态机的测试主要关注状态转移是否正确。对于一个有限状态机,通过测试验证其在给定的条件内是否能够产生需要的状态变化,有没有不可达的状态和非法的状态,是否可能产生非法的状…

探索人工智能领域——30个名词详解

目录 前言 正文 总结​​​​​​​ 🌈嗨!我是Filotimo__🌈。很高兴与大家相识,希望我的博客能对你有所帮助。 💡本文由Filotimo__✍️原创,首发于CSDN📚。 📣如需转载,请…

学习OpenCV(蝴蝶书/C++)相关——2.MacOS下使用LLDB调试cpp程序

文章目录 1. VScode中的调试2. 配置VSCode中C++的调试(以OpenCV为例)2.1 创建适用于C++的.launch文件2.2 常见参数说明2.3 调试OpenCV的.launch文件示例2.3.1 .launch文件demo2.3.2 Debug模式的可执行文件之前在 mac下vscode配置c++环境用过简单的launch.json的配置。 但是不足…

Netty第三部

继续Netty第二部的内容 一、ChannelHandler 1、ChannelHandler接口 ChannelHandler是Netty的主要组件,处理所有的入站和出站数据的应用程序逻辑的容器,可以应用在数据的格式转换、异常处理、数据报文统计等 继承ChannelHandler的两个子接口&#xff…

GPT-4.0网页平台-ChatYY

ChatYY的优势: 1. 支持大部分AI模型,且支持AI绘画: 2. 问答响应速度极快: 3. 代码解析: 4. 支持文档解读: 5. PC、移动端均支持: 访问直达:ChatYY.com

NAND Vpass对读干扰和IO性能有什么影响?

1.SSD基础知识 SSD的存储介质是什么,它就是NAND闪存。那你知道NAND闪存是怎么工作的吗?其实,它就是由很多个晶体管组成的。这些晶体管里面存储着电荷,代表着我们的二进制数据,要么是“0”,要么是“1”。NA…

PTA_乙级_1008

首先&#xff0c;它翻转前部分&#xff08;0 到 N-M-1&#xff09;。 然后&#xff0c;它翻转后部分&#xff08;N-M 到 N-1&#xff09;。 最后&#xff0c;它整体翻转整个数组&#xff08;0 到 N-1&#xff09; #include<iostream> using namespace std;// 反转数组的…

Linux线程同步

文章目录&#xff1a; Linux线程同步条件变量同步概念与竟态条件条件变量函数为什么 pthread_cond_wait 需要互斥量&#xff1f;条件变量使用规范 Linux线程同步 条件变量 当一个线程互斥地访问某个变量时&#xff0c;它可能发现在其它线程改变状态之前&#xff0c;它什么也做…

Unity 实现文字过长显示省略号

为了整体效果&#xff0c;当文字过长时&#xff0c;我们就会把超出范围的文字弄成省略号。 要实现文字过长显示省略号&#xff0c;只需要使用TextMeshPro&#xff0c;并设置Overflow属性为Ellipsis即可。 如下图&#xff1a; 记。

【Proteus仿真】【Arduino单片机】LCD1602-IIC液晶显示

文章目录 一、功能简介二、软件设计三、实验现象联系作者 一、功能简介 本项目使用Proteus8仿真Arduino单片机控制器&#xff0c;使用PCF8574、LCD1602液晶等。 主要功能&#xff1a; 系统运行后&#xff0c;LCD1602液晶显示各种效果。 二、软件设计 /* 作者&#xff1a;嗨小…

SpringBootWeb案例——Tlias智能学习辅助系统(2)

前一节已经实现了员工信息的条件分页查询以及删除操作。 这一节继续完成新增员工、文件上传、修改员工、配置文件的功能。 目录 新增员工文件上传简介本地存储阿里云OSS介绍与入门项目集成阿里云(难点) 修改员工查询回显修改员工 配置文件参数配置化(Value)yml配置文件Configur…

Git安装配置保姆级教程和Git创建仓库的基本原理和常用命令

目录 前言 一、Git简介 1.Git 与 SVN 区别点 2.Git的介绍 3.Git 工作流程 4.Git 工作区、暂存区和版本库 二、Git安装配置 1.Linux 平台上安装 2.Windows 平台上安装 三、Git 创建仓库和下载 1、首先需要注册一个gitee账号 2.git初始化并提交到远程仓库 3.另一用户…

蓝桥杯每日一题2023.11.9

包子凑数 - 蓝桥云课 (lanqiao.cn) 题目描述 题目分析 对于此题是一个简单DP的翻版问题&#xff0c;若能凑出当前的包子数&#xff0c;则凑出之前一定为dp[i - a[j]]&#xff0c;若表示出的dp[i]不是0则说明是一定存在数可以被凑出的&#xff0c;由题意&#xff1a;若凑不出的…

汽车工业生产线数字孪生可视化管理平台,赋予工厂车间数字化智慧化管理

在工业4.0 的时代背景下&#xff0c;随着企业数字化进程的推进&#xff0c;数字孪生可视化技术逐渐在汽车行业得到广泛应用&#xff0c;数字孪生智慧工厂的建设也成为了汽车行业数字化转型的趋势之一。汽车制造业属于典型的离散制造行业&#xff0c;汽车生产包含冲压、焊接、涂…

微机原理3

一、单项选择题(本大题共15小题,每小题3分,共45分。在每小题给出的四个备选项中,选出一个正确的答案。 1. 在机器数中&#xff0c;零的表示形式唯一的编码是() A. 原码 B. 补码 C.移码 D. 反码 2,用于定义常数、变量的内存空间分配和定位的是()。 A. 伪指令 B.机器指令…

【Python】数据分析案例:世界杯数据可视化

文章目录 前期数据准备导入数据 分析&#xff1a;世界杯中各队赢得的比赛数分析&#xff1a;先打或后打的比赛获胜次数分析&#xff1a;世界杯中的抛硬币决策分析&#xff1a;2022年T20世界杯的最高得分者分析&#xff1a;世界杯比赛最佳球员奖分析&#xff1a;最适合先击球或追…