【CP2Net框架】
https://github.com/YuZheng9/C2PNet
【CP2Net介绍】
Abstract
考虑到不适定的性质，发展了单图像去模糊的对比正则化，引入了来自负图像的信息作为下界。然而，对比样本是非一致的，因为阴性通常距离清晰（即正）图像很远，使解空间仍然不足。此外，深度脱雾模型的可解释性对脱雾过程的物理研究还没有得到充分的探索。在本文中，我们提出了一种新的课程对比正则化，目标是一个自愿对比空间，而非非自愿对比空间。我们的负片提供了更好的下界约束，可以从1)模糊图像和2)通过其他现有方法进行相应的修复。此外，由于清晰图像和负图像嵌入的相似性不同，多个成分的学习难度本质上是不平衡的。为了解决这个问题，我们定制了一个课程学习策略来重新衡量不同负面因素的重要性。此外，为了提高特征空间的可解释性，我们根据大气散射模型建立了一个具有物理感知能力的双分支单元。通过该单元，以及课程对比正则化，我们建立了我们的脱雾网络，命名为C2PNet。大量的实验表明，我们的C2PNet显著优于最先进的方法，在SOTSindoor和户外数据集上，极端PSNR提升分别为3.94 dB和1.50 dB。
1. Introduction
雾霾作为一种常见的大气现象，明显降低了拍摄图像的质量，严重限制了后续的高级视觉任务的表现，如车辆再识别[7]和场景理解[35].与其他图像恢复任务求解器[12,13,39,43]的出现类似，需要有效的图像脱模糊技术来处理基于视觉的应用程序。
基于深度学习的方法在单图像脱模糊方面取得了巨大的成功，可以大致可以分为两类：无物理方法[5,10,17,24]和物理感知方法[4,8,11,34]。对于前者，它们通常使用预测恢复的地面真实图像来加强基于L1/L2距离的一致性，还涉及各种正则化[29,42]作为附加约束来应对不适定特性。请注意，所有这些正则化都忽略了来自负图像的信息作为下界，我们提出了对比正则化（CR）[40]来引入不同的模糊性图像为负，地真图像为正，并进一步使用对比学习[19,20]来保证一个封闭的解空间。此外，研究表明，由于不同的退化模式作为线索，使用更多的负片可以获得更好的性能。然而，问题是这些负内容的内容与正的内容是不同的，它们的嵌入可能太遥远，使得解决方案的空间仍然没有受到限制。
为了解决这个问题，一个自然的想法是使用共识对比空间1中的负项（见图1中的下面板）作为更好的下限约束，它可以很容易地从模糊的输入和相应的修复中组装起来。在这种情况下，消极可能比非共识空间的“更接近”积极，因为这些消极的多样性更与雾（或雾残留）有关，而不是任何其他语义。然而，当负的嵌入太接近正的嵌入时，就会出现一个内在的困境，因为它对锚点的推力（即预测）可能会抵消正的的拉力。这样的学习困难可能会混淆锚，以向积极的方向移动，特别是在早期的训练阶段。
图1.上面板：基于共识对比空间中阴性的三个难度级别的对比正则化检查。下面板：自愿和非自愿空间的对比样本说明。 Upper panel: Examination for contrastive regularization based on three difficulty levels of the negatives in the consensual contrastive space. Lower panel: Illustration of contrastive samples in the consensual and non-consensual spaces.
这种直觉在图1的上面板中被进一步检验。我们使用FFA-Net [33]作为基线（第(a)行），sot-室内[28]作为测试数据集，以探索共识空间中负面因素的影响。具体来说，我们将负项的难度定义为三个级别：简单(E)、硬(H)和超硬(U)。我们采用模糊的输入作为容易产生的负值，并使用粗糙的策略来区分后两种类型，即负值的PSNR是否大于30。首先，在单负情况下（第(b)-(d)行），一个有趣的发现是，使用硬样本相比，作为负获得了最好的性能，使用超硬负甚至比基线更差。这表明，一个“接近”的负值有可能促进去雾模型的有效性，但并不是由于学习困难而越接近越好。而在多负情况2（行(e)-(g)）中，我们观察到全面覆盖不同程度的负值，包括超硬样本，可以导致最好的性能。这意味着在不同的差异水平上的负面影响都可能有助于训练阶段。这些观察结果激励我们探索如何在训练过程中明智地将共识空间中的多个负对纳入CR。
继续进入具有物理意识的深度模型领域，它们大多在原始空间中利用大气散射模型[31,32]，而没有充分探索有益特征级信息。PFDN [11]是唯一一个试图将物理模型表示为网络中的一个基本单元的工作。该单元被设计为一个共享结构，以预测与大气光和透射图对应的潜在特征。然而，前者通常被认为是均匀的，而后者是非均匀的，因此它们的特征不能以同样的方式来近似。因此，如何利用物理模型准确地实现深度网络特征空间的可解释性仍然是一个有待解决的问题，这是我们感兴趣的另一个方面。
在本文中，我们提出了一种课程对比正则化，使用模糊或恢复的图像作为负片在共识空间中的图像去模糊来解决第一个问题。根据我们的分析表明，共识否定的困难会影响正则化的有效性，我们提出了一个课程学习策略来安排这些否定，以减少学习的模糊性。具体来说，我们将负对分为三种类型（即简单、硬和超硬），并为CR中相应的负对分配不同的权重。同时，在训练过程中，随着锚点向表示空间中的正值方向移动，负值的差异水平被动态调整。这样，所提出的正则化方法可以使脱雾模型在更紧凑的解空间中得到稳定的优化。
关于第二个问题，我们提出了一个具有物理意识的双分支单元（PDU）。PDU分别逼近大气光对应的特征和双分支的透射图，并考虑各因素的物理特征。因此，可以根据物理模型更精确地合成潜在的清晰图像的特征。最后，我们建立了C2PNet，这是我们的脱雾网络，它将pdu部署到一个具有课程对比正则化的级联骨干中。
综上所述，我们的主要贡献如下：
我们提出了一种新的C2PNet去除阴霾，采用课程对比正则化，并在特征空间中加强基于物理的先验。我们的方法在合成场景和真实场景中都优于sota。特别是，我们在sots-室内和sots-室外数据集上分别实现了3.94 dB和1.50 dB的显著PSNR提升。
提出的正则化采用了一种独特的基于共识的负化方法，并包含了一种独立的课程学习策略，该策略动态校准负的优先级和难度水平。作为一种广义正则化技术，它可以提高sota的性能，超过了以往的相关策略。
仔细考虑所涉及因素的特点，我们基于一个前所未有的物理模型表达式建立了PDU。这种创新的设计在物理先验的指导下，促进了特征空间中的特征传输和提取。
【效果展示】
室内去雾效果
室外去雾效果：
【视频演示】
C# winform基于C2PNet算法实现室内和室外图像去雾_哔哩哔哩_bilibili测试环境：vs2019netfrmamework4.7.2opencvsharp==4.8.0onnxruntime==1.16.2, 视频播放量 45、弹幕量 0、点赞数 2、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者 未来自主研究中心, 作者简介 未来自主研究中心，相关视频：将yolov8封装成一个类几行代码完成语义分割任务，用C#部署yolov8的tensorrt模型进行目标检测winform最快检测速度，YOLOv8检测界面-PyQt5实现，使用C++部署yolov8的onnx和bytetrack实现目标追踪，YOLOv9杀疯了！最新的实时目标检测模型！代码已开源！，OpenAI将于3.8号变更GPT API账单号付费机制，各位AI网站站长做好准备，使用C#部署openvino-yolov5s模型，C#调用yolov7进行目标检测winform开发，C#在国内毫无市场可言！，基于faster whisper实现实时语音识别项目语音转文本python编程实现
https://www.bilibili.com/video/BV1b2421K7JK/?vd_source=989ae2b903ea1b5acebbe2c4c4a635ee
【代码部分实现】
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Diagnostics;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using OpenCvSharp;
namespace FIRC
{
public partial class Form1 : Form
{
Mat src = null;
C2PNet detector = new C2PNet();
public Form1()
{
InitializeComponent();
}
private void button1_Click(object sender, EventArgs e)
{
OpenFileDialog openFileDialog = new OpenFileDialog();
openFileDialog.Filter = "图文件(*.*)|*.jpg;*.png;*.jpeg;*.bmp";
openFileDialog.RestoreDirectory = true;
openFileDialog.Multiselect = false;
if (openFileDialog.ShowDialog() == DialogResult.OK)
{
src = Cv2.ImRead(openFileDialog.FileName);
pictureBox1.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(src);
}
}
private void button2_Click(object sender, EventArgs e)
{
if(pictureBox1.Image==null)
{
return;
}
Stopwatch sw = new Stopwatch();
sw.Start();
var result = detector.Inference(src);
sw.Stop();
this.Text="耗时："+sw.Elapsed.TotalSeconds+"秒";
pictureBox2.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(result);
}
private void Form1_Load(object sender, EventArgs e)
{
detector.LoadWeights(Application.StartupPath+ "\\weights\\c2pnet_outdoor_320x320.onnx", 320,320);
}
private void button3_Click(object sender, EventArgs e)
{
VideoCapture capture = new VideoCapture(0);
if (!capture.IsOpened())
{
Console.WriteLine("video not open!");
return;
}
Mat frame = new Mat();
var sw = new Stopwatch();
int fps = 0;
while (true)
{
capture.Read(frame);
if (frame.Empty())
{
Console.WriteLine("data is empty!");
break;
}
sw.Start();
var result = detector.Inference(frame);
sw.Stop();
fps = Convert.ToInt32(1 / sw.Elapsed.TotalSeconds);
sw.Reset();
Cv2.PutText(result, "FPS=" + fps, new OpenCvSharp.Point(30, 30), HersheyFonts.HersheyComplex, 1.0, new Scalar(255, 0, 0), 3);
//显示结果
Cv2.ImShow("Result", result);
int key = Cv2.WaitKey(10);
if (key == 27)
break;
}
capture.Release();
}
}
}
【代码下载】
https://download.csdn.net/download/FL1623863129/88901662
【测试环境】
vs2019,netframework4.7.2,opencvsharp4.8.0,onnxruntime==1.16.2
【参考文献】
[1] https://blog.csdn.net/zhouaho2010/article/details/134740646
![[LeetBook]【学习日记】有效数字——状态机](https://img-blog.csdnimg.cn/direct/20d29e0d3a754a9e910202f39a704469.png)
