之前上传的代码存在一定问题,目前已重新更新并上传了三类新的预训练模型供大家使用
paper Github CSDN下载
动机:
不按摘要来形式来写,本文的动机在于一个,减少模型参数量,加快运行速度,以及取得还不错的效果。因此,就存在两个方面的技术问题:第一,如何降低参数量;第二,如何降低内存访问的次数(这个观点从FasterNET就可以看出,很多文章也在提这个点);第三,如何取得还不错的增强效果。
因此,我自己思考的是两个:第一个是输入通道的通道数量应该小(特征冗余很多;相较于FasterNet的局部卷积;直接减少通道感觉也行);第二个在于特征提取的能力必须很强(1.基本会使用大量残差,但是残差其实是加大了内存访问次数的,因此也不能太多;2.必须加入多尺度的环节,但是许多的多尺度卷积会增大整个网络的复杂度);第三个是推理速度的问题(合理的残差结构和通道叠加,拓扑推理速度会很快)
所以,我们提出了如下的网络结构:
网络结构
对于整个网络而言,最关键的技术,在于MRB这个模块的构建。因此我们后面做了消融实验去验证它。首先,这个模块有两类思想:1.特征叠加的思想。单一通道的并联操作,在拓扑推理中运行速度是按照推理计算最大的卷积核为标准的,因此可以并联许多不同类型的核;2.双重的残差设计。具体可以看一下原文。
为了尽可能地轻量化,我们做了一个非常简略的通道注意力模块,同时,在MMFF-NET这篇文章中,虽然利用特征点成作增亮效果更好;但是为了更加迅速,Zero-DCE的操作蚕食FLOPs最小的。因此我们还是使用的这类策略。
整个网络非常简单,非常方便训练和改造,也非常方便大家部署+即插即用。
展示效果:
我们全新的代码中,提供了3类全新的预训练模型。分别是使用LOL,FiveK(艺术家C)和LOL+FiveK,三个版本。具体效果如下:
原图如下:
三类预训练的效果其实都还不错。主要看您针对于什么模型。如果您需要自己训练模型,直接使用自己的有监督学习数据集即可。
对比实验
实验部分我们做了两类实验。一个是MRB的消融实验。这里的消融实验我感觉更多是做的模块性能的一个对比试验。在这里我们比较了不同常用多尺度模块的性能,并且使用PSNR/SSIM比较了谁更牛逼。(肯定是我们的模块最好了=_=)同时我们还和其他算法进行了比较。
欢迎引用我的算法+代码:
感谢各位的支持。
Chen, Yuhan, et al. "FMR-Net: a fast multi-scale residual network for low-light image enhancement." Multimedia Systems 30.2 (2024): 73.