【AI最前线】DP双像素sensor相关的AI算法全集:深度估计、图像去模糊去雨去雾恢复、图像重建、自动对焦

Dual Pixel 简介

双像素是成像系统的感光元器件中单帧同时生成的图像:通过双像素可以实现:深度估计、图像去模糊去雨去雾恢复、图像重建

成像原理来源如上,也有遮罩等方式的pd生成,如图双像素视图可以看到光圈的不同一半,这提供了一个深度提示。然而,由于基本的模糊性,如果相机的焦距(或光圈大小或焦距)发生变化,不同的场景可能会产生相同的双像素图像。在(a)中,具有焦距g1的相机在距离Z1处成像聚焦的蓝色点和离焦的橙色点。通过光圈左半部分折射的光(深蓝色和橙色光线)到达每个双像素的右半部分,反之亦然。这导致了一个双像素图像,其中失焦橙色点被d像素(a,“DP数据”)位移,被b像素模糊(a,”图像”)。在(b)中,不同的焦距和场景深度集产生相同的双像素和RGB图像。然而,如文中所示,该场景通过逆深度上的仿射变换与(a)中的场景相关。消费者迅速采用。双像素相机似乎代表了更雄心勃勃的光场相机和传统相机之间的一种有前景的折衷方案——DP相机牺牲了可忽略的空间分辨率来采样光场中的两个角度,而真正的单眼相机只采样一个角度,Lytro Illum等光场相机以牺牲显著的空间分辨率为代价采样196个角度。因此,它们在消费类相机和内窥镜等空间受限的应用中得到了更广泛的采用[6]。

消费类硬件的最新发展可能为深度估计的新方法提供机会。最近,通过使用密集的双像素(DP)传感器(图2),可以使用一台相机同时捕获两张类似于具有微小基线的立体对的图像(图1)。虽然这项技术最初是为相机自动对焦而开发的,但双像素图像也可以用来从单个相机中恢复密集的深度图,从而消除了对额外硬件、校准或同步的任何需求。例如,Wadhwa等人[55]使用经典的立体技术(块匹配和边缘感知平滑)从DP数据中恢复深度。但如图1所示,传统立体技术可以生成的深度图的质量是有限的,因为DP图像中视差和焦点之间的相互作用可能会导致经典立体匹配技术失败。现有的基于单眼学习的技术在这方面也表现不佳

接下来就介绍双像素相关的sota论文和代码,长期更新教学

Table of contents

  • DualPixel
  • Dateset

Dual Pixel

YearPubPaperAppRepo
2018SIGGRAPHSynthetic Depth-of-Field with a Single-Camera Mobile PhoneDepth / Segmenation / Synthetic DoF
2019CVPRReflection Removal Using a Dual-Pixel SensorReflection RemovalCode
2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsDepthCode & Dataset
2020ICCPModeling Defocus-Disparity in Dual-Pixel SensorsDepthCode & Dataset
2020CVPRLearning to AutofocusAutofocusDataset
2020ECCVDu2Net: Learning Depth Estimation from Dual-Cameras and Dual-PixelsDisparity (w/Stereo)
2020ECCVDefocus Deblurring Using Dual-Pixel DataDeblurCode & Dataset
2021CVPRDual Pixel Exploration: Simultaneous Depth Estimation and Image RestorationDepth / DeblurCode & Dataset
2021CVPRWNTIRE 2021 Challenge for Defocus Deblurring Using Dual-pixel Images: Methods and ResultsDeblur
2021CVPRWATTSF Attention! Stay Focus!DeblurCode
2021ICCVDefocus Map Estimation and Deblurring From a Single Dual-Pixel ImageDeblur / Defocus MapCode & Dataset
2021ICCVLearning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel DataDeblurCode & Dataset
2021IEEEWorld Largest Mobile Image Sensor with All Directional Phase Detection Auto Focus FunctionDepth
2021ICTCDisparity probability volume guided defocus deblurring using dual pixel dataDeblur
2021Journal of Electronic ImagingDefocus deblurring: a designed deep model based on CNNDeblur
2021IEEEAll-Directional Dual Pixel Auto Focus Technology in CMOS Image SensorsCircuits
2022WACVImproving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task LearningDeblurCode & Dataset
2022ISSCCA 1/1.57-inch 50Mpixel CMOS Image Sensor With 1.0μm All-Directional Dual Pixel by 0.5μm-Pitch Full-Depth Deep-Trench Isolation TechnologyCircuits
2022ECCVFacial Depth and Normal Estimation using Single Dual-Pixel CameraDepth / Surface Normal / Anti-spoofing / RelightingCode & Dataset
2023CVPRK3DN: Disparity-Aware Kernel Estimation for Dual-Pixel Defocus DeblurringDeblur
2023CVPRSpatio-Focal Bidirectional Disparity Estimation From a Dual-Pixel ImageDepth / DisparityCode
2023ICCPLearning to Synthesize Photorealistic Dual-pixel Images from RGBD framesSimulatorCode & Dataset
2023ICCVExploring Positional Characteristics of Dual-Pixel Data for Camera AutofocusAutofocus

这其中

2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsDepth

 网络的代码被复现在:DualPixelFace/src at main · MinJunKang/DualPixelFace · GitHub ;GitHub - vyi/PdCapture: [google-research/dual-pixels](Forked from https://github.com/google-research/google-research/tree/master/dual_pixels)

GitHub - RugvedKatole/Learning-Single-Camera-Depth-Estimation-using-Dual-Pixels: This Repo is an implementation of paper titled "Learning Single Camera Depth Estimation using Dual-Pixels"

Dataset

YearPubPaperDetail
2019ICCVLearning Single Camera Depth Estimation using Dual-PixelsTrain:2506, Test:684, Res:1512x2016(DP), 16bit png, DP Raw / Depth
2020ICCPModeling Defocus-Disparity in Dual-Pixel SensorsNum:100, Res:5180x2940, RGB 8bit jpg / 16bit tif Depth, DP LR / Depth
2020ECCVDefocus Deblurring Using Dual-Pixel DataNum:500, Res:1680x1120, 16bit, Used for NTIRE 2021 Challenge (CVPRW)
2021CVPRDual Pixel Exploration: Simultaneous Depth Estimation and Image RestorationDP Simulator from NYUD Dataset
2021ICCVLearning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel DataDP Simulator form SYNTHIA-SF dataset
2023ICCPLearning to Synthesize Photorealistic Dual-pixel Images from RGBD framesNum:5130, Res:1680x1120, RGB(DP LRC) 8bit png / Depth 16bit png

小结

欢迎AI深度估计、AI重建、AI恢复图像:图像去雾去雨去模糊降噪方向的同学一起交流,cv君正在打造最大最前沿的AI社区,让你在浓厚的学习氛围中进步,让你在飞速发展的时代中砥砺前行;免费进群交流请私信cv君(免费)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/921284.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

sysbench压测DM的高可用切换测试

一、配置集群 1. 配置svc.conf [rootlocalhost dm]# cat /etc/dm_svc.conf TIME_ZONE(480) LANGUAGE(CN)DM(192.168.112.139:5236,192.168.112.140:5236) [DM] LOGIN_MODE(1) SWITCH_TIME(300) SWITCH_INTERVAL(200)二、编译sysbench 2.1 配置环境变量 [dmdba~]# vi ~/.bas…

高性能linux服务器运维实战小结 性能调优工具

性能指标 进程指标 进程关系 父进程创子进程时,调fork系统调用。调用时,父给子获取一个进程描述符,并设置新的pid,同事复制父进程的进程描述符给子进程,此时不会复制父进程地址空间,而是父子用相同地址空…

pcb元器件选型与焊接测试时的一些个人经验

元件选型 在嘉立创生成bom表,对照bom表买 1、买电容时有50V或者100V是它的耐压值,注意耐压值 2、在买1117等降压芯片时注意它降压后的固定输出,有那种可调降压比如如下,别买错了 贴片元件焊接 我建议先薄薄的在引脚上涂上锡膏…

【zookeeper03】消息队列与微服务之zookeeper集群部署

ZooKeeper 集群部署 1.ZooKeeper 集群介绍 ZooKeeper集群用于解决单点和单机性能及数据高可用等问题。 集群结构 Zookeeper集群基于Master/Slave的模型 处于主要地位负责处理写操作)的主机称为Leader节点,处于次要地位主要负责处理读操作的主机称为 follower 节点…

C 语言复习总结记录三

C 语言复习总结记录三 一 函数的定义 维基百科中对函数的定义:子程序 在计算机科学中,子程序(英语:Subroutine, procedure, function, routine, method, subprogram, callable unit),是一个大型程序中的…

MYSQL——多表设计以及数据库中三种关系模型

大致介绍数据库中三种关系模型 一对多(1:N) 定义: 一个实体可以与另一个实体的多个实例相关联,而后者只能与前者的一个实例相关联。 例子: 学生和课程的关系。 学生(1):每个学生…

OpenCV和Qt坐标系不一致问题

“ OpenCV和QT坐标系导致绘图精度下降问题。” OpenCV和Qt常用的坐标系都是笛卡尔坐标系,但是细微处有些不同。 01 — OpenCV坐标系 OpenCV是图像处理库,是以图像像素为一个坐标位置,即一个像素对应一个坐标,所以其坐标系也叫图像…

实验四:构建园区网(OSPF 动态路由)

目录 一、实验简介 二、实验目的 三、实验需求 四、实验拓扑 五、实验步骤 1、在 eNSP 中部署网络 2、设计全网 IP 地址 3、配置二层交换机 4、配置路由交换机并测试通信 5、配置路由接口地址 6、配置 OSPF 动态路由,实现全网互通 一、实验简介 使用路由…

《剖析 Spring 原理:深入源码的旅程(二)》

六、Spring 的 Bean 注入与装配 Spring 的 Bean 注入与装配的方式有很多种,可以通过 xml、get set 方式、构造函数或者注解等。简单易用的方式就是使用 Spring 的注解,Spring 提供了大量的注解方式,如 Autowired、Qualifier 等。Spring 还支持…

Java文件上传解压

目录结构 工具类 枚举 定义文件类型 public enum FileType {// 未知UNKNOWN,// 压缩文件ZIP, RAR, _7Z, TAR, GZ, TAR_GZ, BZ2, TAR_BZ2,// 位图文件BMP, PNG, JPG, JPEG,// 矢量图文件SVG,// 影音文件AVI, MP4, MP3, AAR, OGG, WAV, WAVE}为了避免文件被修改后缀&#xff0…

CSRF保护--laravel进阶篇

laravel对csrf非常重视,专门针对csrf作出了很多的保护。如果您是刚刚接触laravel的路由不久,那么您可能对于web.php路由文件的post请求很疑惑,因为get请求很顺利,而post请求则可能会遭遇失败。其中一个失败的原因是由于laravel的c…

jupyter notebook的 markdown相关技巧

目录 1 先选择为markdown类型 2 开关技巧 2.1 运行markdown 2.2 退出markdown显示效果 2.3 注意点:一定要 先选择为markdown类型 3 一些设置技巧 3.1 数学公式 3.2 制表 3.3 目录和列表 3.4 设置各种字体效果:加粗,斜体&#x…

【GAT】 代码详解 (1) 运行方法【pytorch】可运行版本

GRAPH ATTENTION NETWORKS 代码详解 前言0.引言1. 环境配置2. 代码的运行2.1 报错处理2.2 运行结果展示 3.总结 前言 在前文中,我们已经深入探讨了图卷积神经网络和图注意力网络的理论基础。还没看的同学点这里补习下。接下来,将开启一个新的阶段&#…

redis工程实战介绍(含面试题)

文章目录 redis单线程VS多线程面试题**redis是多线程还是单线程,为什么是单线程****聊聊redis的多线程特性和IO多路复用****io多路复用模型****redis如此快的原因** BigKey大批量插入数据测试数据key面试题海量数据里查询某一固定前缀的key如果生产上限值keys * ,fl…

神经网络问题之二:梯度爆炸(Gradient Explosion)

梯度爆炸(Gradient Explosion)是神经网络训练过程中常见的一个问题,它指的是在反向传播过程中,梯度值变得非常大,超出了网络的处理范围,从而导致权重更新变得不稳定甚至不收敛的现象。 一、产生原因 梯度爆…

小杨的N字矩阵c++

题目描述 小杨想要构造一个m*m 的 N 字矩阵( m为奇数),这个矩阵的从左上角到右下角的对角线、第1 列和第m 列都 是半角加号 ,其余都是半角减号 - 。例如,一个 5*5 的 N 字矩阵如下: --- -- -- -- --- 请…

2024 年企业中的生成式 AI 现状

2024: The State of Generative AI in the Enterprise - Menlo Ventures 企业 AI 格局正在被实时改写。随着试点(Pilot)让位于生产(Production),我们对 600 名美国企业 IT 决策者进行了调查,以揭示新出现的…

Ubuntu24虚拟机-gnome-boxes

推荐使用gnome-boxes, virtualbox构建失败,multipass需要开启防火墙 sudo apt install gnome-boxes创建完毕~

Haystack 的开源开发 LLM 应用设计框架

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…

leetcode 919.完全二叉树插入器

1.题目要求: 完全二叉树 是每一层(除最后一层外)都是完全填充(即,节点数达到最大)的,并且所有的节点都尽可能地集中在左侧。设计一种算法,将一个新节点插入到一棵完全二叉树中,并在…