光场相机建模与畸变校正改进方法

摘要:光场相机作为一种新型的成像系统,可以直接从一次曝光的图像中得到三维信息。为了能够更充分有效地利用光场数据包含的角度和位置信息,完成更加精准的场景深度计算,从而提升光场相机的三维重建的精度,需要实现精确的几何建模,并精确标定其模型参数。该方法从薄透镜模型和小孔成像模型出发,将主透镜建模为薄透镜模型,将微透镜建模为小孔成像模型,结合光场相机双平面模型,将每个提取到的特征点与其在三维空间中的射线建立联系,详细解释了内参矩阵中每个参数的物理意义,以及标定过程中初值确定的过程,并在镜头径向畸变模型的基础上进一步应用了相机镜头的切向畸变模型以及基于射线重投影误差的非线性优化方法,改进了光场相机的标定方法。实验显示,该方法的RMS射线重投影误差为0.332mm,与经典的Dansereau标定方法相比,进行非线性优化后得到的射线重投影误差精度提升了8%。该方法详细分析的场景点与特定像素索引的推导过程对光场相机的标定具有重要的研究意义,为光场相机光学模型的建立与初始化标定奠定了基础。

关键词:机器视觉;光场相机;重投影误差;相机标定;镜头畸变

引言

传统相机的成像方式只能记录光线所经过的位置信息,丢失了光线的深度信息,即三维信息。光场相机作为一种新型成像系统,由于其内部含有微透镜阵列这一特殊构造[1],可以同时获取光线的角度和位置信息,能颠覆传统成像方式的图像生成方法,实现如数字重聚焦、合成子孔径图像、光场显微成像、全景深图像合成、场景深度图获取等功能[2]。能够为三维重建[3]、全景拼接、视角合成、目标识别与跟踪等计算机视觉问题提供更加完备而有效的解决方案[4]。

光场相机的原型首先是由Adelson和Wang[5]在1992年提出的。第一个商业化的手持光场相机是由NgR[6]在2005年设计的,然后由Lytro公司发布。该光场相机在图像传感器与主透镜之间放置了一个微透镜阵列,通过它来获取光线的更多场景信息。但是该相机模型的空间分辨率不高,又被称为未聚焦光场相机。2009年,Georgiev和Lumsdaine[7−8]提出了基于Ng光场相机模型的新模型,名为聚焦光场相机,其中微透镜阵列(MLA)聚焦于主透镜形成的图像平面上。这个相机模型由Raytrix公司发布,有更高的空间分辨率,但是角度分辨率较低。

相机的标定参数可以提高其精度和性能,因此,研究者们提出了不同的标定方法。2013年,Dansereau[9]等人提出一种包含15个参数的相机标定模型和方法,他们推导了像素索引与光线的四维内参矩阵和畸变模型,但其工作中仍然存在着初始化优化和解决校准参数等问题。2014年,Bok[10]等人提出了利用原始图像提取适当区域内线的特征校正线性形状的相机投影模型的方法,然而,他们并没有模拟外子孔径图像的镜头畸变。2016年,Zeller[11]等人提出了一种测量校准方法,使用全聚焦图像和虚拟深度图计算三维观测结果,然而,该方法未能得到物体距离超过1m的特征点。Johannsen[12]等根据该特征重建标定物的三维点坐标,通过序列二次规划(SQP)优化方法求解内外参数,但却忽略了微透镜产生的畸变。Zhang[13]等人提出了一种基于原始图像特征与深度尺度信息之间关系的校准方法,然而他们没有对微透镜阵列引起的畸变误差进行补偿,为了填补这一空白,2017年,Noury[14]等人提出了一种仅基于原始图像的校准方法。这项工作开发了一种新的检测器,以直接估计棋盘格,观察原始图像的亚像素精度。然而,他们从白图像而不是捕获的原始图像估计微图像的网格参数,这在标定过程中引入了不确定性。光场相机出现时间不长,其成像模型的建立与参数标定研究并不多,仍然不成熟。

文中在经典的Dansereau方法的基础上,改进了光场相机的标定与畸变校正方法,通过通用的小孔成像与薄透镜模型,分析了光场相机模型中参数的物理意义,并用通用相机的标定方法进行光场相机标定,推导出不同方向的子孔径图像像素坐标的索引与穿过主透镜和微透镜阵列的光场射线的精确关系,利用投影转换关系估计出光场相机的内参,并考虑相机的径向畸变与切向畸变模型,最后利用重投影误差对其参数进行优化。

1光场相机精确几何模型建立

1.1成像模型

光场相机的典型代表是Ng等设计的传统光场相机(Plenopic1.0)。小孔成像模型描述微透镜阵列,薄透镜模型描述主镜头。该成像装置在传统相机的焦平面处放置一个微透镜阵列,并将图像传感器置于微透镜的一倍焦距处。真实场景中特定深度平面上来自同一点的不同方向光束,通过主镜头折射、微透镜聚焦,最终被图像传感器上的成像单元所记录,如图1所示。

图片

如图1所示,A表示图像传感器平面,B表示微透镜阵列平面,C表示主透镜平面,O−XY为图像坐标系,Oc−XcYcZc为相机坐标系,Ow−XwYwZw为世界坐标系。光场相机模型表示为光线的路径,以穿过微透镜阵列平面及图像传感器平面的射线作为此光线的开始,即n=[ijkl]T,i和j为每个微透镜对应像元的索引,k和l为微透镜的位置索引,完整的转换过程如公式(1)所示[9]。如果每个微透镜对应的像元像素为Ni×Nj,那么i和j的范围为0∼Ni,j;若有Nk×Nl个微透镜,则k,l的范围为0∼Nk,l。

图片

为了便于说明,将四维坐标简化为横向的二维坐标,再延伸至四维光场,即n=[ik1]T。Hs是将相对坐标转换为绝对坐标的矩阵,即把i转换为iabs,如图2所示,i是相对坐标,表示每个微透镜下宏像素的索引,把相对坐标加上其对应的微透镜索引k处的实际像素,即kN,并减去宏像素的中心cpix就得到了绝对坐标iabs,其表示在图像传感器平面上相对坐标对应的微透镜图像的实际索引,转换过程为公式(3),N是每个微透镜下的宏像素大小,cpix是每个微透镜下的宏像素的中心,cpix=N/2。

图片

下一步是把绝对坐标转换为光场射线表示,此处与普通相机的小孔成像模型类似,首先通过Hbs将绝对坐标iabs与微透镜阵列的索引k分别减去图像传感器和微透镜阵列的中心位置偏移量,再除以对应的单位物理尺寸(mm)可得到其在图像传感器平面与微透镜阵列平面实际的物理尺寸(mm),1/Fs和1/Fu分别表示图像传感器像素和微透镜的单位物理尺寸(mm),cm和cu分别为图像传感器和微透镜阵列的中心位置偏移量,Fs=NFu,cm=Ncu,转换公式如公式(4)所示:xi表示该点到图像中心主点之间的物理距离,k′表示该点所在的微透镜中心到图像中心主点之间的物理距离,如图3所示。

图片

图片

然后通过HφΦ推导出其对应光线的角度θ,如图3所示,使用宏像素的中心偏移cpix减去在该宏像素的相对坐标i,得到i与当前微透镜光轴的像素,然后除以Fs得到该距离的实际物理尺寸xi,最后除以图像传感器平面和微透镜阵列平面的距离du,即可得到该条光线的角度θ。转换过程如公式(5)所示:xi是光线在图像传感器平面的坐标,θ是光线的角度,du代表图像传感器平面和微透镜阵列平面的距离。最后通过HT将光线在图像传感器平面的坐标(即光线在i平面的坐标xi)延伸至主透镜s平面,如图3所示,主透镜与图像传感器平面的距离(du+dm)乘上光线的角度θ,再加上xi即可得到延伸至主透镜上的点xm,转换过程如公式(6)所示:dm代表主透镜平面与微透镜阵列平面的距离,xm是光线在主透镜s平面的坐标。

图片

最后通过HM推导出入射光线的方向,如图4所示,主透镜符合薄透镜模型,根据高斯成像公式:1/fM=1/u+1/v,fM为主透镜的焦距,u为物距,v为像距,u=xm/θ′,v=xm/θ,即1/fM=θ′/xm+θ/xm,可得到入射光线的角度θ′,转换过程如公式(7)所示。然后通过HΦφ推导出经过xm的入射光线与u平面的交点,D是u平面与主透镜s平面的距离,入射光线的角度θ′与距离D相乘并加上xm即可得到该光线与u平面的交点s,如公式(8)所示:s为入射光线在u平面的坐标,u为入射光线的角度。注意,此时u不是双平面模型中的坐标,而是入射角度,此处是为了和Dansereau等提出的经典模型中的u做区分。

图片

因为垂直和水平方向的索引部分是独立的,所以将2D索引延伸为4D索引是简单的。通过公式(1)将公式(2)中的矩阵相乘可以得到一个具有12个非零项的矩阵的表达式:

图片

1.2镜头畸变模型

微透镜阵列和主透镜都有可能导致镜头畸变[15],忽略微透镜阵列产生的畸变,考虑主透镜产生的畸变。由透镜的形状引起的径向畸变模型如下:

图片

式中:k1、k2等是径向畸变系数,根据光场相机的镜头 参数,可以选择双参数模型和三参数模型;u、v和ud、vd分别为没有畸变和有畸变的光线角度。由相机组 装过程中透镜和像面不严格平行引起的切向畸变模型可用畸变系数p1和p2类似描述为:

图片

2 光场相机标定

光场相机的标定有三个主要模块:第一部分是合成所有角度的子孔径图像并提取所有角度子孔径图像的特征点;第二部分是对相机参数进行初始化[16];第三部分根据相机的重投影误差构造函数进行非线性优化,它优化了第二部分产生的初始估计。

2.1合成子孔径图像及提取所有子孔径图像的特征点

首先将原始的2D图片解码为4D光场表示,通过得到的微透镜图像合成不同方向的子孔径图像,再对所有子孔径图像进行特征点提取。将每个微透镜宏像素上相同位置的像素点按照顺序进行重排列操作,即可得到该方向的子孔径图像,以此类推,可以得到所有角度的子孔径图像,原理如图5(a)所示。i、j是一个微透镜下的宏像素索引,k、l是微透镜的个数索引。例如:微透镜阵列有381×383个,即有381×383个微透镜,每个微透镜下的宏像素有9pixel×9pixel,那么就可以提取9×9张子孔径图像,每张子孔径图像有381pixel×383pixel[17]。对于子孔径图像来说,i、j是图片索引,k、l是像素值。中心角度的子孔径图像就是按照顺序提取每一个微透镜宏像素中心位置的像素点,然后把这些像素按顺序重新拼接成的图像,所有角度子孔径图像如图5(c)所示,因为每个微透镜的边缘存在渐晕现象,所以边缘角度的子孔径图像较暗。

与传统相机标定类似,光场相机从不同角度拍摄棋盘格图像[18],得到所有角度子孔径图像后对子孔径图像进行灰度化处理,然后通过Harris角点检测[5]方法提取每一幅子孔径图像的特征点。

图片

图片

2.2相机参数初始化

在光场相机的模型中,当u平面在主透镜的焦平面上时,即D=fM,光场相机的坐标系原点为主透镜 光轴与主透镜焦平面的交点。XY轴方向仍是像平面的XY方向,Z方向垂直于焦平面向外。通过公式(9)可以得出:H1,1=H2,2,H3,3=H4,4,H1,3=H2,4,H3,1=H4,2,H1,5=H2,5,H3,5=H4,5。对其参数进行化简,可以得出:

图片

光场相机的初始化首先要得到主透镜的焦距,在光场相机的模型中,从图像传感器到微透镜的每条相同角度的射线路径(即i,j相同)都收敛到主透镜焦平面上的一个点,这个点是虚拟相机的中心位置,即ui,如图6所示。此时,每个子孔径图像的成像等效为小孔成像模型,其焦距是主透镜的焦距fm,子孔径图像相邻像素之间的距离也就是微透镜的物理尺寸,为1/Fu(mm)。中心角度的子孔径图像(光线角度为0°,即过主透镜光心)所等效的虚拟相机的坐标系为光场相机的坐标系。

图片

类似张正友的平面靶标标定方法[14],求解主透镜焦距首先要通过世界坐标系的3D点和像素坐标系的2D点得到单应矩阵H:

图片

式中:s表示尺度因子;K表示相机内参矩阵;r1,r2,t为相机外参;fx,fy为主透镜的等效焦距;u0,v0为图像的主点,是两个坐标轴的偏斜参数,可以忽略不计。通过将单应矩阵H中无关的参数(即主点(u0,v0))消除,可以求出焦距fx,fy:

图片

图片

因为相机外参的旋转矩阵是正交的,即r1和r2正交,由此可推出相机主透镜的等效焦距fx和fy,由

图片

等效焦距等于焦距fM除以像素之间的物理尺寸1/Fu,即fx=fy=fMFu。

相邻虚拟相机中心之间的距离称为基线(baseline),该基线距可以通过标定时虚拟相机的外参得到,即外参平移量之间的距离,如图7所示。当D=fM时,由图7根据相似三角形可知两个角度θ是相等的,即:

图片

假如n=1,那么基线就是ui+1和ui之间的距离。即通过公式(18)可以得出:

图片

图片

图片

2.3重投影误差

对于传统相机的标定,特征点P对应于图像平面中的某一点,如图8(a)所示,从观测到的和预期得到的投影特征位置i和iˆ之间的距离称为“重投影差”,|E|='i−iˆ',对这个误差建立目标函数,采用非线性优化方法对相机参数进行优化。但是在光场相机标定中,由于一个特征点会多次出现在成像平面上,重投影误差是比较复杂的,如图8(b)所示,对于光场相机,每个特征点都有多个预期和观测到的图像点iˆj,ij,并且它们通常不会出现在相同的微透镜下的宏像素内。从每一个观测到的点ij可以得到一条投影光线φj,每条投影光线与特征点之间的距离'Ej'称为“光线重投影误差”。

图片

因为已经得到了Ni×Nj的子孔径图像阵列,从其中提取观察到的特征点,从M个不同的角度捕获标定板,并且每一个标定板有Nc个标定特征点,所以优化的总特征集大小为NcMNiNj。优化目标是找到内参矩阵H、相机姿态Tm(光场相机的外参等于最中心的虚拟相机的外参)、畸变系数d、n=[ijkl]T,i和j为每个微透镜对应像元的索引,即子孔径图像的索引

(0−Ni,0−Nj),k和l为微透镜的位置索引,即子孔径图像上像素值。φ表示点n通过畸变校正后通过光场相机模型(公式(1))得到光线的位置和角度,优化函数如公式(20)所示:

图片

式中:∥·∥pt−ray为“光线重投影误差”。

对该误差建立目标函数,采用Levenberg-Marquardt的优化算法对其进行优化,使用lsqnonlin函数得到优化后的结果。

3 实验

利用光场相机LytroIllum对该方法进行验证。进行标定的实验系统如图9所示,包括光场相机和标定板。从图像传感器上记录的原始2D图像中恢复4D光场L(s,t,u,v),并使用MATLABtoolboxLFToolboxV0.4[9]进行子孔径图像的提取。使用了相机提供的白图像来定位微透镜图像中心和矫正镜头的渐晕。提取到的四维光场有15×15个子孔径图像,每个子孔径图像有434pixel×625pixel。实验中,使用Lytro光场相机拍摄16个不同视角的棋盘格图片,该棋盘格有12×9个网格,标定板相邻特征点之间的距离为30.0mm×30.0mm。

图片

光场相机标定结果详见表1。该模型在非线性优化和畸变校正前后的重投影误差如图10所示。图10(a)中,主透镜边缘的重投影误差相比主透镜中间的重投影误差有较大浮动,而优化校正后的重投影误差大致相同,如图10(b)所示。文中改进的标定方法与Dansereau[9]等人的方法相比,均方根误差由0.363mm降低到0.332mm,精度提升8*,如图10(b)、(c)所示。另外,对于Dansereau[9]等人方法中采用的径向畸变模型,文中验证了采用多项式模型中双参数、单参数径向畸变模型以及除法模型,其标定精度不如三参数的径向畸变模型,也说明了原本径向模型的准确性。

图片

图片

4. 结论 

文中改进了一种双平面模型的光场相机的标定模型和方法。基于微透镜阵列和主透镜模型推导了从场景点到特定像素索引的投影关系,并应用了主透镜的径向和切向畸变校正方法和基于射线重投影的非线性优化方法,实验显示该方法的RMS射线重投影误差为0.332mm。Dansereau等人提出的参数模型缺乏对参数的实际物理意义的解释,文中从小孔成像模型和薄透镜模型出发,详细解释了每个参数的物理意义及初值的确定过程,为光场相机模型参数的理解与初始化奠定了理论基础,并且优化了针对光场相机主透镜的畸变模型。下一步计划包括研究一个更复杂的透镜畸变模型以及更精巧的相机投影模型,提高光场标定的准确性,并克服针孔模型和薄透镜模型的局限性。

文章来源:《红外与激光工程》第52卷第1期

作者:杨守瑞,段婉莹,艾文宇,陈胜勇

声明:转载此文目的在于传递更多信息,仅供读者学习、交流之目的。文章版权归原作者所有,如有侵权,请联系删除。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/548275.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Matlab方程组拟合【案例源码+视频教程】

专栏导读 作者简介:工学博士,高级工程师,专注于工业软件算法研究本文已收录于专栏:《复杂函数拟合案例分享》本专栏旨在提供 1.以案例的形式讲解各类复杂函数拟合的程序实现方法,并提供所有案例完整源码;2.…

llama_factory微调QWen1.5

GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100 LLMsUnify Efficient Fine-Tuning of 100 LLMs. Contribute to hiyouga/LLaMA-Factory development by creating an account on GitHub.https://github.com/hiyouga/LLaMA-FactoryQwen1.5 介绍 | QwenGITH…

Python(11):网络编程

文章目录 一、一些基本概念二、软件的开发架构(c/s架构和b/s架构)三、OSI模型四、socket套接字编程1.socket编程过程2.python中的socket编程 一、一些基本概念 来了解一些网络的基本概念 名词解释IP(互联网协议地址)IP用来标识网…

【Redis 神秘大陆】001 背景基础理论

一、背景&基础理论 1.1 什么是缓存 缓存:存储在计算机上的一个原始数据复制集,以便于访问——维基百科 1.2 为什么用缓存 提升用户体验: 【即效率、效益和基本主观满意度】CAST 使用者的状态、系统性能及环境,不同的人对于…

二维码生成器怎么做网址活码?链接制作二维码的方法

如何使用网址二维码生成器的功能来制作二维码呢?现在很多人会将网址生成二维码之后,分享给其他人通过手机扫码来打开网页获取内容,这种方式有利于网页的快速传播与分享,而且可以让更多的人同时访问对应的网页。那么网址转二维码的…

《二》Qt Creator工具介绍与使用

一、关于界面 点击文件--->新建文件或项目会出现如下图: 我们选择第一个 点击下一步下一步: 继续下一步直到结束: 二,具体文件介绍 我们点击pro查看以下 QT core gui第1行 表示使用qt的core和gui库,如果以后…

【C++程序员的自我修炼】日期类Date的实现

山河日月镌刻璀璨初心 八载春秋写就举世华章 目录 日期类Date的实现 构造函数 拷贝构造函数 获取月份天数的函数 日期类的检查 日期类的打印 运算符重载日期类的比较 运算符重载> 运算符重载 运算符的复用 日期加天数 日期减天数 ​编辑 运算符重载 运算符重载- 日期类的前…

11.盛最多水的容器(Java,双指针)

目录 题目描述:输入:输出:代码实现: 题目描述: 给定一个长度为 n 的整数数组 height 。有 n 条垂线,第 i 条线的两个端点是 (i, 0) 和 (i, height[i]) 。 找出其中的两条线,使得它们与 x 轴共同…

PHP01——php快速入门 之 在Mac上使用phpstudy快速搭建PHP环境

PHP01——php快速入门 之 在Mac上使用phpstudy快速搭建PHP环境 0. 前言1. 下载小皮面板1.1 下载phpstudy(小皮面板)1.2 启动、简单访问1.2.1 启动Apache1.2.2 访问1.2.3 访问自定义文件或页面 2. 创建网站2.1 创建网站2.2 可能遇到的问题2.2.1 hosts权限…

企业指标开发流程新主张

作为数据开发人员,你是否在指标开发过程中有过如下苦恼: Q1、 (甲方)业务人员:你这个指标计算逻辑不对,我们前期不是这么对的。 (乙方)卑微的你:Fu*k……我有录音。 …

创建和使用pipenv

创建pipenv 1.环境区别2.安装pipenv3.使用1.创建项目名称2.创建pipenv环境3.安装包1.安装包卡顿或卡住 4.查看包之间联系5.进入虚拟环境6.只安装dev环境的包7.常见的pipenv指令 1.环境区别 真实环境 真实环境可能被系统的其他软件依赖,下载包可能导致其他软件环境变…

Spark Standalone模式部署

准备至少2台虚拟机,装好linux系统,我装的是Ubuntu20.04。 1.修改主机名(每台) 1)修改/etc/hostsname内容,主节点改为master,子节点改为slaver1 sudo vim /etc/hostname 2)在/etc/…

【面试经典 150 | 数学】阶乘后的零

文章目录 写在前面Tag题目来源题目解读解题思路方法一:数学优化计算 写在最后 写在前面 本专栏专注于分析与讲解【面试经典150】算法,两到三天更新一篇文章,欢迎催更…… 专栏内容以分析题目为主,并附带一些对于本题涉及到的数据结…

防御性编程失败,我开始优化我写的多重 if-else 代码

最近防御性编程比较火,码农出身(前后端内推)的我不得试试 不出意外我被逮捕了,组内另外一位同事对我的代码进行了 CodeReview,我的防御性编程编程没有幸运逃脱,被标记上了“多重 if-else ”需要进行优化。 …

数据结构速成--链表

由于是速成专题,因此内容不会十分全面,只会涵盖考试重点,各学校课程要求不同 ,大家可以按照考纲复习,不全面的内容,可以看一下小编主页数据结构初阶的内容,找到对应专题详细学习一下。 目录 一…

中仕公考:2024山东高校毕业生“三支一扶”开始报名

2024年度山东省高校毕业生‘三支一扶’计划开始报名,此次全省共计招募1350名。 招募范围: 30周岁及其以下的山东省内普通高校全日制毕业生(1993年4月以后出生) 报名时间:2024年4月16日9:00—4月20日16:00 查询时间:2024年4月1…

在Docker里面修改mysql的密码(8.0以上版本)

介绍 我们在阿里或者华为的服务器上安装了mysql而且还公开了端口3306恰好你创建的容器的端口也是3306;那么我建议你修改mysql的密码,而且越复杂越好,因为我就被黑客给攻击过 修改密码 首先我们要启动好mysql容器 进入容器内部 **docker exec -it mysql bash ** 登入初始…

Qt for Android 开发环境

在搭建环境时开始感觉还挺顺利的,从 Qt 配置的环境里面看并没有什么问题,可真正编译程序的时候发现全是错误。 最开始的时候安装了 JDK21 最新版本,然后根据 JDK21 安装 ndk, build-tools, Platform-Tools 和 Gradle,但是不管这么…

基于SpringBoot+Vue的城镇住房管理系统(源码+文档+包运行)

一.系统概述 随着信息技术在管理上越来越深入而广泛的应用,管理信息系统的实施在技术上已逐步成熟。本文介绍了城镇保障性住房管理系统的开发全过程。通过分析城镇保障性住房管理系统管理的不足,创建了一个计算机管理城镇保障性住房管理系统的方案。文章…

【k8s】:深入理解 Kubernetes 中的污点(Taints)与容忍度(Tolerations)

【k8s】:深入理解 Kubernetes 中的污点(Taints)与容忍度(Tolerations) 1、污点(Taints)2、容忍度(Tolerations)3、示例演示-测试污点的具体应用场景3.1 给节点打污点&…