立体视觉的核心技术:视差计算与图像校正详解

立体视觉的核心技术:视差计算与图像校正详解

在立体视觉中,通过双目相机(即左右两台相机)的不同视角捕获的图像,结合几何关系,我们可以推算出场景中物体的深度。本文将深入讲解如何基于视差(disparity)和相似三角形的几何关系推导深度 z z z,并阐述图像校正(Image Rectification)的作用及其在视差匹配中的意义。

一、立体成像中的几何关系

在双目立体视觉系统中,左相机和右相机之间存在一个固定的水平距离,称为基线(baseline),记作 B B B。两个相机的焦距(focal length)为 f f f
在这里插入图片描述

图中展示了双目立体视觉系统的结构和关键参数,帮助我们理解视差与深度的关系。

1. 基本变量定义

如图所示,双目视觉系统由左相机(光心 O l O_l Ol)和右相机(光心 O r O_r Or)构成,两者之间的距离为基线 B B B。设待测物体在三维空间中的真实坐标为 P ( X , Y , Z ) P(X, Y, Z) P(X,Y,Z),其在左、右相机图像平面上的投影点分别为 p l ( x l , y l ) p_l(x_l, y_l) pl(xl,yl) p r ( x r , y r ) p_r(x_r, y_r) pr(xr,yr)

2. 焦距与图像平面

每个相机都有一个图像平面,其焦距为 f f f。图像平面是相机感知三维世界的二维空间,它距离相机光心的垂直距离为 f f f。在此图像平面上,左、右相机的成像点分别为 p l p_l pl p r p_r pr,其横坐标分别为 x l x_l xl x r x_r xr

3. 视差的定义

视差(Disparity)表示物体在左右图像平面上的水平位置差异,用 d x dx dx 表示,定义为:
d x = x l − x r dx = x_l - x_r dx=xlxr
视差的存在是因为左右相机拍摄同一物体的角度不同。视差越大,意味着物体越靠近相机;反之,视差越小,物体离相机越远。

4. 深度 Z Z Z 的推导

我们可以利用相似三角形关系推导出物体到相机的深度 Z Z Z。根据图中的三角形关系,以下是推导深度 Z Z Z 的过程。

  • 对于左相机成像的三角形,可以得到:
    X Z = x l f \frac{X}{Z} = \frac{x_l}{f} ZX=fxl

  • 对于右相机成像的三角形,可以得到:
    X − B Z = x r f \frac{X - B}{Z} = \frac{x_r}{f} ZXB=fxr

通过消去 X X X,得到 Z Z Z 的公式如下:

  1. 由左相机的成像关系得出:
    X = x l ⋅ Z f X = \frac{x_l \cdot Z}{f} X=fxlZ

  2. X X X 代入右相机的成像关系中,得到:
    x l ⋅ Z f − B Z = x r f \frac{\frac{x_l \cdot Z}{f} - B}{Z} = \frac{x_r}{f} ZfxlZB=fxr

  3. 整理得出:
    x l ⋅ Z − B ⋅ f = x r ⋅ Z x_l \cdot Z - B \cdot f = x_r \cdot Z xlZBf=xrZ

  4. Z Z Z 项合并,可以得出最终深度 Z Z Z 的表达式:
    Z = f B x l − x r = f B d x Z = f \frac{B }{x_l - x_r} = f \frac{B }{dx} Z=fxlxrB=fdxB

5. 深度 Z Z Z 与视差 d x dx dx 的关系

最终,深度 Z Z Z 可以表示为基线 B B B、焦距 f f f 和视差 d x dx dx 的函数:
Z = f B d x Z =f \frac{B }{dx} Z=fdxB

该公式表明,深度 Z Z Z 与视差 d x dx dx 成反比关系。具体来说:

  • 当视差 d x dx dx 增大时,深度 Z Z Z 会减小。这表示物体距离相机更近,因为左右相机看到的物体位置差异显著。
  • 当视差 d x dx dx 减小时,深度 Z Z Z 会增大。这表示物体距离相机更远,因为左右相机看到的物体位置几乎相同。

这种关系很直观:当物体靠近相机时,由于角度差异,左右相机的成像位置会有较大差异,形成较大的视差;而当物体较远时,左右相机成像位置差异较小,视差随之减小。


二、图像校正:视差匹配的预处理

在实际的双目视觉系统中,左右相机并不总是能够完美对齐。由于安装误差、镜头失真或相机的角度偏差,左右图像可能存在垂直方向或旋转上的不一致。这会导致对应点的极线(epipolar line)并不水平。
在这里插入图片描述
如图所示,左右图像平面中的极线可能是倾斜的,这种不对齐给视差匹配带来了额外的复杂性。为了解决这一问题,我们通常需要对图像进行图像校正(Image Rectification),即通过一种变换使得左右图像的极线变得水平平行,使得同一空间点在左右图像中的投影点位于同一条水平线上。这种操作能够简化视差匹配过程,并提高深度估计的精度。

1. 图像校正的作用

图像校正的核心目标是对输入图像进行透视变换,确保左右相机的极线在校正后的图像中保持水平。校正后的图像具有以下特点:

  • 极线水平对齐:校正后的极线保持水平,从而简化视差计算。
  • 简化匹配:同一个空间点的左右成像点处于同一水平线上,有利于更高效、精确地进行视差匹配。

在图中可以看到,原始左右图像的极线(红色虚线)可能并不水平;校正之后,这些极线被强制水平对齐,从而满足视差计算的要求。

2. 图像校正的数学描述

为了实现图像校正,构造一个变换矩阵 H H H 是关键步骤。通过这个矩阵,我们可以对原始图像进行透视变换,将左右图像中的点映射到校正后的平面上,从而使得左右相机的极线水平对齐。

图像校正过程可以表示为:

校正图像 = 原始图像 × H \text{校正图像} = \text{原始图像} \times H 校正图像=原始图像×H

其中 H H H 是校正变换矩阵,其求解依赖于相机的内参外参,即相机的内部光学特性(焦距、光心)和相机相对于其他相机或世界坐标系的空间位置关系(旋转和平移)。

内参矩阵 K K K

相机的内参描述了相机的光学特性,包括焦距和光心位置。内参矩阵 K K K 通常表示为:

K = [ f x 0 c x 0 f y c y 0 0 1 ] K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} K= fx000fy0cxcy1

其中 f x f_x fx f y f_y fy 是相机在 x x x y y y 方向的焦距, c x c_x cx c y c_y cy 是光心的位置。内参矩阵 K K K 可以通过相机标定技术得到。

外参矩阵 [ R ∣ t ] [R|t] [Rt]

外参定义了相机的空间位置和方向,包括旋转矩阵 R R R 和平移向量 t t t。其中, R R R 是一个 3 × 3 3 \times 3 3×3 矩阵,描述了相机坐标系相对于世界坐标系的旋转; t t t 是一个 3 × 1 3 \times 1 3×1 向量,描述了相机的平移。外参矩阵组合表示为:

外参矩阵 = [ R t 0 1 ] \text{外参矩阵} = \begin{bmatrix} R & t \\ 0 & 1 \end{bmatrix} 外参矩阵=[R0t1]

通过内参和外参的组合,我们可以构造出用于校正的变换矩阵 H H H

构造校正矩阵 H H H

校正矩阵 H H H 的构造如下:

H = K ⋅ R rect ⋅ K − 1 H = K \cdot R_{\text{rect}} \cdot K^{-1} H=KRrectK1

其中:

  • K K K 为内参矩阵;
  • R rect R_{\text{rect}} Rrect 是通过外参计算得到的旋转矩阵,用于将原始图像坐标旋转到极线水平对齐的校正坐标系下;
  • K − 1 K^{-1} K1 是内参矩阵的逆矩阵,用于将校正结果映射回像素坐标系。

通过这种变换,校正后的图像点 p rect \mathbf{p}_{\text{rect}} prect 可以由原始图像点 p \mathbf{p} p 映射得到:

p rect = H ⋅ p \mathbf{p}_{\text{rect}} = H \cdot \mathbf{p} prect=Hp

3. 校正后的视差匹配

完成图像校正后,左右图像的极线平行且水平对齐。这样一来,视差匹配可以直接在水平方向上进行,这带来了以下好处:

  • 提高视差计算的准确性:由于极线对齐,视差直接反映物体深度的信息,减少了因角度偏差带来的误差。
  • 降低计算复杂度:无需在垂直方向上搜索匹配点,从而简化了视差匹配的计算过程。

最终,通过图像校正,双目相机的视差匹配过程变得更加简单有效,为深度估计提供了精确的基础。这一过程在自动驾驶、三维重建和机器人视觉系统中尤为重要,因为它显著提升了双目视觉系统的鲁棒性和计算效率。


三、总结

立体视觉中的视差与深度成反比关系。通过双目相机拍摄的图像,我们可以利用视差来推算物体的深度。而图像校正操作则确保了左右图像的极线平行,使得视差计算更为简单和高效。这一过程在自动驾驶、3D 建模等领域中有着广泛的应用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/910567.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

11.6-11.7重大专业能力测试(换皮c++考试)全攻略(两天速通版)

relations的vector存储的就是Relation类型的数据,并不是指针,所以relations[i]访问Relation的成员就是直接用., 但是joins的JoinSql里面存的是指针,并不是实际的数据,所以应当用->来访问其中的成员 结构体当中的Sq…

Go语言结构体、方法与接口

文章目录 一、结构体构造函数Go语言中的构造函数语法 二、结构体方法和接收器无参数和返回值值类型接收者指针类型接收者方法继承方法重写 三、结构体比较结构体比较要求结构体比较符号 四、接口声明接口定义接口特点接口格式标准格式接口的实现:空接口error接口 五…

用Puppeteer点击与数据爬取:实现动态网页交互

用Puppeteer与代理IP抓取51job招聘信息:动态网页交互与数据分析 引言 在数据采集领域,传统的静态网页爬虫方式难以应对动态加载的网页内容。动态网页通常依赖JavaScript加载数据,用户需要与页面交互才能触发内容显示。因此,我们…

Sophos | 网络安全

在 SophosLabs 和 SophosAI 的威胁情报、人工智能和机器学习的支持下,Sophos 提供广泛的高级产品和服务组合,以保护用户、网络和端点免受勒索软件、恶意软件、漏洞利用、网络钓鱼和各种其他网络攻击。Sophos 提供单一的集成式基于云的管理控制台 Sophos …

盘点RPA在政务领域落地应用

数字政府是数字经济的中坚力量,以强有力的“抓手”带动着各行各业的数字化转型以及新技术的应用与普及。近两年,以RPA为代表的数字技术在政务实践中的表现受到了很高的关注,RPA数字员工在各地相关政务部门悄然上岗,有效助力政府信…

mysql5.7安装SSL报错解决(2),总结

Caused by: java.io.EOFException: SSL peer shut down incorrectly 在java里面连接mysql5.7.17数据库,报以上错误, 将数据库升级到mysql5.7.44就可以了。 这两天处理java连接mysql的问题,报了各种错误,总结一下就是openssl和mysq…

前端基础-html-注册界面

&#xff08;200粉啦&#xff0c;感谢大家的关注~ 一起加油吧~&#xff09; 浅浅分享下作业&#xff0c;大佬轻喷~ 网页最终效果&#xff1a; 详细代码&#xff1a; ​ <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"…

论文 | Teaching Algorithmic Reasoning via In-context Learning

这篇论文《通过上下文学习教授算法推理》探讨了如何通过上下文学习&#xff08;In-context Learning, ICL&#xff09;有效训练大型语言模型&#xff08;LLMs&#xff09;以进行算法推理。以下是从多个角度对这项工作的详细解读&#xff1a; 1. 问题陈述与研究动机 算法推理的…

Json 类型与多值索引 — OceanBase 4.3.2 AP 功能体验

本文来自 2024年OceanBase技术征文大赛——“让技术被看见 | OceanBase 布道师计划”的用户征文。也欢迎更多的技术爱好者参与征文&#xff0c;赢取万元大奖。和我们一起&#xff0c;用文字让代码跳动起来&#xff01; 参与2024年OceanBase技术征文大赛>> MySQL在5.7.8…

FPAGA学习~问题记录

1.Error: concurrent assignmentto a non-netstart is not permitted&#xff08;错误&#xff1a;不允许并发分配到非网络‘start’&#xff09; 原因&#xff1a;wire 或reg 类型不匹配引起的&#xff0c;assign与wrie搭配使用&#xff0c;而reg一般在always、initial语句块中…

微服务系列四:热更新措施与配置共享

目录 前言 一、基于Nacos的管理中心整体方案 二、配置共享动态维护 2.1 分析哪些配置可拆&#xff0c;需要动态提供哪些参数 2.2 在nacos 分别创建共享配置 创建jdbc相关配置文件 创建日志相关配置文件 创建接口文档配置文件 2.3 拉取本地合并配置文件 2.3.1 拉取出现…

003-Kotlin界面开发之声明式编程范式

概念本源 在界面程序开发中&#xff0c;有两个非常典型的编程范式&#xff1a;命令式编程和声明式编程。命令式编程是指通过编写一系列命令来描述程序的运行逻辑&#xff0c;而声明式编程则是通过编写一系列声明来描述程序的状态。在命令式编程中&#xff0c;程序员需要关心程…

Python作业记录

复制过来的代码的换行有问题&#xff0c;但是也不是什么大问题。 后续我会进行补充和修改。 请将如下英文短句根据单词切分成列表&#xff1a; The continent of Antarctica is rising. It is due to a geological phenomenon called post-glacial uplift 并在切分好的列表…

pdmaner连接sqlexpress

别以为sqlserver默认的端口总是1433 案例 有台sqlserver2008 express服务器&#xff0c;刚安装&#xff0c;支持混合模式登录&#xff0c;其它什么配置也没改。 先看用ADO连接 这说明&#xff1a; 案例中sqlserver端口不是1433 &#xff01;&#xff01;&#xff01;ADO连接…

轻型民用无人驾驶航空器安全操控------理论考试多旋翼部分笔记

官网&#xff1a;民用无人驾驶航空器综合管理平台 (caac.gov.cn) 说明&#xff1a;一是法规部分&#xff1b;二是多旋翼部分 本笔记全部来源于轻型民用无人驾驶航空器安全操控视频讲解平台 目录 官网&#xff1a;民用无人驾驶航空器综合管理平台 (caac.gov.cn) 一、轻型民用无人…

二叉树相关习题

题目&#xff1a;100. 相同的树 - 力扣&#xff08;LeetCode&#xff09; 给你两棵二叉树的根节点 p 和 q &#xff0c;编写一个函数来检验这两棵树是否相同。 如果两个树在结构上相同&#xff0c;并且节点具有相同的值&#xff0c;则认为它们是相同的。 示例 1&#xff1a; …

阅读笔记记录

论文作者将对话建模成一个seq2seq的映射问题&#xff0c;该seq2seq框架以对话历史数据&#xff08;通过belief tracker建模&#xff09;和数据库查询结果&#xff08;通过Database Operator得到结果&#xff09;作为支撑。 Abstract 教会机器完成与人自然交流的任务是充满挑战…

测试分层:减少对全链路回归依赖的探索!

引言&#xff1a;测试分层与全链路回归的挑战 在软件开发和测试过程中&#xff0c;全链路回归测试往往是一个复杂且耗费资源的环节&#xff0c;尤其在系统庞大且模块众多的场景下&#xff0c;全链路测试的集成难度显著提高。而“测试分层”作为一种结构化的测试方法&#xff0…

融合虚拟化与容器技术,打造灵活又安全的AI算力服务

随着人工智能技术的不断进步&#xff0c;AI企业在迅速推进大模型业务时&#xff0c;往往会倾向于采用容器化的轻量部署方案。相较于传统的虚拟机部署&#xff0c;容器化在快速部署、资源利用、环境一致性和自动化编排等方面具备显著优势。 然而&#xff0c;容器技术所固有的隔…

协程3 --- golang的协程调度

文章目录 单进程时代多进程/线程时代协程时代内核级线程模型&#xff08;1&#xff1a;1&#xff09;用户级线程模型&#xff08;N&#xff1a;1&#xff09;两级线程模型CMP&#xff08;M&#xff1a;N&#xff09;GM模型 GMP模型 单进程时代 描述&#xff1a;每一个程序就是一…