一分钟详解「本质矩阵」推导过程

2,980 阅读2分钟

前言

两幅视图存在两个关系:第一种,通过对极几何,一幅图像上的点可以确定另外一幅图像上的一条直线;另外一种,通过上一种映射,一幅图像上的点可以确定另外一幅图像上的点,这个点是第一幅图像通过光心和图像点的射线与一个平面的交点在第二幅图像上的影像。第一种情况可以用基本矩阵来表示,第二种情况则用单应矩阵来表示。而本质矩阵则是基本矩阵**的一种特殊情况,是在归一化图像坐标系下的基本矩阵。

一 本质矩阵如何推导

推导过程梳理如下:

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

注: 1. 向量叉乘的线性性质 几何解释

叉乘(向量的外积)是物理里面常常用到的概念, 它是由两个向量得到一个新的向量的运算。一般我们都是从几何意义下手: 向量 \overrightarrow{a}\overrightarrow{b} 叉乘, 得到一个垂直于\overrightarrow{a}\overrightarrow{b} 的向量\overrightarrow{a} x \overrightarrow{b} , 它的方向由右手螺旋法则确定, 它的长度是\overrightarrow{a}\overrightarrow{b} 张开的平行四边形的面积。

由上可知,向量\overrightarrow{t}x\overrightarrow{t}=0

  1. \begin{bmatrix}
x
\end{bmatrix}_{\times }为反对称矩阵。

由上推导过程,即可求出本质矩阵的表达式E,且其满足\tilde{p}_{r}^{T}E\tilde{p}_{l}^{T}=0等式关系。

二 本质矩阵的意义

由以上推导过程可知,本质矩阵E=[t]_{x}R

本质矩阵中包含R和t(两个相机之间的旋转与平移关系),它通过空间中的物理点,联系了左右相机之间的位置关系。

三 本质矩阵的求解

在这里插入图片描述

注: \begin{bmatrix}
e_{1}^{T}\\ 
e_{2}^{T}\\ 
e_{3}^{T}\end{bmatrix}中每行为3x1矩阵,共有九个元素。现将其除上e_{33},则还剩8个元素,因而只需要8个点,即可求出各参数。

在这里插入图片描述

注: 上式中Q为9个点组成的矩阵, \xi _{min}\left ( Q^{T}Q \right ) 表示9x9矩阵( Q^{T}Q)最小奇异值对应的奇异向量。此处得到的\Theta便是本质矩阵E,接下来,需要将E进行分离出R和t。

在这里插入图片描述

注:

本质矩阵的求解在opencv中已经封装好,无需自己再去写函数实现,只需大致了解其推导过程即可。

四 扩展——基本矩阵

在这里插入图片描述

之前我们求出的本质矩阵,是在相机坐标系下,而此处通过基本矩阵,便可以得到像素坐标系下的对应关系下。由此可知,基本矩阵包含了相机的内参数信息。

在这里插入图片描述