通过基础矩阵和本质矩阵恢复摄像机矩阵

本人邮箱：[email protected]，欢迎交流讨论，
欢迎转载，转载请注明网址http://blog.csdn.net/u010128736/

一、通过基础矩阵恢复摄像机矩阵

(1)基础矩阵的多义性

根据之前博客对基础矩阵的讲解，基础矩阵F可以由两个摄像机矩阵P和P’表示，即

l' = (P' C) \times (P' P +) x F = (P' C) \times (P' P +)

$l' = (P'C) \times (P'P^+)x \\ F = (P'C) \times (P'P^+)$
若H表示3维射影变换的4×4矩阵，对两个摄像机矩阵进行射影变换，变作

PH $PH$ 和

P′H $P'H$ ，那么对于新的摄像机矩阵来说

P^C^= 0, P^= P H C^= H - 1 C

$\hat P \hat C = 0, \hat P = PH \\ \hat C = H^{-1}C$
新的对极线可以表示为

l^' = (P^' C^) \times (P^' P^+) x = ((P' H) (H - 1 C)) \times ((P' H) (P H) +) x

$\begin{align} \hat l' &= (\hat P'\hat C) \times (\hat P'\hat P^+)x \\ &= ((P'H)(H^{-1}C)) \times ((P'H)(PH)^+)x \end{align}$
最后，新的基础矩阵可以推导得到其等于原基础矩阵F：

F^= ((P' H) (H - 1 C)) \times ((P' H) (P H) +) F^= (P' C) \times (P' P +) = F

$\hat F = ((P'H)(H^{-1}C)) \times ((P'H)(PH)^+) \\ \hat F = (P'C) \times (P'P^+) = F$
因此，由摄像机矩阵对（P，P’）唯一确定一个基础矩阵F，但反过来由基础矩阵F，不能唯一得到一对摄像机矩阵对，结果相差一个右乘3D射影变换。即在相差一个射影变换的意义下摄像机矩阵可以由基本矩阵确定。

(2)摄像机矩阵的规范形式

由于上述的多义性，对于给定基础矩阵定义摄像机矩阵对，规定一种特殊的规范形式，即规定第一个摄像机矩阵取[I|0]。则对于P=[I|0]和P’=[M|m]，基础矩阵为：

F = [m] \times M

$F=[m]_\times M$
对于基础矩阵F，我们能得到下列特征:
★ 一个非零矩阵F是对应于一对摄像机矩阵P和P’的基本矩阵的充要条件是 $P'^TFP$ 是非对称矩阵。
所以对应于基本矩阵F，一对规范形式的摄像机矩阵的一般公式是：

P = [I | 0] P' = [[e'] \times F + e' v T | λ e']

$P=[I|0] \\ P'=[[e']_\times F+e'v^T | \lambda e']$
其中v是任何3维矢量，λ是一个正标量。
根据Luong和Vieville曾建议，基础矩阵F对应的摄像机矩阵可以取为：

P = [I | 0] P' = [[e'] \times F | e']

$P=[I|0] \\ P'=[[e']_\times F|e']$

二、通过本质矩阵恢复摄像机矩阵

(1)本质矩阵

本质矩阵是归一化图像坐标下的基础矩阵的特殊形式。对于P=K[R|t]的摄像机矩阵，x=PX为图像上的一点。归一化坐标为：

x^= K - 1 x x^= [R | t] X

$\hat x=K^{-1}x \\ \hat x=[R|t]X$
摄像机矩阵

K−1P=[R|t] $K^{-1}P=[R|t]$ 称为 归一化摄像机矩阵。对于一对归一化的摄像机矩阵

P=[I|0] $P=[I|0]$ 和

P′=[R|t] $P'=[R|t]$ ，则其对应的基础矩阵称为本质矩阵，即

E = [t] \times R = R [R T t] \times x^' T E x^= 0 x' T K' - T E K - 1 x = 0

$E=[t] _\times R=R[R^T t]_\times \\ {\hat x'}^TE\hat x=0 \\ {x'}^T{K'}^{-T}EK^{-1}x=0$
由

x′TFx=0 $x'^TFx=0$ 得

E = K' T F K

$E={K'}^{T}FK$

(2)本质矩阵的性质

本质矩阵E有5个自由度，是一个齐次矩阵。一个3×3矩阵是本质矩阵的充要条件是它的奇异值中有两个相等，而第三个是0。

E = [t] \times R = S R

$E=[t]_\times R=SR$
其中S是反对称矩阵。我们定义正交矩阵W和反对称矩阵Z如下所示：

W = ⎡ ⎣ ⎢ 010 - 1 00 001 ⎤ ⎦ ⎥, Z = ⎡ ⎣ ⎢ 0 - 1 0 100000 ⎤ ⎦ ⎥

$W=\left[ \begin{array}{ccc} 0 & -1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{array} \right] , Z=\left[ \begin{array}{ccc} 0 & 1 & 0 \\ -1 & 0 & 0 \\ 0 & 0 & 0 \end{array} \right]$
则S可以记做

S=kUZUT $S=kUZU^T$ ，其中U正交，

Z=−diag(1,1,0)W $Z=-diag(1,1,0)W$ ，所以在相差一个常数的意义下可得

E=SR=Udiag(1,1,0)(WUTR) $E=SR=Udiag(1,1,0)(WU^TR)$ 。

（3）由本质矩阵恢复摄像机矩阵

将E进行SVD分解为 $E=Udiag(1,1,0)V^T$ ，第一个摄像机矩阵P=[I|0]，那么第二个摄像机矩阵P’有四种可能：

P' P' P' P' = [U W V T | u 3] = [U W V T | - u 3] = [U W T V T | u 3] = [U W T V T | - u 3]

$\begin{align} P'&=[UWV^T|u_3] \\ P'&=[UWV^T|-u_3] \\ P'&=[UW^TV^T|u_3] \\ P'&=[UW^TV^T|-u_3] \end{align}$
如图所示，这四个解的几何意义表示如下：
这里写图片描述

可以看到，只有图a中的重构点在两个摄像机的前面，满足真实情况。所以可以用一个点进行测试，来选择正确的摄像机矩阵P’。