第二章：摄像机标定

1. 针孔模型&透镜摄像机标定问题

1.1 摄像机标定

（1）标定目标

摄像机标定：求解摄像机内、外参数矩阵 K [R T]；
因为摄像机内外参数矩阵描述了三维世界到二维像素的映射关系；

（2）标定装置

1.2 投影矩阵M求解

（1）标定方程

• 摄像机内外参数共同构成了投影矩阵，投影矩阵共有11个未知量；
• 每对点可以列出两个方程，因此，最少需要6对对应点；
• 实际操作中通常使用多于6对点来获得更加鲁棒的结果；

• 方程个数 $2n$ 个，且 $n>6$；
• 未知参数11个；
• 这是一个超定齐次线性方程组；

（2）投影矩阵M求解

1.2 提取摄像机内参数

$$M=K[RT]=[KRKT]=[Ab]$$

考虑投影矩阵M求解时，假定$||m||=1$，因此在M前面乘了一个$\rho$

（1）提取ρ

从上式第三行可得：

$$\begin{array}{rl}\because & \rho a_3^T=r_3^{T}and|r_3|=1\\ \therefore & |\rho ||a_3|=1\end{array}$$

$$\therefore \rho =\frac{\pm 1}{|a_3|}$$

（2）提取u0,v0

$$\begin{array}{rl}\because & r_1\cdot r_3=0\\ & r_2\cdot r_3=0\\ & r_3\cdot r_3=1\end{array}$$

$$\begin{array}{rl}\therefore & \rho a_1^T\cdot \rho a_3^T\\ & =(\alpha r_1^T-\alpha cot\theta r_2^T+u_0{R}_3^T)\cdot r_3^T\\ & =0-0+u_0\\ & \\ & \rho a_2^T\cdot \rho a_3^T\\ & =(\frac{\beta }{sin\theta }{r}_2^T+v_0{r}_3^T)\cdot r_3^T\\ & =0+v_0\end{array}$$

$$\begin{array}{rl}\therefore & u_0={\rho }^2(a_1\cdot a_3)\\ & v_0={\rho }^2(a_2\cdot a_3)\end{array}$$

（3）提取θ

$$\begin{array}{rl}\because & r_1\times r_2=r_3\\ & r_1\times r_3=r_2\\ & r_3\times r_3=0\\ & |\vec{a}|=\sqrt{{\vec{a}}^T\cdot \vec{a}}\\ & cot\theta =\frac{cos\theta }{sin\theta }\\ & si{n}^2\theta +co{s}^2\theta =1\end{array}$$

$$\begin{array}{rl}\therefore {\rho }^2(a_1\times a_3)& =(\alpha r_1^T-\alpha cot\theta r_2^T+u_0{R}_3^T)\times r_3^T\\ & =\alpha r_2-\alpha cot\theta r_1\\ {\rho }^2(a_2\times a_3)& =(\frac{\beta }{sin\theta }{r}_2^T+v_0{r}_3^T)\times r_3^T\\ & =\frac{\beta }{sin\theta }{r}_1\end{array}$$

$$\begin{array}{rl}\therefore & {\rho }^2|a_1\times a_3|\\ & =|(\alpha r_2-\alpha cot\theta r_1)|\\ & =\sqrt{(\alpha r_2-\alpha cot\theta r_1{)}^T\cdot (\alpha r_2-\alpha cot\theta r_1)}\\ & =\sqrt{{\alpha }^2+(\alpha cot\theta {)}^2}\\ & =\sqrt{{\alpha }^2(1+(\frac{cos\theta }{sin\theta }{)}^2)}\\ & =\sqrt{(\frac{\alpha }{sin\theta }{)}^2}\\ & =\frac{|\alpha |}{sin\theta }\\ & \\ & {\rho }^2|a_2\times a_3|\\ & =|\frac{\beta }{sin\theta }{r}_1|\\ & =\sqrt{(\frac{\beta }{sin\theta }{r}_1{)}^T\cdot (\frac{\beta }{sin\theta }{r}_1)}\\ & =\sqrt{(\frac{\beta }{sin\theta }{)}^2}\\ & =\frac{|\beta |}{sin\theta }\end{array}$$

$$\begin{array}{rl}\because & {\rho }^2(a_1\times a_3)\cdot {\rho }^2(a_2\times a_3)\\ & =(\alpha r_2-\alpha cot\theta r_1)\cdot (\frac{\beta }{sin\theta }{r}_1)\\ & =-\alpha cot\theta \frac{\beta }{sin\theta }\\ & =-\alpha \frac{cos\theta }{sin\theta }\frac{\beta }{sin\theta }\\ & =-\frac{acos\theta \beta }{si{n}^2\theta }\\ & \\ & {\rho }^2|a_1\times a_3|\cdot {\rho }^2|a_2\times a_3|\\ & =\frac{|\alpha |}{sin\theta }\cdot \frac{|\beta |}{sin\theta }\\ & =\frac{|\alpha ||\beta |}{si{n}^2\theta }\end{array}$$

$$\begin{array}{rl}\therefore & \frac{{\rho }^2(a_1\times a_3)\cdot {\rho }^2(a_2\times a_3)}{{\rho }^2|a_1\times a_3|\cdot {\rho }^2|a_2\times a_3|}\\ & =-\frac{acos\theta \beta }{si{n}^2\theta }\frac{si{n}^2\theta }{|\alpha ||\beta |}\\ & =-cos\theta \end{array}$$

$$\therefore cos\theta =-\frac{(a_1\times a_3)\cdot (a_2\times a_3)}{|a_1\times a_3|\cdot |a_2\times a_3|}$$

如果 $\theta =90^o$，则$cos\theta =0$，所以$(a_1\times a_3)\cdot (a_2\times a_3)=0$，这正时之前提到的投影矩阵M满足零倾斜透视投影的条件；

（4）提取α,β

之前（3）中推导过：
$$\begin{array}{rl}\because & {\rho }^2|a_1\times a_3|=\frac{|\alpha |}{sin\theta }\\ & \\ & {\rho }^2|a_2\times a_3|=\frac{|\beta |}{sin\theta }\end{array}$$

$$\begin{array}{rl}\therefore & \alpha ={\rho }^2|a_1\times a_3|sin\theta \\ & \beta ={\rho }^2|a_2\times a_3|sin\theta \end{array}$$

如果 $\alpha =\beta$，所以 $|a_1\times a_3|=|a_2\times a_3|$，所以 $(a_1\times a_3)\cdot (a_1\times a_3)=(a_2\times a_3)\cdot (a_2\times a_3)$，这也是前面提到的零倾斜透视投影的基础上宽高比为1的另一个条件。

1.3 提取摄像机外参数

（1）提取r3

$$\because \rho a_3^T=r_3^{T}and\rho =\frac{\pm 1}{|a_3|}$$

$$\therefore r_3=\frac{\pm a_3}{|a_3|}$$

（2）提取r1

$$\begin{array}{rl}& \because \rho a_2^T\times \rho a_3^T=(\frac{\beta }{sin\theta }{r}_2^T+v_0{r}_3^T)\times r_3^T\\ & \therefore {\rho }^2(a_2\times a_3)=\frac{\beta }{sin\theta }{r}_1\end{array}$$

因为 $r_1$ 是单位向量，且${\rho }^2，\frac{\beta }{sin\theta }为实数$，
$$\begin{array}{rl}& \therefore r_1=\frac{(a_2\times a_3)}{|a_2\times a_3|}\end{array}$$

（3）提取r2

$$r_2=r_3\times r_1$$

（4）提取T

$$\begin{array}{rl}\rho [Ab]=K[RT]& =[KRKT]\\ \rho b& =KT\\ K^{-1}\rho b& =T\end{array}$$

$$\therefore T=\rho K^{-1}b$$

1.4 摄像机标定结果

2. 径向畸变摄像机标定

2.1 径向畸变摄像机模型

如下图所示的径向畸变情况下，图像的放大率随距离光轴距离增加而减小：

对于桶形畸变来说，$K_p>0$，则$\lambda >1$;
对于桶形畸变来说，$K_p<0$，则$\lambda <1$;

$$\begin{array}{rl}& \therefore \{\begin{array}{l}{u}_i=\frac{1}{\lambda }\frac{m_1{P}_i}{m_3{P}_i}\\ v_i=\frac{1}{\lambda }\frac{m_2{P}_i}{m_3{P}_i}\end{array}\\ & \therefore \{\begin{array}{l}{u}_i\lambda m_3{P}_i=m_1{P}_i\\ v_i\lambda m_3{P}_i=m_2{P}_i\end{array}\\ & \therefore \{\begin{array}{l}{m}_1{P}_i-u_i\lambda m_3{P}_i=0\\ m_2{P}_i-v_i\lambda m_3{P}_i=0\end{array}\end{array}$$

$$Q\vec{m}=0$$

在第一节中此处列出的公式是:

$$P\vec{m}=0$$
P是由3D点$P_i$和2D图像点$p_i$构成的全是已知数的矩阵，$\vec{m}$为待求解的投影矩阵，所以这是一个线性方程。

而Q里面除了包含由3D点$P_i$和2D图像点$p_i$构成的已知数外，还包含未知数$\lambda$，所以Q不是线性方程组；

此处即然$\lambda$是未知数，为啥不能把$\lambda$写到待求解的$\vec{m}$里面呢，因为不同点的$\lambda$是不一样的。

2.2 径向畸变投影矩阵求解

由于从初始解开始迭代的话，若初始解与实际相距较远，可能收敛会很慢。
因此，可以求解系统的线性部分，以找到近似解；适用该解作为整个系统的初始条件。

2.3 求解线性部分m1，m2

核心：通过比值消掉未知数$\lambda$。

3. 2D平面变换

3.1 2D欧式变换

3.2 2D相似变换

均匀伸缩变化如下：

相似变换由缩放变换和欧式变换合成：

3.3 2D仿射变换

3.4 2D透视变换

4. 3D空间变换

4.1 3D欧式变换

4.2 3D仿射变换

4.3 透视变换