一、图像形成概述
在分析和处理图像之前,需要建立一个描述场景几何形状的词汇表。还需要了解在给定一组光照条件、场景几何、表面特性和相机光学器件的情况下产生特定图像的图像形成过程。同时了解图像形成过程的简化模型。
首先了解基本几何图元(点、线和平面)以及将这些 3D 量投影到 2D 图像特征的几何变换(图1-a)。 然后再了解光照、表面属性(图1-b)和相机光学(图1-c)如何相互作用以产生落在图像传感器上的颜色值。继而知道连续彩色图像如何在图像传感器内部转换为离散数字样本(图 1-d),以及如何避免(或至少表征)采样缺陷,例如混叠。
二、几何图元和变换
首先需要了解2D和3D图元,即点、线和平面。接着了解如何将3D特征投影到2D特征中。
1、几何图元
几何图元构成了用于描述三维形状的基本构建块。
(1)2D points
二维点(图像中的像素坐标)可以用一对值表示,,或者,我们使用表示法来表示列向量。
二维点也可以使用齐次坐标表示, ,其中仅在尺度上不同的向量被认为是等价的。 称为二维射影空间。
齐次向量可以通过除以最后一个元素转换回非齐次向量 x,即,其中 是增广向量。最后一个元素为的齐次点称为理想点或无穷远处的点,它们没有等效的非齐次表示。
(2)2D lines
二维线也可以用齐次坐标表示。对应的线方程为
我们可以对直线方程向量进行归一化,使得 其中。在这种情况下,是垂直于直线的法向量,是 它到原点的距离(图 2)。(这种归一化的一个例外是无穷远处的线,它包括无穷远处的所有(理想)点。)
也可以将表示为旋转角度的函数,(图2-a)。 这种表示通常用于霍夫变换寻线算法中,组合也称为极坐标。
当使用齐次坐标时,我们可以计算两条线的交点为,其中是叉积算子。类似地,连接两点的线可以写成,当试图将一个交点拟合到多条线,或者相反,一条线到多点时,可以使用最小二乘法。
(3)2D conics
还有其他代数曲线可以用简单的多项式齐次方程表示。 例如,圆锥截面(之所以这么称呼,是因为它们是平面和 3D 圆锥的交点)可以使用二次方程来编写。
二次方程在多视图几何和相机校准的研究中发挥了有用的作用。
(4)3D points
三维的点坐标可以用非齐次坐标 或齐次坐标 来写。
和以前一样,有时使用具有的增广向量 来表示 3D 点很有用。
(5)3D planes
3D 平面也可以表示为齐次坐标 并带有相应的平面方程,我们还可以将平面方程写作归一化,其中 。在这种情况下,是垂直于平面的法向量,并且是它到原点的距离(图2-b)。 与 2D 线的情况一样,无穷远处的平面包含无穷远处的所有点,不能归一化(即,它没有唯一的法线或有限距离)
我们可以将表示为两个角度的函数,即,使用球坐标,但这些比极坐标更不常用,因为它们不能均匀地对可能的法向量空间进行采样。
(6)3D lines
3D 中的线条不如 2D 中的线条或 3D 中的平面那么优雅。 一种可能的表示是使用线上的两个点。 线上的任何其他点都可以表示为这两个点的线性组合,如图3所示。 如果我们限制 ,我们得到连接 p 和 q 的线段。
如果我们使用齐次坐标,我们可以把这条线写成
这种情况的一个特殊情况是当第二个点在无穷远处时,即。在这里,我们看到是线的方向。然后我们可以将非齐次3D line方程重写为
3D 线的端点表示的一个缺点是它具有太多的自由度,即六个(每个端点三个)而不是 3D 线真正具有的四个自由度。 然而,如果我们将线上的两个点固定在特定的平面上,我们就会得到一个具有四个自由度的表示。 例如,如果我们表示几乎垂直的线,则和形成两个合适的平面,即两个平面中的坐标提供了描述线的四个坐标。 这种双平面参数化用于描述的光场和基于Lumigraph图像的渲染系统,以表示相机在物体前面移动时看到的光线集合。 双端点表示对于表示线段也很有用,即使它们的确切端点无法看到(只能猜测)。
如果我们希望在不偏向任何特定方向的情况下表示所有可能的线,我们可以使用 Plüucker 坐标。 这些坐标是斜对称矩阵中的六个独立非零项
其中和是线上的任意两个(不相同的)点。 该表示只有四个自由度,因为 L 是齐次的并且还满足 ,这导致对 Plüucker 坐标的二次约束。
在实践中,最小表示对于大多数应用程序来说不是必需的。可以通过估计它们的方向(可能提前知道,例如,对于建筑)和线的可见部分内的某个点或通过使用两个端点来获得 3D 线的适当模型,因为 线通常作为有限线段可见。 但是,如果您对有关最小线参数化主题的更多细节感兴趣,Förstner (2005) 讨论了在投影几何中推断和建模 3D 线的各种方法,以及如何估计此类拟合模型中的不确定性。
(7)3D quadrics
圆锥截面的 3D 模拟是二次曲面
同样,二次曲面在多视图几何研究中很有用,也可以用作有用的建模基元(球体、椭球体、圆柱体)。