一、机器视觉几何坐标概论
机器视觉系统有三大坐标系,分别是:1、世界坐标系,2、摄像机坐标系,3、图像(像素)坐标系;
1、世界坐标系
世界坐标系(Xw,Yw,Zw)是目标物体位置的参考系,根据运算方便自由设置圆点位置,可以位于机器手底座或者机器手前端执行器上。
其主要作用有
(1)盛放物体的三维坐标;
(2)标定的时候根据原点确定标定物的位置;
(3)给定出两个摄像机相对于世界坐标系的位置,从而求出两个或多个相机之间的坐标关系;
2、摄像机坐标系
摄像机坐标系(Xc,Yc,Zc)是摄像机在自己角度上的坐标系,原点在摄像机的光心上,Z轴与摄像机光轴平行,即摄像机的镜头拍摄方向。
3、图像(像素)坐标系
3.1、图像坐标系
图像坐标系(x,y)单位米或毫米,是连续图像坐标或者空间坐标,以图片对角线交点作为基准原点建立的坐标系。
3.2、像素坐标系
像素坐标系(u,v)单位尺度为一个pixel,是离散图像坐标或像素坐标,原点在图片的左上角。
4、坐标系之间的关系
当我们在图片中确定了某个物体的位置,如何让机器手去到空间中的实际位置进行抓取呢?这就需要对坐标进行转换。而从像素点到空间点的转换与空间点到像素点的转换是相反的,我们先将后者的推导过程。
4.1、图像坐标系与像素坐标系
图像坐标系与像素坐标系的关系为:
f(x)={u=dxx+u0v=dyy+v0
dx代表一个像素的宽度(x方向),与x同单位,x/dx表示x轴上有多少个像素,同理y/dy表示y轴上的像素个数,(u0,v0)是图像平面中心。
将上述关系转换为矩阵形式:
⎣⎡uv1⎦⎤=⎣⎡dx1000dy10u0v01⎦⎤⎣⎡xy1⎦⎤
4.2、相机坐标系与图像坐标系
从相机坐标系到图像坐标系是一个三维坐标到二维坐标(3D->2D)的过程,称之为透视投影变换。为了求解它们之间的关系,将普通图像坐标(x,y)拓展为齐次坐标(x,y,1)。空间中的某点,投影到图像平面上的点与相机的光心在一条直线上。以光心为原点建立相机坐标系:
根据相似三角形关系可以得到以下:
△ABO_c ~ △oCO_c
△PBO_c ~ △pCO_c
oCAB=oOcAOc=pCPB=xXc=fZc=yYc
x=f⋅ZcXc,y=f⋅ZcYc
f为相机焦距(相机光心到成像平面的距离)
用矩阵形式表示为:
Zc⎣⎡xy1⎦⎤=⎣⎡f000f0001000⎦⎤⎣⎢⎢⎡XcYcZc1⎦⎥⎥⎤
统一将成像平面上的点用(u,v)表示:
Z⎣⎡uv1⎦⎤=⎣⎡f000f0001000⎦⎤⎣⎢⎢⎡XcYcZ1⎦⎥⎥⎤=⎣⎡f⋅Xcf⋅Yc1⎦⎤
得图像点与空间点的关系为:
u=Zf⋅Xc,v=Zf⋅Yc
4.3、世界坐标系与相机坐标系
世界坐标(Xw,Yw,Zw)与相机坐标(Xc,Yc,Zc)同为三维坐标(右手系,三轴互相垂直),两个坐标系的关系为刚体变换(刚体变换:当物体不发生形变时,对一个几何物体作旋转,平移的运动)。可以先凭空想象下,有两个坐标系A与B,如何将A坐标系下的坐标转换到B坐标系表示,首先将A坐标系以原点为基准任意旋转,使其x轴,y轴,z轴与B坐标轴平行且同方向,接着平移AB坐标系原点的直线距离,就可以将A坐标系下的坐标转换到B坐标系,这个旋转Rotation与平移Transport就是需要求得的两个三维坐标之间的关系。
用以下等式表示两个坐标系之间的关系:
⎣⎡XcYcZc⎦⎤=R⎣⎡XwYwZw⎦⎤+T
其中旋转矩阵R可以看成空间坐标分别沿着X,Y,Z轴的三个旋转矩阵点乘得到的结果。
当绕Z轴旋转
θ角度,新旧坐标的关系为:
⎩⎪⎨⎪⎧x=x′cosθ−y′sinθy=x′sinθ+y′cosθz=z′
用矩阵表示为:
⎣⎡xyz⎦⎤=⎣⎡cosθsinθ0−sinθcosθ0001⎦⎤⎣⎡x′y′z′⎦⎤=R1⎣⎡x′y′z′⎦⎤
同理,绕X轴,Y轴旋转
δ和
ω角度,可以得到:
⎣⎡xyz⎦⎤=⎣⎡1000cosδ−sinδ0sinδcosδ⎦⎤⎣⎡x′y′z′⎦⎤=R2⎣⎡x′y′z′⎦⎤
⎣⎡xyz⎦⎤=⎣⎡cosω0sinω010−sinω0cosω⎦⎤⎣⎡x′y′z′⎦⎤=R3⎣⎡x′y′z′⎦⎤
于是,得到旋转矩阵R = R1*R2*R3,维度为3X3,T为平移矩阵,维度为3X1。
拓展为其次坐标:
⎣⎢⎢⎡XcYcZc1⎦⎥⎥⎤=[R0T1]⎣⎢⎢⎡XwYwZw1⎦⎥⎥⎤
4.4、从世界坐标到像素坐标
综合上面推导的过程,
以上顺序用矩阵表示为不断左乘下一步,即:
Zc⎣⎡uv1⎦⎤=⎣⎡dx1000dy10u0v01⎦⎤⎣⎡f000f0001000⎦⎤[R0T1]⎣⎢⎢⎡XwYwZw1⎦⎥⎥⎤
等式右边的前两个矩阵称的乘积为相机内参,第三个矩阵称为相机外参(Toc),后面的单目相机标定,就是为了求解相机的内外参数。
至此,机器视觉几何坐标概论记录完了,接下来会陆续记录我所参与的项目中包含标定的内容。