sae部署wordpress,汕头seo专家,手机网站建设公司电话咨询,4399游戏官网04 相机与图像
4.1 相机模型
4.1.1 针孔相机模型
针孔模型描述了一束光线通过针孔后#xff0c;在针孔背面投影成像的关系#xff08;类似小孔成像原理#xff09;。 根据相似三角关系 Z f − X X ′ − Y Y ′ (3-1) \frac{Z}{f}-\frac{X}{X^{\prime}}-\frac{Y}{Y^{\p…04 相机与图像
4.1 相机模型
4.1.1 针孔相机模型
针孔模型描述了一束光线通过针孔后在针孔背面投影成像的关系类似小孔成像原理。 根据相似三角关系 Z f − X X ′ − Y Y ′ (3-1) \frac{Z}{f}-\frac{X}{X^{\prime}}-\frac{Y}{Y^{\prime}} \tag{3-1} fZ−X′X−Y′Y(3-1)
其中负号表示成的像是倒立的。
但实际相机得到的图像并不是倒像我们等价地将成像平面对称地放到相机前方这样就可以把负号去掉 Z f X X ′ Y Y ′ (3-2) \frac{Z}{f}\frac{X}{X^{\prime}}\frac{Y}{Y^{\prime}} \tag{3-2} fZX′XY′Y(3-2)
整理得 { X ′ f X Z Y ′ f Y Z (3-3) \left\{\begin{array}{l} {X^{\prime}}f\frac{X}{Z} \\ \\ {Y^{\prime}}f\frac{Y}{Z} \end{array}\right. \tag{3-3} ⎩ ⎨ ⎧X′fZXY′fZY(3-3)
像素坐标与成像平面之间相差了一个缩放和一个原点的平移。假设像素坐标在 u u u 轴上缩放了 α \alpha α 倍 在 v v v 轴上缩放了 β \beta β 倍同时原点平移了 [ c x , c y ] T [c_x, c_y]^T [cx,cy]T。那么 P ′ P P′ 在成像平面坐标系和像素坐标系之间的关系为 { u α X ′ c x v β Y ′ c y (3-4) \left\{\begin{array}{l} u\alpha X^{\prime}c_{x} \\ v\beta Y^{\prime}c_{y} \end{array}\right. \tag{3-4} {uαX′cxvβY′cy(3-4)
代入式3-3得 { u α f X Z c x v β f Y Z c y (3-5) \left\{\begin{array}{l} u\alpha f \frac{X}{Z}c_{x} \\ \\ v\beta f \frac{Y}{Z}c_{y} \end{array}\right. \tag{3-5} ⎩ ⎨ ⎧uαfZXcxvβfZYcy(3-5) 记 α f f x , \alpha ff_x, αffx, β f f y \beta ff_y βffy 得 { u f x X Z c x v f y Y Z c y (3-6) \left\{\begin{array}{l} uf_{x} \frac{X}{Z}c_{x} \\ \\ vf_{y} \frac{Y}{Z}c_{y} \end{array}\right. \tag{3-6} ⎩ ⎨ ⎧ufxZXcxvfyZYcy(3-6)
写成矩阵形式 [ u v 1 ] 1 Z [ f x 0 c x 0 f y c y 0 0 1 ] [ X Y Z ] def 1 Z K P (3-7) \left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]\frac{1}{Z}\left[\begin{array}{ccc} f_{x} 0 c_{x} \\ 0 f_{y} c_{y} \\ 0 0 1 \end{array}\right]\left[\begin{array}{c} X \\ Y \\ Z \end{array}\right] \stackrel{\text { def }}{} \frac{1}{Z} \boldsymbol{K} \boldsymbol{P} \tag{3-7} uv1 Z1 fx000fy0cxcy1 XYZ def Z1KP(3-7)
将 Z Z Z 移到左边 Z [ u v 1 ] [ f x 0 c x 0 f y c y 0 0 1 ] [ X Y Z ] def K P (3-8) Z\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]\left[\begin{array}{ccc} f_{x} 0 c_{x} \\ 0 f_{y} c_{y} \\ 0 0 1 \end{array}\right]\left[\begin{array}{c} X \\ Y \\ Z \end{array}\right] \stackrel{\text { def }}{} \boldsymbol{K} \boldsymbol{P} \tag{3-8} Z uv1 fx000fy0cxcy1 XYZ def KP(3-8)
中间的矩阵称为相机内参数一般在相机出厂后便已确定。
由于相机在运动点 P P P 的相机坐标应由他的世界坐标 P w P_w Pw根据相机当前位姿变换得到 Z P u v Z [ u v 1 ] K P K ( R P w t ) K T P w (3-9) Z \boldsymbol{P}_{u v}Z\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]\boldsymbol{K} \boldsymbol{P}\boldsymbol{K}\left(\boldsymbol{R} \boldsymbol{P}_{\mathrm{w}}\boldsymbol{t}\right)\boldsymbol{K} \boldsymbol{T} \boldsymbol{P}_{\mathrm{w}} \tag{3-9} ZPuvZ uv1 KPK(RPwt)KTPw(3-9) 其中 R \boldsymbol{R} R、 t \boldsymbol{t} t 为外参。
上式描述了从世界坐标系到相机坐标系再到像素坐标系的过程。
将世界坐标转换到相机坐标后再除掉最后一维的数值这相当于把最后一维作归一化处理得到它在归一化平面上的投影 ( R P w t ) [ X , Y , Z ] T ⏟ 相机坐标 → [ X / Z , Y / Z , 1 ] T ⏟ 归一化坐标 \left(\boldsymbol{R} \boldsymbol{P}_{\mathrm{w}}\boldsymbol{t}\right)\underbrace{[X, Y, Z]^{\mathrm{T}}}_{\text {相机坐标 }} \rightarrow \underbrace{[X / Z, Y / Z, 1]^{\mathrm{T}}}_{\text {归一化坐标 }} (RPwt)相机坐标 [X,Y,Z]T→归一化坐标 [X/Z,Y/Z,1]T
可知点的深度信息在投影过程中丢失了变成二维所以单目视觉无法得到像素点深度值。
4.1.2 畸变模型
1由透镜形状引起的畸变称为径向畸变一般有桶形畸变和枕形畸变两类。 对于径向畸变离中心距离越远畸变越严重穿过图像中心和光轴有交点的直线形状不变。
2在相机组装过程中透镜和成像平面无法完全平行会产生切向畸变。
3下面用数学模型进行描述假设归一化平面上存在一点 P P P坐标为 [ x , y ] T [x, y]^T [x,y]T极坐标为 [ r , θ ] T [r, \theta]^T [r,θ]T那么正常归一化平面坐标和畸变后的坐标之间的关系为 { x d i s t o r t e d x ( 1 k 1 r 2 k 2 r 4 k 3 r 6 ) y d i s t o r t e d y ( 1 k 1 r 2 k 2 r 4 k 3 r 6 ) (3-10) \left\{\begin{array}{l} x_{distorted}x(1k_1r^2k_2r^4k_3r^6)\\ \\ y_{distorted}y(1k_1r^2k_2r^4k_3r^6) \end{array}\right. \tag{3-10} ⎩ ⎨ ⎧xdistortedx(1k1r2k2r4k3r6)ydistortedy(1k1r2k2r4k3r6)(3-10)
类似的切向畸变数学模型为 { x distorted x 2 p 1 x y p 2 ( r 2 2 x 2 ) y distorted y p 1 ( r 2 2 y 2 ) 2 p 2 x y (3-11) \left\{\begin{array}{l} \begin{aligned} x_{\text {distorted }}x2 p_{1} x yp_{2}\left(r^{2}2 x^{2}\right) \\ y_{\text {distorted }}yp_{1}\left(r^{2}2 y^{2}\right)2 p_{2} x y \end{aligned} \end{array}\right. \tag{3-11} {xdistorted x2p1xyp2(r22x2)ydistorted yp1(r22y2)2p2xy(3-11)
4去畸变的过程 将三维空间上的点投影到归一化平面得到坐标 [ x , y ] T [x, y]^T [x,y]T 计算径向畸变和切向畸变 { x d i s t o r t e d x ( 1 k 1 r 2 k 2 r 4 k 3 r 6 ) 2 p 1 x y p 2 ( r 2 2 x 2 ) y d i s t o r t e d y ( 1 k 1 r 2 k 2 r 4 k 3 r 6 ) p 1 ( r 2 2 y 2 ) 2 p 2 x y (3-12) \left\{\begin{array}{l} x_{distorted}x(1k_1r^2k_2r^4k_3r^6)2 p_{1} x yp_{2}\left(r^{2}2 x^{2}\right)\\ \\ y_{distorted}y(1k_1r^2k_2r^4k_3r^6)p_{1}\left(r^{2}2 y^{2}\right)2 p_{2} x y \end{array}\right. \tag{3-12} ⎩ ⎨ ⎧xdistortedx(1k1r2k2r4k3r6)2p1xyp2(r22x2)ydistortedy(1k1r2k2r4k3r6)p1(r22y2)2p2xy(3-12)
通过内参矩阵将相机坐标投影到像素平面。
5单目相机的成像过程 世界坐标系下一点 P w P_w Pw 经旋转平移得到相机坐标 P ~ c R P w t \tilde{P}_{\mathrm{c}}\boldsymbol{RP_wt} P~cRPwt 将坐标的三个分量分别除以 Z Z Z得到归一化坐标 P c [ X / Z , Y / Z , 1 ] T P_c[X/Z, Y/Z, 1]^T Pc[X/Z,Y/Z,1]T 计算发生畸变后的坐标 经过内参矩阵得到像素坐标 P u v K P c \boldsymbol{P}_{uv}\boldsymbol{KP_c} PuvKPc。
4.1.3 双目相机模型 其中 O L O_L OL 和 O R O_R OR为左右相机光圈中心两者之间的距离称为基线 f f f 为焦距 u R u_R uR 为负数需加负号。
根据几何关系有 z − f z b − ( u L − u R ) b b − u L u R b (3-13) \frac {z-f}{z}\frac {b-(u_L-u_R)} {b}\frac {b-u_Lu_R} {b} \tag{3-13} zz−fbb−(uL−uR)bb−uLuR(3-13)
定义 d u L − u R du_L-u_R duL−uR称为视差 整理上式得 z f b d (3-14) z\frac {fb}{d} \tag{3-14} zdfb(3-14)
可见视差越大距离越近。基线 b b b 越大可测量的距离就越大反之小型双目器件只能测量很近的距离。
4.1.4 RGB-D 相机模型
RGB-D 相机可以主动测量每个像素的深度按原理可分为两类 通过红外结构光原理测量像素距离。 通过飞行时间原理测量像素距离。 RGB-D 相机容易受到日光或其他传感器的干扰因此不能在室外使用。
4.2 图像
