相機標定原理

一、標定原理

攝像機標定(Camera calibration)簡單來說是從世界座標系換到圖像座標系的過程，也就是求最終的投影矩陣的過程。

基本的座標系：

分別是世界座標系、相機座標系、成像平面座標系、像素座標系。

一般來說，標定的過程分為兩個部分：

1、從世界座標系轉為相機座標系，這一步是三維點到三維點的轉換。

2、從相機座標系轉為成像平面座標系（像素座標系），這一步是三維點到二維點的轉換。

基本知識

攝像機模型

上圖是一個小孔成像的模型，其中：

[1]O點表示camera centre，即相機的中心點，也是相機座標系的中心點。

[2]Z軸表示principal axis，即相機的主軸。

[3]q點所在的平面表示相機的像平面，也就是圖片座標系所在的二維平面。

[4]O1點表示主點，也就是主軸與像平面相交的點。

[5]O點到O1點的距離，也就是右邊圖中的f，即相機的焦距。

[6]像平面上的x和y座標軸是與相機座標系上的X和Y座標軸互相平行的。

[7]相機座標系是以X、Y、Z三個軸組成的且原點在O點，度量值為米（m）。

[8]像平面座標系是以x，y兩個軸組成的且原點在O1點，度量值為米（m）。

[9]像素座標系一般指圖片相對座標系，這裡認為和像平面座標系在一個平面上，不過原點是在圖片的角上，而且度量值為像素的個數（pixel）。

2、相機座標系→成像平面座標系

以O點為原點建立攝像機座標系，點Q(X,Y,Z)為攝像機座標系空間中的一點，該點被光線投影到圖像平面上的q(x,y,f)點。圖像平面與光軸z軸垂直，和投影中心距離為f（f是相機的焦距），按照三角比例關係可以得出：

x/f = X/Z，y/f = Y/Z，即 x = fX/Z，y = fY/Z。

將以上將座標為(X,Y,Z)的Q點映射到投影平面上座標為(x,y)的q點的過程稱作投影變換。

上述Q點到q點的變換關係用3*3的矩陣可表示為：q = MQ ，其中：

M稱為攝像機的內參數矩陣，單位均為物理尺寸。通過上面，可以把相機座標系轉換到像圖像座標系的物理單位[即(X,Y,Z)→(x,y)]。

通過下面，可以把像平面座標系物理單位到像素單位[即→(u,v)]，以圖像平面的左上角或左下角為原點建立座標系。假設像平面座標系原點位於圖像左下角，水平向右為u軸，垂直向上為v軸，均以像素為單位。

以圖像平面與光軸的交點O1 為原點建立座標系，水平向右為x軸，垂直向上為y軸。原點O1一般位於圖像的中心處，O1在以像素為單位的圖像座標系中的平面座標為(u0, v0)。像平面座標系和像素座標系雖然在同一個平面上，但是原點並不是同一個。

設每個像素的物理尺寸大小為 dx * dy (mm) ( 由於單個像素點投影在圖像平面上是矩形而不是正方形，因此可能dx != dy)，圖像平面上某點在成像平面座標系中的座標為(x, y)，在像素座標系中的座標為(u, v)，則二者滿足如下關係：[即(x, y)→(u, v)]，u = x / dx + u0，v = y / dy +v0。用齊次座標與矩陣形式表示為：

將攝像機座標系中的（1）式代入上式可得：

則右邊第一個矩陣和第二個矩陣的乘積亦為攝像機的內參數矩陣（單位為像素），相乘後可得：

和（1）式相比，此內參數矩陣中f/dx, f/dy，cx/dx+u0，cy/dy+v0的單位均為像素。令內參數矩陣為K，則上式可寫成：

畸變參數

採用理想針孔模型，由於通過針孔的光線少，攝像機曝光太慢，在實際使用中均採用透鏡，可以使圖像生成迅速，但代價是引入了畸變。有兩種畸變對投影圖像影響較大： 徑向畸變和切向畸變。

1、徑向畸變

對某些透鏡，光線在遠離透鏡中心的地方比靠近中心的地方更加彎曲，產生"筒形"或"魚眼"現象，稱為徑向畸變。一般來講，成像儀中心的徑向畸變為0，越向邊緣移動，畸變越嚴重。不過徑向畸變可以通過下面的泰勒級數展開式來校正：

2、切向畸變

當成像儀被粘貼在攝像機的時候，會存在一定的參數誤差，使得圖像平面和透鏡不完全平行，從而產生切向畸變。也就是說，如果一個矩形被投影到成像儀上時，可能會變成一個梯形。切向畸變可以通過如下公式來校正：

攝像機的外參數

旋轉向量（大小為1×3的矢量或旋轉矩陣3×3）和平移向量（tx,ty,tz）。

旋轉向量:旋轉向量是旋轉矩陣緊湊的變現形式，旋轉向量為1×3的行矢量。

r就是旋轉向量，旋轉向量的方向是旋轉軸 ,旋轉向量的模為圍繞旋轉軸旋轉的角度。通過上面的公式，我們就可以求解出旋轉矩陣R。同樣的已知旋轉矩陣，我們也可以通過下面的公式求解得到旋轉向量：