「科普」3D成像，AI時代的感知鑰匙攝影頭條網

「科普」3D成像，AI時代的感知鑰匙

伴隨著信息時代潮流的推進，3D成像技術的市場前景越來越廣闊，並隨著機器視覺，自動駕駛等顛覆性的AI人工智能技術逐步發展，採用3D 攝像頭進行物體識別，行為識別，場景建模的相關應用越來越多，可以說3D 攝像頭賦予AI設備一雙看見世界的“眼睛”，

成為開啟AI時代的感知鑰匙。

3D 攝像頭稱為“3D相機”，也稱之為“深度相機”，顧名思義，就是通過該相機能檢測出拍攝空間的景深距離，這也是與普通攝像頭最大的區別。普通的彩色相機拍攝到的圖片能看到相機視角內的所有物體並記錄下來，但是其所記錄的數據不包含這些物體距離相機的距離。僅僅能通過圖像的語義分析來判斷哪些物體離我們比較遠，哪些比較近，但是並沒有確切的數據。而3D相機則恰恰解決了該問題，通過3D相機獲取到的數據，我們能準確知道圖像中每個點離攝像頭距離，這樣加上該點在2d 圖像中的(x,y)座標，就能獲取圖像中每個點的三維空間座標。通過三維座標就能還原真實場景，實現場景建模等應用。

從上面描述可以看出，我們的眼睛就是一個天然的3D 深度相機，這主要得益於偏光原理，當人眼在看任何物體時，由於兩隻眼睛在空間有一定間距約為5cm，即存在兩個視角。這樣形成左右兩眼所看的圖像不完全一樣，稱為視差。這種細微的視差通過視網膜傳遞到大腦裡，就能顯示出物體的前後遠近，產生強烈的立體感，這是1839 年，英國科學家溫特斯頓發現的奇妙現象。自然的人類就想到通過兩個一定距離的普通攝像頭來模擬人眼來獲取3D 數據。這就是最初的雙目立體相機，鑑於雙目相機的一些缺陷，後來人們又發明了結構光和TOF 的方法來獲取3D 數據。目前市場上常有的3D 相機方案就就是這3種。

結構光（Structure Light）。結構光投射特定的光信息到物體表面後，由攝像頭採集。根據物體造成的光信號的變化來計算物體的位置和深度等信息，進而復原整個三維空間。代表公司：奧比中光，蘋果(Prime Sense)，英特爾RealSense，華捷艾米，韻動體感
TOF（Time Of Flight，飛行時間）。通過專有傳感器，捕捉近紅外光從發射到接收的飛行時間，判斷物體距離。代表公司：微軟Kinect-2，PMD，SoftKinect；
雙目測距（Stereo System）。利用雙攝拍攝物體，再通過三角形原理計算物體距離。代表公司：Leap Motion， ZED，大疆。

1、結構光

結構光，英文叫做Structured light，通常採用特定波長的不可見的紅外激光作為光源，它發射出來的光經過一定的編碼投影在物體上，通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息。根據編碼圖案不同一般有條紋結構光--enshape ，編碼結構光--Mantis Vision, Realsense(F200), 散斑結構光--apple(primesense)。舉個例子，拿一個手電照射牆壁，站近或站遠，牆上的光斑是不同大小的，從不同角度照射牆，光斑也會呈現不同的橢圓。

圖示：結構光效果圖

結構光（散斑）的優點主要有：

1）方案成熟，相機基線可以做的比較小，方便小型化。

2）資源消耗較低，單幀IR 圖就可計算出深度圖，功耗低。

3）主動光源，夜晚也可使用。

4）在一定範圍內精度高，分辨率高，分辨率可達1280x1024,幀率可60FPS。

散斑結構光的缺點與結構光類似：

1）容易受環境光干擾，室外體驗差。

2）隨檢測距離增加，精度會變差。

2、光飛行時間法(TOF)

Time of Flight是一種主動式深度感應技術，是測量光飛行時間來取得距離，具體而言就是通過給目標連續發射激光脈衝，然後用傳感器接收從反射光線，通過探測光脈衝的飛行往返時間來得到確切的目標物距離。因為光速激光，通過直接測光飛行時間實際不可行，一般通過檢測通過一定手段調製後的光波的相位偏移來實現。

如上圖所示，假設脈衝波形的頻率為f，接收與發送脈衝波形的相位偏移是Δφ，則Δφ/2πf為脈衝波形往返所經歷的時間。用光速c乘以時間則可以得到往返距離。

因為TOF 並非基於特徵匹配，這樣在測試距離變遠時，精度也不會下降很快，目前無人駕駛以及一些高端的消費類Lidar 基本都是採用該方法來實現。

TOF 的優點主要有：

1）檢測距離遠。在激光能量夠的情況下可達幾十米。

2）受環境光干擾比較小。

缺點主要有：

1）對設備要求高，特別是時間測量模塊。

2）資源消耗大。該方案在檢測相位偏移時需要多次採樣積分，運算量大。

3）邊緣精度低。

4）限於資源消耗和濾波，幀率和分辨率都沒辦法做到較高。

3、雙目測距

雙目測距，傳統的3D感知方法。類似人的雙眼，在自然光下通過兩個攝像頭抓取圖像，通過三角形原理來計算並獲得深度信息。目前有主動雙目，被動雙目之分，被動雙目就是採用可見光，好處是不需要額外光源，但是晚上無法使用，主動雙目就是主動發射紅外激光做補光，這樣晚上也能使用。

圖示：雙目測距原理

雙目視覺僅僅依靠圖像進行特徵匹配，對附加設備要求低，在使用雙目視覺相機前必須對雙目中兩個攝像頭的位置進行精確標定。當然完整的雙目深度計算非常複雜，主要涉及到左右相機的特徵匹配，計算會非常消耗資源。

雙目相機的主要優點有：

1）硬件要求低，成本也低。普通CMOS 相機即可。

2）室內外都適用。只要光線合適，不要太昏暗。

雙目相機的主要缺點有：

1）對環境光照非常敏感。光線變化導致圖像偏差大，進而會導致匹配失敗或精度低。

2）不適用單調缺乏紋理的場景。雙目視覺根據視覺特徵進行圖像匹配，沒有特徵會導致匹配失敗。

3）計算複雜度高。該方法是純視覺的方法，對算法要求高，計算量較大。

4）基線限制了測量範圍。測量範圍和基線（兩個攝像頭間距）成正比，導致無法小型化。

從上面三種主流的3D 相機成像方案來看，各有優劣，但是從實際應用場景來看，在非無人駕駛領域，結構光，特別是散斑結構光的用途是最廣泛。因為從精度，分辨率，還有應用場景的範圍來看雙目和TOF都沒有辦法做到最大的平衡。而且對於結構光容易受環境光干擾，特別是太陽光影響問題，鑑於此類相機都有紅外激光發射模塊，非常容易改造為主動雙目來彌補該問題。具體使用哪種方案，要結合當前硬件資源，對性能要求等來確定，但從最廣泛的使用角度來看，散斑結構光無疑是目前最佳的方案。