蘋果的AR野心!​iPad首發DToF技術

近日,蘋果春季新品以官網直接上線的形式進行了亮相,沒有傳說中的iPhone 9,幾款新品大都是常規升級,包括iPad Pro、Mac mini和Macbook Air家族的產品。

但有一款產品卻不得不引起我們的關注,那就是2020版iPad Pro,不是因為其加入了“雙攝”,而是其首次引入的“激光雷達”組件。在蘋果官網,對這部分做了相當篇幅的介紹。蘋果公司認為這是實現革命性AR應用的重要一步。

以往,蘋果曾多次激進採用的新技術都改變了整個行業,Touch ID、FaceID 結構光鏡頭、AirPods 的 SiP 封裝等等;為此有必要從技術本身到應用及產業鏈深扒下這顆激光雷達背後的玄機。


不僅僅是多了攝像頭,更是多了未來

這次新 iPad Pro 官網著墨最多的無疑是攝像頭的部分,看上去和 iPhone 11 Pro Max 的攝像頭一樣,都是三個,然而在功能上卻有著很大不同。

超廣角鏡頭不用多說,能拍出畫幅更大的照片,有人問“為什麼 iPad 要配備這麼好的攝像頭,又沒有人用 iPad 拍照。”我想到的就是他們肯定沒有嘗試過使用 iPad 拍照。iPad 超大的取景能看到更多的細節,結合更大的屏幕也能很好的對照片進行編輯。

在沒有超廣角鏡頭前,小編每次只能利用隔空投送將 iPhone 11 Pro 拍的照片發到 iPad Pro 上再進行編輯或利用 Apple Pencil 補上幾筆。然而現在新的 iPad Pro 自帶了超廣角鏡頭,就可以用 iPad Pro 拍下來直接進行編輯,簡直是太舒服了!

更讓人想不到的是,在新iPadPro攝像頭模組上還搭載了激光雷達掃描儀,Apple 官網稱“就連 NASA 也會在下次火星登陸任務中用到它。”、“特製的激光雷達掃描儀利用直接飛行時間 (dToF),測量室內或室外環境中從最遠五米處反射回來的光。

它可從光子層面進行探測,並能以納秒速度運行,為增強現實及更廣泛的領域開啟無盡可能。”滿滿的科技感!

激光雷達掃描儀的出現,可以分辨出突然介入的人體,因此對其進行忽略。那麼即使有人出現,也不影響我們查看這個傢俱擺在家中的效果。

讓增強現實有了更高的準確度和參考性。甚至在國外論壇有達人稱,以後看房子不用帶尺子,帶一個 iPad Pro就能測量房子的每一堵牆的面積甚至房間的垂直高度,真的是“科技改變生活”!


ToF 技術中DTOF激光雷達更具優勢

3D視覺技術,可以讓手機從平面視覺到立體視覺,目前行業中三種主流的3D視覺方案為:雙目立體視覺方案、3D結構光方案、TOF方案。

▲ 3D視覺方案對比


iPad Pro 上所搭載的激光雷達其實和手機上採用的 ToF 攝像頭都屬於雷達技術,以飛行時間距離捕捉 3D 圖像。主要原理是利用雷達發射光波,光波遇到不可穿透物體會發生反射,通過記錄反射光到達接收器的時間,便能快速計算出光源與物體的距離,由此便得到一張被測物體的 3D 圖像。

但是,不同的雷達發射的光波都不一樣,所獲得的圖像分辨率和清晰度也有差別。

手機通常採用的 ToF 技術選用的雷達波長,發射的也屬於紅外面光源,接收到的是深度平面信息,成像精度有限,仍然無法捕捉高精度動 3D 圖像。

而iPad Pro 選用的激光雷達,其發射的是脈衝紅外激光,接收單點位置,形成點雲圖後再變成三維模型,精度更高。

▲ TOF 相機工作原理


▲通過ToF獲得的物體距離和深度信息圖


此外,激光雷達發射的光波存在兩種調製方式:直接飛行時間測量和間接飛行時間測量,直接測距——是通過發射、接收光並測量光子飛行時間,直接計算確定距離,而非直接測距iToF,是通過測量發射波形和接收波形間的相位差來換算,從而確定距離,直接測距擁有響應快、功耗低等優勢。


dToF 和 iToF 的區別

dToF 和 iToF 的原理區別主要在於發射和反射光的區別。dToF 的原理比較直接,即直接發射一個光脈衝,之後測量反射光脈衝和發射光脈衝之間的時間間隔,就可以得到光的飛行時間。

而 iToF 的原理則要複雜一些。在 iToF 中,發射的並非一個光脈衝,而是調製過的光。接收到的反射調製光和發射的調製光之間存在一個相位差,通過檢測該相位差就能測量出飛行時間,從而估計出距離。


所謂間接 ToF,並不是直接測量光發射返回的時間,而是根據相位偏移來間接計算距離。


眾所周知,光具有波粒二象性,也就是說我們可以通過發射光和返回光的相位偏差,和收發的時間進行函數運算,來獲得具體的距離。

例如激光發射器可以發射850nm的調製紅外光,反射回來濾片過濾之後接收的自然也就是調製紅外光。

具體計算方法比較複雜,這裡就不進行闡述,但基本的測量指標只有幾個基本要件:光發射的振幅、頻率,而反射回來的光要經過四個快門的判定,以此來得出時延、衰減後的振幅以及強度偏移(環境光),最後就可以計算出相位偏移,而加上環境光影響的強度偏移,可以得出距離。

之所以 iToF 設立如此繁雜的機制,歸根結底是因為有利於小型化。如今的手機上的 iToF 的芯片像素可以小到5um,以此來實現較高的分辨率(現在可以做到640*480左右)。並且系統容易集成,不需要額外的測量電路。

不過這種運算方式,需要高幀率圖像進行運算,功耗不小。

而相比之下,dToF 的原理就簡單多了,和手機廠商一開始和我們“科普”的一樣。dToF 只需要發射脈衝波,然後光反射回來被接收,只要計算光發射和返回的時間,自然就可以計算距離了。

▲通過ToF獲得的物體距離和深度信息圖


在具體的實現上,dToF 相較於 iToF 來說難度要大許多。dToF 的難點在於要檢測的光信號是一個脈衝信號,因此檢測器對於光的敏感度比需要非常高。常見的 dToF 傳感器實現是使用 SPAD (single-photon avalanche diode,單光子雪崩二極管)。

此外,從讀出電路來看,dToF 需要能分辨出非常精細的時間差(通常使用 time-to-digital converter,TDC 來實現)。例如如果需要實現 1.5cm 的測距精度,則 TDC 的分辨率需要達到 10ps,這一點並不容易。

以上關於 dToF 和 iToF 的對比是針對傳統的技術而言。隨著近幾年深度傳感器和 LiDAR 的發展,dToF 也得到了長足的發展。從光傳感器像素來看,dToF 目前也可以使用 CMOS 工藝實現,並且已經可以實現不錯的 2D 分辨率。


5G加持下DToF增強AR體驗

在 5G 時代到來之際,5G 除了會帶來極高的網速之外,還會促進部分生態發展成熟,這其中就包括 AR。從技術角度講, AR 結合未來體感技術的加持,將為用戶打造“真實的虛擬世界”。而這,很可能將使 AR 在 5G 時代煥發出新的活力,成為 5G 時代的一個全新增長點。

蘋果 iPad Pro 用的就是 DToF,而華為 Mate30、vivo NEX等機型用的是 iToF。DToF 相比於 iToF 在性能上要好很多,但在生產工藝上也更復雜。由於採用 DToF 方法,iPad Pro 背部的激光雷達將能解決直接測距面臨的低時間分辨率難題,達 ps(皮秒)級時間分辨率,精度也不會隨距離拉遠有大的衰減。iPad Pro 的 ToF 相機性能將提升的不是一點半點,它帶來了一顆進化版的ToF鏡頭,AR 體驗的精準度、流暢度將大大提高,功耗也會大大降低。

蘋果 iPad Pro 推出激光雷達,乍見驚奇,細看不足為奇。它更像一顆進化版的 ToF 相機,雖然這個賣點早在去年被各大安卓廠商玩過了,但蘋果的到來,可能會再次引燃這一技術應用。

這次,由 iPad Pro 開端的 dToF 技術應用,如果能夠廣泛使用,勢必會給上游供應鏈帶來新的機遇。在應用層則有可能催生真正的 AR 殺手級應用,畢竟蘋果為 AR 方向,已經打了三四年的地基。



從2017年首推 ARKit,到推動開發者在 AR 應用上的開發,比如宜家公司的傢俱選購 App 等等,蘋果公司一直是 AR 領域最積極的探索者。

跳出這一層來看,蘋果在 iPad 佈設激光雷達背後還凸顯了更深遠的謀慮。隨著帶有後置 ToF 相機的 iPhone 也面世,那麼AR 眼鏡、輕量級的 MR 設備還會遠嗎?再加持蘋果 AR 應用生態的雙管齊下,蘋果的 AR 大廈會不會越築越高?還有很多想象空間。