近期，谷歌發佈了一種專為Pixel 4前置攝像頭模組的動態紅外深度傳感器uDepth打造的點雲實時可視化方案。據悉， uDepth傳感器此前用於Pixel 4手機的面部解鎖功能，而現在可通過谷歌提供的攝像頭API接口，將紅外傳感器用於提升實時立體自拍性能，刷新率可達30Hz。
開啟該功能的方法很簡單，只需要在Pixel 4的相機應用中，點開左下角熱圖和色彩可視化之間的開關，啟動Social Media Depth設置，然後通過拖拽就可以改變立體相片的視角。
與傳統基於RGB立體深度感知技術的方案相比，谷歌這個新方案的優勢在於紅外傳感器的運行速度更快，可識別光線暗、紋理細節少的場景。
據瞭解，uDepth傳感器結合機器學習算法，除了面部識別外，還支持後期修圖、深度場景分割、背景模糊、人像特效和3D拍照等。其原理是，在一顆攝像頭捕捉到的圖像中尋找和另一顆攝像頭捕捉到圖像中相似的像素，通過匹配像素，對齊兩張圖像，並預測深度。對於紋理少的區域，則通過對場景的紅外投影來實現深度識別。
細節方面，機器學習算法會通過亮度和像素周邊信息來匹配兩顆攝像頭捕捉到的圖像，經過校正後失誤率小於1.5毫秒/幀。考慮到手機磕碰可能會影響攝像頭的校準狀態，uDepth會先識別任何校準誤差，然後根據當前場景生成立體圖像。
此外，uDepth結合識別到的深度數據、人像分割、彩色圖像，通過AI模型來推斷/生成完整的3D深度圖。據谷歌稱，這個AI模型是在此前青亭網曾報道過的由331顆LED、90個1240萬像素、60Hz刷新率的攝像頭組成的球形容積攝影裝置中訓練而成。具體來講，就是將Pixel 4手機與容積攝影裝置的LED燈和攝像頭同步，創建結合真實圖像與合成渲染的相片。
分享到:
