從華為 P9 來聊聊雙攝像頭技術

從華為 P9 來聊聊雙攝像頭技術

剛剛發佈的華為 P9 最大的亮點恐怕就是它的雙攝像頭配置了。如今採用雙攝像頭技術的智能手機越來越多,這一技術儼然成為了大勢所趨。那麼廠商為什麼要為手機配備兩個攝像頭?這種技術有什麼好處和問題,未來將如何發展?本文將作一簡要介紹。

雙攝像頭:手機提升拍照性能的無奈之選

從華為 P9 來聊聊雙攝像頭技術

在手機上安裝兩顆攝像頭的做法很久以前就出現了,但早期這種技術主要是為了拍攝 3D 照片。彼時 3D 顯示技術正值火熱階段,一些品牌就在自家手機上提供了 3D 拍攝能力以吸引消費者。之後 3D 熱潮迅速冷卻,為 3D 拍照而生的雙攝像頭手機也就淡出市場了。

然而不久之後雙攝技術便在智能機產業復活,這一次不是為了 3D 成像,而主要是為了提升普通照片的畫質。多年以來廠商為了提高手機拍照性能想盡了各種招數,但所有的努力都無法超越客觀規律:相同技術條件下,設備成像素質越好需要的體積和重量越大。增大攝像頭傳感器和鏡頭尺寸是提升拍照畫質最簡單直接的手段,然而底面積越大的傳感器-鏡頭系統厚度也就越難控制。偏偏消費者喜歡超薄的手機外觀,同時討厭凸起的攝像頭組件,因此像 Lumia 808 那樣為了成像素質犧牲外觀、厚度的設計難以在市場上流行。既然擴大單攝像頭傳感器面積有諸多限制,廠商就只能退而求其次選擇雙攝像頭這種妥協方案:兩個攝像頭的厚度與單套組件是一樣的,但是傳感器總面積與鏡頭進光量就翻倍,可以近似等效於單個攝像頭面積的增大。總的來說,雙攝像頭的逐漸流行是一種無奈的選擇。

手機雙攝的多種分類

別看手機雙攝技術只是多了一個攝像頭,具體怎麼加,加什麼款式、種類都是有門道的。根據兩顆攝像頭的傳感器、鏡頭的型號,手機雙攝大致可以分為以下類型:

從華為 P9 來聊聊雙攝像頭技術

對稱型:顧名思義,這種類型的雙攝像頭是兩顆傳感器、鏡頭完全一致的組合方式。兩顆一模一樣的攝像頭以一定的間距排列,旁邊再放置閃光燈。

主副型:一顆傳統的攝像頭外加一顆用來測光、測景深的輔助傳感器。這種組合的照片、視頻拍攝只由主攝像頭完成,副傳感器則用來加快拍照速度、提高拍照參數選擇的準確度。嚴格來說這種方案不屬於「雙攝像頭」範疇,因為副傳感器並不負責成像工作。

廣角-長焦型:兩顆攝像頭傳感器部分一致,然而鏡頭部分分別使用廣角和長焦鏡頭,以同時拍攝兩種焦段的照片、視頻。

黑白-彩色型:華為P9採用的就是這種方案。P9 的兩顆攝像頭鏡頭部分一致,傳感器則分別使用全黑白和彩色 CMOS。

手機雙攝像頭的優勢

無論是哪種雙攝像頭方案,理論上都可以做到比單個攝像頭更好的成像畫質。以最簡單的對稱型方案為例,兩顆有一定間距的攝像頭同時拍攝的照片可以合成為一張圖片,因為兩張照片有微小的距離差異,合成圖片時就可以利用這種差異來增加照片的有效信息。合成後圖片的清晰度、動態範圍和噪點控制水平都能比原始的兩張單獨的照片提升一些。兩個攝像頭還可以分別拍攝高低曝光度的照片以合成 HDR 圖片,或者分別拍攝長短曝光時間的照片,合成特殊的圖片效果。

華為使用的黑白-彩色搭配的方案則更進一步。與彩色傳感器相比,黑白傳感器取消了濾光片,有效感光量是前者兩倍以上。因此黑白傳感器在較暗場景中的成像素質非常好,可謂暗光拍攝利器。如果以黑白傳感器的圖像為基礎,加上彩色傳感器提供的色彩信息,就可以合成出一張有著出色噪點控制水平的彩色照片了。在明亮環境中,這種方案比起傳統單攝像頭的動態範圍和清晰度也都會有一定程度的提升。

實際的拍攝應用中,P9 的拍照流程是這樣的:

  • ​首先,黑白和彩色攝像頭同時各拍下一張照片,生成 RAW 格式的圖像信息;
  • ISP 根據兩個攝像頭固定的間距,找出場景中每一點在兩張圖像中對應的兩個像素。這一步非常關鍵,考驗著軟件算法和 ISP 性能。華為之所以找到徠卡合作,很大程度上也是為了提升這一步的處理效率和效果;
  • 知道場景裡每一點對應的像素後,就可以將黑白像素和彩色像素進行混合了。混合時通常是以黑白像素為基礎,加上彩色像素提供的色彩信息。這樣混合出來的每一個像素實際包含了兩個像素的數據,信息量比單個彩色像素擴大了近一半。如果混合過程中發現彩色像素部分生成了噪點,就捨棄這個像素的色彩信息,使用鄰近像素的色彩來近似。單傳感器拍攝照片時噪點是不太容易被識別的,而雙傳感器方案就可以通過黑白傳感器提供的較“乾淨”畫面來過濾掉出現噪點的彩色像素,效率明顯提升。這也是 P9 在暗光環境下拍攝性能大幅增強的最關鍵環節。此外,混合的像素使用的亮度信息主要來自黑白像素,而黑白傳感器因為沒有濾光片所以進光量明顯提升,因此生成像素的有效亮度也就明顯強於單攝像頭方案了;
  • 最後,ISP將混合後的圖像按照標準處理流程生成 RAW 或 JPG 格式圖像。

雙攝像頭方案的一些問題

看起來,手機採用雙攝像頭除了增加一些內部空間佔用和重量外似乎百利無害。然而這只是理想狀況——現實中,雙攝像頭要做到明顯的畫質提升是非常不容易的。

最大的問題在於,任何一種雙攝方案的成像素質都嚴重依賴成像算法和後期處理過程。即使是專業領域,使用兩臺相機在一定間隔同時成像並在後期合成以提升畫質都是非常考驗後期軟件與工程師水平且費時費力的任務。手機的照片處理完全由芯片 ISP 負責,處理時間極短,單張圖片的處理還好,兩張照片的精確合成是非常困難的。

其中一大難題在於芯片要識別出兩張照片中同樣的拍攝場景,然後將物體每一點在兩個攝像頭上對應生成的像素找出來並融合在一起。由於雙攝像頭的安裝距離無法做到特別高的準確度,實際使用中還可能出現微小位移,每一次拍攝時兩顆傳感器的距離都可能是有差異的,算法也就需要動態調整。識別出需要合成的像素,具體的合成方法也有講究。如果可能,自然是芯片長時間運算得出精確的合成方案是最好的,但往往用戶等不了那麼長的處理時間,那麼短時間生成的圖片往往不如人意。

為了解決這些問題,根本的方法是大幅提升 ISP 運算速度以為照片合成提供更大的計算資源空間;同時採集大量經驗數據來改進算法,優化照片合成的效率。然而無論是硬件還是軟件的改進手段都需要大量資源、時間投入,所以雙攝像頭技術的成熟是一個長期的過程。在軟硬件技術不夠成熟的目前階段,一個妥協的辦法是保留每一次拍照兩個攝像頭各自的 raw 格式圖像,留待空閒時由手機乃至 PC 的後期軟件進行精確處理。

華為 P9 發佈會上,華為也重點介紹了 P9 的雙攝像頭合成照片的性能。華為這次特地找來了徠卡協助開發 P9 的成像算法。從目前展示的一些實拍照片來看,P9 的軟硬件調整做的相當不錯,在暗光環境下的圖像畫質有了一個明顯的飛躍,也沒有出現可見的圖像錯誤,可見在徠卡的幫助下華為已經有了成熟的雙攝像頭成像技術了。P9 也保留了 RAW 格式圖像輸出能力,意味著用戶可以拿 RAW 照片在 PC 上做更細緻的後期調校,看來華為是充分研究了各種層次用戶的需求。

手機雙攝像頭的未來發展

從華為 P9 來聊聊雙攝像頭技術

隨著技術的逐漸進步,雙攝像頭合成圖像的畫質相比單個攝像頭的優勢會愈加明顯,也會有越來越多的廠商和消費者接受這種方案。而在雙攝像頭之上,蘋果、微軟等企業還在研究更加先進的拍照系統:在兩顆攝像頭基礎上再增加距離傳感器,以生成帶有照片各像素與傳感器實際距離數據的三維照片。這樣的照片上每個像素、每個被攝物體都有準確的空間位置信息,可以輕鬆地通過位置數據來將一定距離的被攝物體從背景、前景中選定出來進行處理。當摳圖變得十分簡單,其他後期效果也就非常容易了。如果 ISP 性能夠好可以應付帶有位置信息的視頻處理工作,那麼手機還能輕鬆實現各種 AR 效果,乃至通過視頻數據為拍攝場景進行 3 維建模等。

其實目前 P9 已經可以利用雙攝像頭的視差特性實現一些簡單的距離測算功能了。根據華為的說法,P9 可以利用兩個攝像頭的圖像視差來計算場景物體的深度信息來輔助對焦,加快對焦速度。雖然這和完全的三維圖像生成還相差甚遠,但在此基礎上華為可以做進一步發展,在未來產品中逐漸做到真正的三維圖像拍攝。

目前來看,雙攝像頭將是智能手機未來的流行趨勢,甚至可能取代單攝像頭成為標準的手機拍照技術。華為P9應該能為這種技術的普及貢獻不小的力量,也希望更多廠商能跟進,儘快使雙攝像頭造福廣大用戶。


分享到:


相關文章: