尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

寫在最前:本文作者,我,雖然是數字媒體專業畢業,但沒有系統的學習過計算機圖形學等相關理論課程,下文中涉及到的理論部分如有錯誤還請諒解,同時希望專業人士給予斧正;另,我雖然一直在拍攝視頻,但並沒有參與過大團隊甚至工程化的項目,下文中涉及到的市場情況及評價有很強的主觀性,若不準確,還請見諒。

另,本文雖披著看似專業的外殼,但其實只是幼兒園級別的表述,權當拋磚引玉。希望看到更多大大們在技術層面的討論。

幾天前,尼康宣佈 Z6 可以開放付費升級外錄 RAW 的能力,配合 Atomos Ninja V 可以拍攝 ProRes RAW 格式的 RAW 視頻。這個消息傳聞已久,今天宣佈並不驚訝,但 ProRes RAW 似乎惹了眾怒一般,很多人都對他嗤之以鼻。

尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

那麼究竟 ProRes RAW 是個什麼玩意?它和它同類的 RAW 格式之間有什麼異同?

RAW 的工作流程與「反拜耳」

提到 ProRes RAW 的原理之前就不得不提一嘴 RAW 的工作流程。


尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

標準的 RAW,如上圖,傳感器拍攝後的原始數據需要經過「反拜耳」算法進行處理,然後進行色彩層面的調整,直至最終在 Rec.709 或其他標準下出片。如果這句話還是沒太明白,這裡引用 ARRI 在介紹 ARRIRAW 時對 RAW 的描述:

和膠片負片一樣,RAW 需要被“顯影”——或者叫被“後期”,才能把從感光器拜耳陣列直接讀出的、原始單通道圖像數據,轉換成適合正常觀看的有色彩的圖片。感光器最原始記錄的 raw 數據保留了最原始的內容,從而提供了重新調整結果的自由度。

(⬆️ 來自 ARRIRAW 介紹,並將文中所寫 ARRIRAW 全部改為 RAW)

所以先明確一個核心觀念:RAW 是一類記錄用編碼格式的統稱,其存在是為了記錄,而不是為了回看

如果還看不懂,那我們再插入一段講解,介紹「反拜耳」是什麼:

尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

常見的拜耳陣列如上圖所示,一塊感光器上很多感光單元(圖中灰色塊),每一個感光單元前面有一個濾色鏡(紅、綠、藍色)。只有濾色鏡同色的光能透過濾色鏡射入感光元件,而感光單元只能記錄接收到了多少光,所以實際上感光器記錄的原始數據(可以暫且稱之為「拜耳數據」,下同)是一個明度圖像,不帶色彩信息。「反拜耳」指的就是如何將拜耳數據變成帶顏色數據的圖片。

那麼是如何實現的呢?看下圖:


尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

By Cmglee - https://commons.wikimedia.org/wiki/File:Colorful_spring_garden_Bayer.png, CC BY-SA 3.0,

其中圖一是被拍攝的場景,圖二是拜耳感光器記錄的原始明度圖像。第三圖展示了反拜耳的第一步,由於我們知道這塊感光器上每一個感光單元對應的色彩濾鏡究竟是什麼顏色的,所以我們可以輕易的給原始的明度圖像著色。但由於每一個單元只能記錄一種顏色,所以在整張圖片中每個像素實際上都存在一部分色彩缺失,這時就需要用算法(「反拜耳算法」)來計算(一般是通過周圍的感光單元差值得來)出丟失的色彩,結果為圖四,是包含了完整像素尺寸的 RGB 數據的圖像。當然了,由於拜耳陣列的特性,1/2的綠色和3/4的紅色與藍色是通過計算而不是拍攝得來;在這一步,不同的算法也會導致畫面觀感不同,但這就需要權衡了,簡單的算法會讓計算開銷很小、速度很快,但更大概率可能導致色彩錯誤。(圖五是其他“魔改”拜耳陣列的處理結果,如適馬的 X3、或者“搖搖樂”什麼的,如本文討論無關)

注:感興趣的同學強烈建議看 Stanford 的網課 CS231m 其中的一個 lecture:https://web.stanford.edu/class/cs231m/lectures/lecture-11-camera-isp.pdf ,這門課是關於計算機圖形學+機器學習的,有興趣的也可以搞搞。

題外話,有些人會把反拜耳和常見的比如4:2:2色度採樣過程搞混,色度採樣是在已完成反拜耳的 RGB 圖像基礎上進行的。色度採樣是將 RGB 數據才養成 YCrCb 數據,以減小數據體積。

尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

圖片來源:CinemaDNG 在 NAB 2011 上做的 Presentation

當然,上面只是簡單介紹的反拜耳流程,實際上還會有更多步驟的處理,如上圖所示,在反馬賽克(Demosaicing,不是去碼,指的就是上述反拜耳的核心步驟。拜耳陣列因為看起來是馬賽克似的排列,所以這部分處理被稱之為反馬賽克)之前還存在如降噪、去除壞點等。這些步驟同樣會消耗大量的計算能力,這都使得 RAW 在後期處理時對計算性能的要求變高。但由於所有有關色彩的處理都是在後期進行的,所以 RAW 也保留了極大的自由空間可供調整:如可以自定義白平衡、曝光、Gamma 等等。

回到定義,RAW 是一類記錄用編碼格式的統稱,其存在是為了記錄,而不是為了回看,現在可以理解了,因為 RAW 編碼文件並不真的有色彩信息,所以無法回看。

真·RAW?偽·RAW?

搞明白了反拜耳是什麼,就好解釋 RAW 每一步的產出了。標準的 RAW(如常見的ARRIRAW 和 CinemaDNG RAW)保存的是感光器的「拜耳數據」,完全沒有經過反拜耳。在這個保存過程中可能存在壓縮(比如 CinemaDNG 可選壓縮比),但也只是對拜耳數據的壓縮,此時還不存在任何色彩信息(劃重點,下文會考)。ARRIRAW 和 CinemaDNG RAW 在原理上沒有很大差異,之所以會分成多種 RAW 格式主要是因為 RAW 背後還帶有各廠商希望推廣的工作流,其中還包括後續顏色處理如何應用色彩科學等等,本段只對 RAW 如何處理圖像進行討論,故稱他們是一樣的,是「真·RAW」。當然,為了後期可以正確生成拍攝時的內容,raw 文件實際上還包括大量的相機元數據(如 ISO 多少,色溫設置多少等),與本節話題無關,先放一邊。

尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

上圖為 BlackMagic Design 在介紹 CinemaDNG 的處理流程,左側為機內進行,右側為後期軟件內進行。其中左側Encoder(編碼器)指的就是應用 CinemaDNG 編碼算法的處理單元,用來對拜耳數據進行編碼(及壓縮等)。

但由於真·RAW 對後期處理的性能要求高,儘管 CinemaDNG RAW 可以對數據壓縮但數據量還是過大,對儲存帶來極大的壓力,很多廠商就開始投入新型 RAW 的開發:意圖 RAW 的體積、性能消耗降低,但依然保留 RAW 的後期自由空間。這類 RAW 的代表,REDcode RAW(很多人熟悉的 R3D)、BlackMagic RAW、以及今天的主角 ProRes RAW。

為了減小後期性能開銷,最簡單的辦法就是把一部分開銷大的工作提前做完,於是這類 RAW 的一個共同點就是把反拜耳拆成了兩部分,分別在前期和後期進行。

尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

上圖為 BlackMagic Design 介紹自家 BlackMagic RAW(BRAW) 的處理流程示意。

注:我找遍了各種網站和角落,都沒有找到上述三家(RED、BMD 和 Apple)官方對前期機內的「部分反馬賽克」究竟做了什麼的表述,但國外玩家有不少對於這些 RAW 文件的解析結果分析討論,甚至由於 BlackMagic RAW 的 SDK 是開放使用的,有同學反編譯了 SDK 的內容,交叉驗證了討論中對這類 RAW 的猜測(見文底參考內容)。如果你找到更可信的結果,歡迎評論區或私信丟給我;

分析結果下略,只說結果。

結果顯示,這類 RAW 文件儲存的實際上是壓縮過的、經過反馬賽克後、具有色彩信息的數據。劃重點,壓縮過的原始色彩數據

以 BRAW 舉例,使用 8x8 DCT 算法對 12bit 非線性 RGB 數據進行壓縮編碼,其 12bit 非線性數據可在後期還原成 16bit 線性數據,這種算法是有損且不可逆的,但它進可快速進行後續色彩操作從而流暢預覽、退可映射回拜耳數據進行重新解析。

ProRes RAW 在流程層面和 BRAW 一樣,也使用DCT進行編碼(準確的說,應該是和 ProRes 壓縮方式一致,也是基於 DCT 的),但壓縮前的數據生成方式是不同的,官方白皮書表述是直接對拜耳數據進行編碼的,也因此有觀點表示因此 ProRes RAW 存在串色和高壓模糊問題;

RED 則是使用 Wavelets 算法進行壓縮,從而在後期回放時可以輕鬆選擇不同分辨率大小進行回看)。但這些“色彩數據”並不真的是完成色彩處理後的 RGB 圖像,所以依然保留了 RAW 的自由度:可調節白平衡、Gamma、 曝光等參數。甚至更多,由於部分反馬賽克處理是在機身內完成的,所以如 BlackMagic Design 就在這個環節對不同攝像機的感光器做單獨處理,以求在後期時得到的文件時可以擁有統一的畫面特性。

如果說真·RAW 是生肉,那麼所謂偽·RAW 就是半生不熟的肉,Rare,連三層熟都到不了的那種。實際上沒有任何必要嫌棄這類 RAW 的存在,畢竟它實際上保留了 RAW 的可操作空間,同時極大的減小了後期性能開銷與存儲體積

有得必有失,這類 RAW 損失的是什麼?真·RAW因為只有最原始的感光器數據,所以實際上可以自行進行反拜耳算法的處理,這就有了很大的處理空間,即可以追求極致的畫面表現,也可以進行風格化的處理(插一句,ARRI 對於 ARRIRAW 的要求比較嚴格,如果要自己寫反拜耳算法並提供給他人使用,寫完了得送交 ARRI 進行認證,確保畫面在美學層面達到 ARRI 的要求;ARRI 會給自行進行反拜耳的軟件辦法 ARRIRAW PROCESSING 認證,從而告知用戶哪些軟件是符合標準的)。反觀偽·RAW,由於前期已經進行了部分反拜耳,所以後期基本上就只能根據廠家自己給的方式來進行後續流程了,當然這也給廠家留出了一部分空間,比如 RED 可以提自己的 IPP2 處理流程,BMD 可以說你們不管在什麼軟件裡處理 braw 文件得到的畫面都是一樣的……

綜上,糾結是不是真·RAW 對於大多數用戶而言其實是沒必要的,畢竟大部分用戶還是更在意 RAW 後期的自由度,而非極致的畫質表現。

ProRes RAW 技術參數

對於 RAW 格式的技術參數表述主要就三個方面:

1、碼率多少(儲存體積)

2、能記錄多少位深的數據(能還原色彩的能力)

3、解碼所需計算能力開銷(回看吃不吃性能)

我們逐步來看:

碼率

為了直觀的感受體積大小,我們把 ProRes RAW 和 ProRes 以碼率類似、且位深也一致的 BlackMagic RAW 放到一起比較。

在 4K DCI(4096x2160)分辨率、30fps 下:

尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

其中 BRAW Q0、Q5,以及 ProRes RAW 為可變碼率,單位為 mbps

基本上可以認為,如果可以接受 ProRes 422HQ 或 4444 的碼率用在工作流中,替換成 ProRes RAW 和 RAW HQ 基本是沒區別的,甚至體積可能會更小。

位深

非 RAW 的 ProRes,在 4444XQ 和 4444 模式下可以記錄 12bit RGB 數據(如果包含 Alpha 圖層則 16bit),在 422HQ 及更低模式下,在碼率允許的情況下最高紀錄 10bit 數據。

ProRes RAW,無論是標準 ProRes RAW 還是 RAW HQ,都可以記錄 12bit。如此看來,ProRes RAW 可以在體積更小的情況下保留 12bit 色彩記錄能力。

性能

我手頭沒有科學合理的平臺用於測試 ProRes RAW 與別的 RAW 的性能表現,但官方白皮書中有給出相關數據:


尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

圖為在 18 核iMac Pro(128G 內存、Radeon Pro Vega64 顯卡、4T SSD,macOS 10.13.3,Final Cut Pro 10.4.1)同時播放的機位數量。

可以看出,ProRes RAW - 422HQ、ProRes RAW HQ - 4444 完全一一對應。

綜上,可以看出蘋果的目的,在 ProRes 工作流已經變得流行的當下,用 ProRes RAW 完全替代 ProRes 也幾乎是無感的,並不會帶來任何存儲或性能上的問題,同時還可獲得更高的色彩記錄能力,從而更好的為 HDR 創作服務,可以說是百利而無一害。當然,以上判斷是基於日常使用 ProRes 工作流而言。

很多人詬病 ProRes RAW 的一點就是,它雖然打著 RAW 的旗號,但實際上卻不能像別的 RAW 一樣在後期調節白平衡和曝光,而這似乎並不是真的:Atomos 官方 Twitter 曾經多次和別的用戶解釋著一點,ProRes RAW 是有後期調節的能力的。

尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

同時蘋果官方的介紹頁也寫到:

尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

如此看來,不能直接調節白平衡什麼的,可能是蘋果自家產品經理的鍋,他們試圖打造更優雅的 RAW 使用體驗,但卻……

ProRes RAW 應用現狀

RAW 因為需要後續繼續處理才可回看,十分依託軟件平臺對 RAW 格式的支持。目前Apple ProRes RAW在蘋果爸爸的推動下實際上獲得了比較不錯的兼容性。依然是和 BlackMagic Design 的 BRAW 對比:

尼康 Z6 支持的 ProRes RAW 到底是什麼玩意?真的是 RAW 麼?

軟件層面由此看來,半斤八兩,不過平民最強調色軟件 DaVinci Resolve 不支持 ProRes RAW 確是很讓人難受的事情,畢竟使用 RAW 更大程度上是為了獲得更好的畫面,而這不能在調色軟件裡直接調色實在是………………

那麼可以拍攝 ProRes RAW 的設備都有哪些呢?目前有 ProRes RAW 記錄能力的設備主要是兩大家族,一是 Atomos 的外錄機,Ninja V、Shotgun 系列、SUMO 系列;另一家族就是大疆,但當前大疆也只有搭配在 Inspire 2 上的 X7 雲臺才可以拍攝,可以說也很侷限。

不過 Apple 和 Atomos 的合作也確實是個抄近路的做法,這樣一來,只要相機擁有輸出 RAW 的能力,基本上就都可以使用 ProRes RAW 的外錄能力。所以如今我們看到尼康 Z6/Z7、松下 S1H 等無反紛紛開始蠢蠢欲動,專業攝像機廠家,如佳能就和 Atomos 合作有可外錄8K ProRes RAW 的攝影機,相信不遠的將來也會慢慢鋪開相關能力。

總結

首先,ProRes RAW 是 RAW,它有著 RAW 的各種特性,原理上講它也是 RAW 的一種。

從 ProRes RAW 的設計理念來看,它的誕生是蘋果 ProRes 生態的延續:在不改動基於 ProRes 的工作流的情況下,可以直接引入 ProRes RAW 從而獲得更好的畫面,尤其可用於 HDR 內容創作,實際上這一點是至關重要的。我雖不曾深入影視工業瞭解過,但從接觸過的多位調色師以及各大熒幕電影的製作格式來看,RAW 流程並不在很多大規模工程中吃香,畢竟它會在 DIT 以及更多後期流程中引入新的成本,而 ProRes 流程可以解決這一問題。

但考慮到當前 ProRes RAW 的實際操作表現,把 ProRes RAW 理解成 ProRes 的畫質升級版可能會更好接受一些。於是問題來了,如果去掉 ProRes RAW 的 RAW 知名,你還會考慮外錄 ProRes RAW 的相機麼?


部分官方文檔及本文參考內容:

Apple ProRes 白皮書:https://www.apple.com/final-cut-pro/docs/Apple_ProRes_White_Paper.pdf

Apple About ProRes RAW:https://support.apple.com/en-us/HT208671

Apple ProRes RAW 白皮書:https://www.apple.com/final-cut-pro/docs/Apple_ProRes_RAW_White_Paper.pdf

CinemaDNG RAW 官方相關文檔:https://www.adobe.com/devnet/cinemadng.html

Stanford CS231m Lecture 11 《Camera Processing Pipeline》:https://web.stanford.edu/class/cs231m/lectures/lecture-11-camera-isp.pdf

RED101:OVERVIEW OF THE REDCODE FILE FORMAT:https://www.red.com/red-101/redcode-file-format

RED IPP2 概覽:https://support.red.com/hc/en-us/articles/115004913827-IPP2-Overview

Blackmagic Design 介紹 BRaw 的視頻:https://www.youtube.com/watch?v=Fc8q_3ot3lQ

BlackMagic Design 用戶論壇中關於 BRAW 的討論:https://forum.blackmagicdesign.com/viewtopic.php?f=2&t=79611&start=0

BRAW 相關分析:https://cml.news/g/cml-raw-log-hdr/topic/braw_codec_analysis/25749037?p=,,,20,0,0,0::recentpostdate%2Fsticky,,,20,2,0,25749037

NewsShooter 《Understanding ProRes RAW》:https://www.newsshooter.com/2018/05/07/understanding-prores-raw-is-it-prores-or-is-it-raw/


分享到:


相關文章: