尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

写在最前:本文作者,我,虽然是数字媒体专业毕业,但没有系统的学习过计算机图形学等相关理论课程,下文中涉及到的理论部分如有错误还请谅解,同时希望专业人士给予斧正;另,我虽然一直在拍摄视频,但并没有参与过大团队甚至工程化的项目,下文中涉及到的市场情况及评价有很强的主观性,若不准确,还请见谅。

另,本文虽披着看似专业的外壳,但其实只是幼儿园级别的表述,权当抛砖引玉。希望看到更多大大们在技术层面的讨论。

几天前,尼康宣布 Z6 可以开放付费升级外录 RAW 的能力,配合 Atomos Ninja V 可以拍摄 ProRes RAW 格式的 RAW 视频。这个消息传闻已久,今天宣布并不惊讶,但 ProRes RAW 似乎惹了众怒一般,很多人都对他嗤之以鼻。

尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

那么究竟 ProRes RAW 是个什么玩意?它和它同类的 RAW 格式之间有什么异同?

RAW 的工作流程与「反拜耳」

提到 ProRes RAW 的原理之前就不得不提一嘴 RAW 的工作流程。


尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

标准的 RAW,如上图,传感器拍摄后的原始数据需要经过「反拜耳」算法进行处理,然后进行色彩层面的调整,直至最终在 Rec.709 或其他标准下出片。如果这句话还是没太明白,这里引用 ARRI 在介绍 ARRIRAW 时对 RAW 的描述:

和胶片负片一样,RAW 需要被“显影”——或者叫被“后期”,才能把从感光器拜耳阵列直接读出的、原始单通道图像数据,转换成适合正常观看的有色彩的图片。感光器最原始记录的 raw 数据保留了最原始的内容,从而提供了重新调整结果的自由度。

(⬆️ 来自 ARRIRAW 介绍,并将文中所写 ARRIRAW 全部改为 RAW)

所以先明确一个核心观念:RAW 是一类记录用编码格式的统称,其存在是为了记录,而不是为了回看

如果还看不懂,那我们再插入一段讲解,介绍「反拜耳」是什么:

尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

常见的拜耳阵列如上图所示,一块感光器上很多感光单元(图中灰色块),每一个感光单元前面有一个滤色镜(红、绿、蓝色)。只有滤色镜同色的光能透过滤色镜射入感光元件,而感光单元只能记录接收到了多少光,所以实际上感光器记录的原始数据(可以暂且称之为「拜耳数据」,下同)是一个明度图像,不带色彩信息。「反拜耳」指的就是如何将拜耳数据变成带颜色数据的图片。

那么是如何实现的呢?看下图:


尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

By Cmglee - https://commons.wikimedia.org/wiki/File:Colorful_spring_garden_Bayer.png, CC BY-SA 3.0,

其中图一是被拍摄的场景,图二是拜耳感光器记录的原始明度图像。第三图展示了反拜耳的第一步,由于我们知道这块感光器上每一个感光单元对应的色彩滤镜究竟是什么颜色的,所以我们可以轻易的给原始的明度图像着色。但由于每一个单元只能记录一种颜色,所以在整张图片中每个像素实际上都存在一部分色彩缺失,这时就需要用算法(「反拜耳算法」)来计算(一般是通过周围的感光单元差值得来)出丢失的色彩,结果为图四,是包含了完整像素尺寸的 RGB 数据的图像。当然了,由于拜耳阵列的特性,1/2的绿色和3/4的红色与蓝色是通过计算而不是拍摄得来;在这一步,不同的算法也会导致画面观感不同,但这就需要权衡了,简单的算法会让计算开销很小、速度很快,但更大概率可能导致色彩错误。(图五是其他“魔改”拜耳阵列的处理结果,如适马的 X3、或者“摇摇乐”什么的,如本文讨论无关)

注:感兴趣的同学强烈建议看 Stanford 的网课 CS231m 其中的一个 lecture:https://web.stanford.edu/class/cs231m/lectures/lecture-11-camera-isp.pdf ,这门课是关于计算机图形学+机器学习的,有兴趣的也可以搞搞。

题外话,有些人会把反拜耳和常见的比如4:2:2色度采样过程搞混,色度采样是在已完成反拜耳的 RGB 图像基础上进行的。色度采样是将 RGB 数据才养成 YCrCb 数据,以减小数据体积。

尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

图片来源:CinemaDNG 在 NAB 2011 上做的 Presentation

当然,上面只是简单介绍的反拜耳流程,实际上还会有更多步骤的处理,如上图所示,在反马赛克(Demosaicing,不是去码,指的就是上述反拜耳的核心步骤。拜耳阵列因为看起来是马赛克似的排列,所以这部分处理被称之为反马赛克)之前还存在如降噪、去除坏点等。这些步骤同样会消耗大量的计算能力,这都使得 RAW 在后期处理时对计算性能的要求变高。但由于所有有关色彩的处理都是在后期进行的,所以 RAW 也保留了极大的自由空间可供调整:如可以自定义白平衡、曝光、Gamma 等等。

回到定义,RAW 是一类记录用编码格式的统称,其存在是为了记录,而不是为了回看,现在可以理解了,因为 RAW 编码文件并不真的有色彩信息,所以无法回看。

真·RAW?伪·RAW?

搞明白了反拜耳是什么,就好解释 RAW 每一步的产出了。标准的 RAW(如常见的ARRIRAW 和 CinemaDNG RAW)保存的是感光器的「拜耳数据」,完全没有经过反拜耳。在这个保存过程中可能存在压缩(比如 CinemaDNG 可选压缩比),但也只是对拜耳数据的压缩,此时还不存在任何色彩信息(划重点,下文会考)。ARRIRAW 和 CinemaDNG RAW 在原理上没有很大差异,之所以会分成多种 RAW 格式主要是因为 RAW 背后还带有各厂商希望推广的工作流,其中还包括后续颜色处理如何应用色彩科学等等,本段只对 RAW 如何处理图像进行讨论,故称他们是一样的,是「真·RAW」。当然,为了后期可以正确生成拍摄时的内容,raw 文件实际上还包括大量的相机元数据(如 ISO 多少,色温设置多少等),与本节话题无关,先放一边。

尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

上图为 BlackMagic Design 在介绍 CinemaDNG 的处理流程,左侧为机内进行,右侧为后期软件内进行。其中左侧Encoder(编码器)指的就是应用 CinemaDNG 编码算法的处理单元,用来对拜耳数据进行编码(及压缩等)。

但由于真·RAW 对后期处理的性能要求高,尽管 CinemaDNG RAW 可以对数据压缩但数据量还是过大,对储存带来极大的压力,很多厂商就开始投入新型 RAW 的开发:意图 RAW 的体积、性能消耗降低,但依然保留 RAW 的后期自由空间。这类 RAW 的代表,REDcode RAW(很多人熟悉的 R3D)、BlackMagic RAW、以及今天的主角 ProRes RAW。

为了减小后期性能开销,最简单的办法就是把一部分开销大的工作提前做完,于是这类 RAW 的一个共同点就是把反拜耳拆成了两部分,分别在前期和后期进行。

尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

上图为 BlackMagic Design 介绍自家 BlackMagic RAW(BRAW) 的处理流程示意。

注:我找遍了各种网站和角落,都没有找到上述三家(RED、BMD 和 Apple)官方对前期机内的「部分反马赛克」究竟做了什么的表述,但国外玩家有不少对于这些 RAW 文件的解析结果分析讨论,甚至由于 BlackMagic RAW 的 SDK 是开放使用的,有同学反编译了 SDK 的内容,交叉验证了讨论中对这类 RAW 的猜测(见文底参考内容)。如果你找到更可信的结果,欢迎评论区或私信丢给我;

分析结果下略,只说结果。

结果显示,这类 RAW 文件储存的实际上是压缩过的、经过反马赛克后、具有色彩信息的数据。划重点,压缩过的原始色彩数据

以 BRAW 举例,使用 8x8 DCT 算法对 12bit 非线性 RGB 数据进行压缩编码,其 12bit 非线性数据可在后期还原成 16bit 线性数据,这种算法是有损且不可逆的,但它进可快速进行后续色彩操作从而流畅预览、退可映射回拜耳数据进行重新解析。

ProRes RAW 在流程层面和 BRAW 一样,也使用DCT进行编码(准确的说,应该是和 ProRes 压缩方式一致,也是基于 DCT 的),但压缩前的数据生成方式是不同的,官方白皮书表述是直接对拜耳数据进行编码的,也因此有观点表示因此 ProRes RAW 存在串色和高压模糊问题;

RED 则是使用 Wavelets 算法进行压缩,从而在后期回放时可以轻松选择不同分辨率大小进行回看)。但这些“色彩数据”并不真的是完成色彩处理后的 RGB 图像,所以依然保留了 RAW 的自由度:可调节白平衡、Gamma、 曝光等参数。甚至更多,由于部分反马赛克处理是在机身内完成的,所以如 BlackMagic Design 就在这个环节对不同摄像机的感光器做单独处理,以求在后期时得到的文件时可以拥有统一的画面特性。

如果说真·RAW 是生肉,那么所谓伪·RAW 就是半生不熟的肉,Rare,连三层熟都到不了的那种。实际上没有任何必要嫌弃这类 RAW 的存在,毕竟它实际上保留了 RAW 的可操作空间,同时极大的减小了后期性能开销与存储体积

有得必有失,这类 RAW 损失的是什么?真·RAW因为只有最原始的感光器数据,所以实际上可以自行进行反拜耳算法的处理,这就有了很大的处理空间,即可以追求极致的画面表现,也可以进行风格化的处理(插一句,ARRI 对于 ARRIRAW 的要求比较严格,如果要自己写反拜耳算法并提供给他人使用,写完了得送交 ARRI 进行认证,确保画面在美学层面达到 ARRI 的要求;ARRI 会给自行进行反拜耳的软件办法 ARRIRAW PROCESSING 认证,从而告知用户哪些软件是符合标准的)。反观伪·RAW,由于前期已经进行了部分反拜耳,所以后期基本上就只能根据厂家自己给的方式来进行后续流程了,当然这也给厂家留出了一部分空间,比如 RED 可以提自己的 IPP2 处理流程,BMD 可以说你们不管在什么软件里处理 braw 文件得到的画面都是一样的……

综上,纠结是不是真·RAW 对于大多数用户而言其实是没必要的,毕竟大部分用户还是更在意 RAW 后期的自由度,而非极致的画质表现。

ProRes RAW 技术参数

对于 RAW 格式的技术参数表述主要就三个方面:

1、码率多少(储存体积)

2、能记录多少位深的数据(能还原色彩的能力)

3、解码所需计算能力开销(回看吃不吃性能)

我们逐步来看:

码率

为了直观的感受体积大小,我们把 ProRes RAW 和 ProRes 以码率类似、且位深也一致的 BlackMagic RAW 放到一起比较。

在 4K DCI(4096x2160)分辨率、30fps 下:

尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

其中 BRAW Q0、Q5,以及 ProRes RAW 为可变码率,单位为 mbps

基本上可以认为,如果可以接受 ProRes 422HQ 或 4444 的码率用在工作流中,替换成 ProRes RAW 和 RAW HQ 基本是没区别的,甚至体积可能会更小。

位深

非 RAW 的 ProRes,在 4444XQ 和 4444 模式下可以记录 12bit RGB 数据(如果包含 Alpha 图层则 16bit),在 422HQ 及更低模式下,在码率允许的情况下最高纪录 10bit 数据。

ProRes RAW,无论是标准 ProRes RAW 还是 RAW HQ,都可以记录 12bit。如此看来,ProRes RAW 可以在体积更小的情况下保留 12bit 色彩记录能力。

性能

我手头没有科学合理的平台用于测试 ProRes RAW 与别的 RAW 的性能表现,但官方白皮书中有给出相关数据:


尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

图为在 18 核iMac Pro(128G 内存、Radeon Pro Vega64 显卡、4T SSD,macOS 10.13.3,Final Cut Pro 10.4.1)同时播放的机位数量。

可以看出,ProRes RAW - 422HQ、ProRes RAW HQ - 4444 完全一一对应。

综上,可以看出苹果的目的,在 ProRes 工作流已经变得流行的当下,用 ProRes RAW 完全替代 ProRes 也几乎是无感的,并不会带来任何存储或性能上的问题,同时还可获得更高的色彩记录能力,从而更好的为 HDR 创作服务,可以说是百利而无一害。当然,以上判断是基于日常使用 ProRes 工作流而言。

很多人诟病 ProRes RAW 的一点就是,它虽然打着 RAW 的旗号,但实际上却不能像别的 RAW 一样在后期调节白平衡和曝光,而这似乎并不是真的:Atomos 官方 Twitter 曾经多次和别的用户解释着一点,ProRes RAW 是有后期调节的能力的。

尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

同时苹果官方的介绍页也写到:

尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

如此看来,不能直接调节白平衡什么的,可能是苹果自家产品经理的锅,他们试图打造更优雅的 RAW 使用体验,但却……

ProRes RAW 应用现状

RAW 因为需要后续继续处理才可回看,十分依托软件平台对 RAW 格式的支持。目前Apple ProRes RAW在苹果爸爸的推动下实际上获得了比较不错的兼容性。依然是和 BlackMagic Design 的 BRAW 对比:

尼康 Z6 支持的 ProRes RAW 到底是什么玩意?真的是 RAW 么?

软件层面由此看来,半斤八两,不过平民最强调色软件 DaVinci Resolve 不支持 ProRes RAW 确是很让人难受的事情,毕竟使用 RAW 更大程度上是为了获得更好的画面,而这不能在调色软件里直接调色实在是………………

那么可以拍摄 ProRes RAW 的设备都有哪些呢?目前有 ProRes RAW 记录能力的设备主要是两大家族,一是 Atomos 的外录机,Ninja V、Shotgun 系列、SUMO 系列;另一家族就是大疆,但当前大疆也只有搭配在 Inspire 2 上的 X7 云台才可以拍摄,可以说也很局限。

不过 Apple 和 Atomos 的合作也确实是个抄近路的做法,这样一来,只要相机拥有输出 RAW 的能力,基本上就都可以使用 ProRes RAW 的外录能力。所以如今我们看到尼康 Z6/Z7、松下 S1H 等无反纷纷开始蠢蠢欲动,专业摄像机厂家,如佳能就和 Atomos 合作有可外录8K ProRes RAW 的摄影机,相信不远的将来也会慢慢铺开相关能力。

总结

首先,ProRes RAW 是 RAW,它有着 RAW 的各种特性,原理上讲它也是 RAW 的一种。

从 ProRes RAW 的设计理念来看,它的诞生是苹果 ProRes 生态的延续:在不改动基于 ProRes 的工作流的情况下,可以直接引入 ProRes RAW 从而获得更好的画面,尤其可用于 HDR 内容创作,实际上这一点是至关重要的。我虽不曾深入影视工业了解过,但从接触过的多位调色师以及各大荧幕电影的制作格式来看,RAW 流程并不在很多大规模工程中吃香,毕竟它会在 DIT 以及更多后期流程中引入新的成本,而 ProRes 流程可以解决这一问题。

但考虑到当前 ProRes RAW 的实际操作表现,把 ProRes RAW 理解成 ProRes 的画质升级版可能会更好接受一些。于是问题来了,如果去掉 ProRes RAW 的 RAW 知名,你还会考虑外录 ProRes RAW 的相机么?


部分官方文档及本文参考内容:

Apple ProRes 白皮书:https://www.apple.com/final-cut-pro/docs/Apple_ProRes_White_Paper.pdf

Apple About ProRes RAW:https://support.apple.com/en-us/HT208671

Apple ProRes RAW 白皮书:https://www.apple.com/final-cut-pro/docs/Apple_ProRes_RAW_White_Paper.pdf

CinemaDNG RAW 官方相关文档:https://www.adobe.com/devnet/cinemadng.html

Stanford CS231m Lecture 11 《Camera Processing Pipeline》:https://web.stanford.edu/class/cs231m/lectures/lecture-11-camera-isp.pdf

RED101:OVERVIEW OF THE REDCODE FILE FORMAT:https://www.red.com/red-101/redcode-file-format

RED IPP2 概览:https://support.red.com/hc/en-us/articles/115004913827-IPP2-Overview

Blackmagic Design 介绍 BRaw 的视频:https://www.youtube.com/watch?v=Fc8q_3ot3lQ

BlackMagic Design 用户论坛中关于 BRAW 的讨论:https://forum.blackmagicdesign.com/viewtopic.php?f=2&t=79611&start=0

BRAW 相关分析:https://cml.news/g/cml-raw-log-hdr/topic/braw_codec_analysis/25749037?p=,,,20,0,0,0::recentpostdate%2Fsticky,,,20,2,0,25749037

NewsShooter 《Understanding ProRes RAW》:https://www.newsshooter.com/2018/05/07/understanding-prores-raw-is-it-prores-or-is-it-raw/


分享到:


相關文章: