来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技

在过去的十年里,智能手机已经成为卡片机和数码单反相机最强的竞争对手,甚至在某些方面已经超越了这些专门的相机,我们先看一下下面这张图表:

来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技

智能手机的销量呈指数级增长,数码相机则相反

上图的红色线代表智能手机的销量增长曲线,蓝色代表相机的增长曲线,注意两条线的y轴单位是不一样的,我们可以看到智能手机是像火箭一样的指数级增长,而相机的销量在不断地急剧下降。

智能手机的功能强大,如果从拍摄的方面来解释这种趋势,我们可能是这么想:“既然用手机可以装在口袋里随时都能拿出来拍摄,并且操作近乎傻瓜式,简单就能拍出好看的照片,我为啥还要花几千上万的钱买专业的相机,还要学习各种复杂的操作和技术呢”。以上可能是大部分普通手机用户心里的想法。

有了智能手机,每个人都可以称自己喜欢“摄影”——以前只有那些拥有体积庞大的专业相机的人才会这么说。 尽管智能手机在很多方面都能与数码单反相机相抗衡,有时甚至在视频摄影等某些方面更加是击败价值上万的单反,但它们在弱光或夜间摄影方面表现还是差强人意的,只是,近两年这方面发生了些改变。

在进入正题之前,我们先科普个知识:摄影的成像是通过镜头将光线汇聚到图像传感器来实现的,在弱光或者夜景的情况下,光线很少,这时要拍出好的成像就会比较困难。

有两种方法来解决这个问题:

  1. 用一个更大的传感器和镜头
  2. 允许更长的曝光时间,即保持快门打开更长的时间

这两种方式都允许更多的光线进入镜头传感器。 但智能手机的设计需要考虑便携性,所以很大的镜头和传感器很难做到。 第二种选择是进行长时间曝光拍摄,要求设备在拍摄之前完全保持静止不动,拍摄时间可以从几秒到几分钟不等,取决于周围有多少光线。 手机就是为了方便携带,如果还需要三脚架这也不靠谱,更何况被拍摄的物体也不能保持一直不动。

谷歌的Pixel和 和苹果iPhone 更倾向于第二种选择,他们通过大量的算法来处理因抖动导致的模糊,而华为系列的相机则更偏向第一种选择,它们配备了更大的传感器。

谷歌Pixel4

来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技

谷歌作为互联网的执牛耳者,他们家的算法能力是顶尖的,其实他们也在做手机,只是国内可能用的人比较少。在2018年底,谷歌发布了被称为“夜视”的“Pixel(像素)”系列手机,内置了革命性的微光摄影模式。 Pixel 相机背后的团队发表了一篇详细的博客文章,解释了相机背后的科学原理。

“照度”,就是物体表面单位面积的光通量,通常以勒克斯(lux)单位来衡量。 它是单位面积上到达一个表面的光量。 下面是来自谷歌人工智能博客的图表,显示了不同场景的勒克斯:

来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技

传统上,智能手机 拍的照片在低于30勒克斯的时候会开始变差,一些手机可以使用 HDR 这样的功能,将多张照片合并在一起,即使场景的光量只有3勒克斯。 谷歌手机的夜视模式对0.3勒克斯到3勒克斯间的场景做了算法处理,下面的照片展示了它的效果:

来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技

带有 SmartHDR 的 iPhone XS (左)和带有夜视功能的 Pixel 3(右)

夜视的工作流程:

1. 夜视弹出窗口ーー当你拍摄照片时,如果场景低于一定的照明度,谷歌会自动推荐使用夜视模式。 你也可以随时手动选择此模式。

2.正快门延迟(PSL)ー在正常模式下,谷歌使用了所谓的零快门延迟(ZSL)。 一旦相机应用程序打开,在你按下快门按钮之前,手机自动开始开始拍摄。 当你单击拍摄按钮,它会对最新的9-15帧画面进行合成处理。 但是,ZSL 要求曝光时间小于66毫秒,这对于微光摄影来说太短了。 在夜视模式下,谷歌使用正快门延迟,这意味着相机只有在按下快门按钮后才会拍摄。 这可以保证相机的曝光时间,但是这需要手机在按下快门按钮后保持静止几秒钟。

3.运动测量ーー增加曝光时间本身有很多困难要克服。 相机在场景中更容易发生抖动或运动,从而导致图像模糊。 为了解决这个问题,谷歌记录了场景中的动作以及手部的动作,并根据这些动作决定拍摄的帧数和曝光时间。 例如,在三脚架上进行稳定拍摄时,总拍摄时间为6秒,拍摄6帧,每帧耗时1000毫秒; 而手持拍摄,总拍摄时间约为1秒,拍摄15帧,每帧耗时70毫秒。 通过精确的测量目前运动的状态和周围的光量,相机可以动态得出应该采用的拍照测量。

4.Hdr + 和 Super Res Zoom ー High Dynamic Range (HDR)是指场景同时具有明亮和非常暗的区域。 正常情况下,由于手机传感器的动态范围有限,它很难同时将很亮和很暗的物体都拍摄得很清楚,只能二者选其一。 如今大部分智能手机为了解决这个问题都内置了HDR 处理功能,它其实就是同时拍摄多张不同曝光量的照片,通常包括一帧明亮区域可以正确看到,一帧黑暗区域可以正确看到,和一帧或多帧中间曝光量的,并将这些图像通过算法合并为一帧画面。下图是HDR的一个例子,左边未使用HDR技术,天空过曝,画面细节丢失,右边使用HDR,天空和人物都清晰可见。

来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技

左边未使用HDR技术,右边使用HDR

在夜视模式下,一旦快门被按下,相机就会拍下很多帧不同的画面,它们就会被发送到谷歌HDR 处理流水线上进行合成处理。 在较老的 Pixel 设备(1和2)上是使用 HDR+技术进行合成,而较新的设备(3和4) ,使用了称为Super Res Zoom的黑科技。 这些技术会将所有的帧合成处理,消除噪点,产生更清晰的图像。 其中一帧中缺少的细节是从另一帧中提取出来的,一帧中不太清晰的像素被另一帧中更清晰的像素所替代。

5.基于机器学习的白平衡算法ーー当处理完图像的内容,就需要调整颜色色温,使颜色显得准确。人类的眼睛具有在不同照明环境下依然能准确判断物体颜色的本事,但是我们不能用同样的方法来判断照片中的颜色。 在温暖的光线下拍摄的照片中的颜色会呈现黄色。 智能手机通常会通过一种叫做自动白平衡(AWB)的处理来调整颜色,使物体的颜色还原成白光照射时的颜色,但是 AWB 在弱光环境下的效果很差。 为了克服这个问题,谷歌通过大量的镜头手工修正白平衡来训练 AWB 算法,直到算法能够自己学会如何处理白平衡。

来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技

没有使用色彩平衡处理(左)vs基于机器学习的自动白平衡处理(右)

6.色调映射——谷歌处理过程的最后一步是让图像看起来像是在夜间而不是白天拍摄的。 人眼由杆状细胞和锥状细胞组成,但只有弱光下的杆状细胞才会发挥作用。 视杆细胞在感知颜色方面和视锥细胞一样糟糕,而且空间敏锐度也不如视锥细胞。 夜视功能很强大,因为它可以拍出连肉眼都看不到的色彩和清晰度的照片。 在极端情况下,这会使图像看起来像是在白天拍摄的,看上去会很假。 为了防止这种情况的发生,谷歌使用了 s 曲线的色调映射,使观众能够感知到照片实际上是在夜间或暗光下拍摄的。

除了夜视功能,Pixel 4还有一个天文摄影模式,通过延长曝光时间,每帧长达16秒,总共15帧,总摄影时间为4分钟,摄影师可以捕捉到更暗的夜景,比如天空中的星星。 但是这需要把手机靠在物体上或者三脚架上。

华为 mate30

来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技

华为的旗舰手机之前会被一些人低估。 华为是第一家引入夜间模式的公司。 在Pixel的夜视模式出来之前,P20 Pro 已经可以拍摄出惊艳的弱光照片。 而今年9月份推出的 Mate 30系列,则在弱光摄影上作出了巨大飞跃,至少在理论上是这样。

前面我提到过,智能手机一般不安装较大的传感器,因为它们的机身较小。但华为找到了一个办法。

来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技

左边是Mate30 Pro拍摄的

Mate 30有四个相机镜头,但用于低光的主要是一个40MP 1 / 1.7”传感器。

有两个主要特点使得这种传感器在弱光环境下表现优异:

1.RYYB过滤器ー相机传感器通过在图像传感器顶部叠加一个彩色过滤器阵列来捕捉场景中的颜色。 Iphone、谷歌Pixel以及几乎所有其他旗舰产品的传感器都使用红、绿、绿、蓝(RGGB)过滤器。 但是 mate30使用红色、黄色、黄色、蓝色(RYYB)过滤器,这有违常规的操作有什么不同吗?

RGGB 过滤器已经使用了很多年,因为人类的视觉对红色、绿色和蓝色很敏感。 通过在 RYYB 过滤器中用黄色代替绿色,Mate 30中的传感器能够捕捉到更多的光线。 华为声称这使得传感器比 RGGB 滤光片多捕捉40% 的光线。 但是使用 RYYB 比使用 RGGB 滤镜更难得到准确的颜色。 华为通过新的基于人工智能的图像处理技术来解决这个问题。

2.更大的传感器ーー除了对光线更敏感外,Mate 30的传感器(1 / 1.7”)也比你在 Pixel 4、 iPhone 11和 Galaxy S10中找到的传感器要大ーー所有这些传感器都是一个更小的1 / 2.55”传感器。

单反相机有句话叫“底大一级压死人”,用来说明大传感器的作用。通过配合大尺寸传感器,Mate 30可以比其他旗舰多捕获137% 的光线。 这使得它能够在任何智能手机中拥有最高的 ISO (感光元件的感光度)。 华为声称 Mate 30的 ISO 为204800,Mate 30 Pro的 ISO 为409600,而行业标准为6400,这与昂贵的数码单反相机旗鼓相当。

推动智能手机传感器的物理边界,使得华为能够在不使用专用夜间模式的情况下拍摄出色的微光照片,即使不使用谷歌的夜视模式和苹果 iPhone 所使用的多帧和长时间曝光的计算方法。

但是这款手机也有一个专用的夜间模式,它在强大的硬件基础上再加持上软件算法,提供了更好的微光性能。 专用夜间模式也是有发挥作用的地方的,mate30的超广角和长焦镜头不像主镜头那样具有硬件加持,这是夜视模式就能帮助它在弱光环境下拍摄了。

如果华为的这些技术还不够吸引人的话,Mate 30 Pro,这款高端版本手机,不仅拥有优秀的弱光摄影技术,而且还是业内首款支持弱光视频的手机。 它还有一个更大的超广角传感器(1 / 1.54”)比Mate30的1 / 1.7“ RYYB 传感器还大。

iPhone 11

来看看苹果谷歌华为智能手机在弱光拍照上使用的黑科技


分享到:


相關文章: