深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

在佳能、尼康都已经摆好全面进入全画幅无反相机的时候,老牌相机厂商中只有宾得(理光)、富士和奥林巴斯还没有进入这一竞争领域。宾得目前是完全沉寂的状态,可能连他自己都说不清楚该何去何从。而富士和奥林巴斯的态度却已经很明确了。富士,在135画幅领域将深挖APS-C画幅的性能、功能和画质潜力,力求做精、做强,给用户另一种135画幅无反相机机身的选择,在狭缝中寻求市场空间,站稳脚跟。同时,在中画幅领域也将继续走同样的道路,深挖"4433"规格的中画幅无反相机潜能,利用其先发优势,以此寻求突破。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

那奥林巴斯呢?在O-MD E-M1X发布之前,其态度是不明确的,但在此M4/3规格的旗舰机型发布之后,其深挖M4/3规格的态度就已经很明确了。这实际上是一个好事儿,毕竟奥林巴斯一直在这方面都做得很好,虽然市场空间不大,但也不用与佳能、尼康和索尼直接竞争。这种利用自身优势,稳固市场地位,再寻求突破的做法,是与富士同出一辙,也是相当明智的选择。

E-M1X的发布是形势所迫

那为什么奥林巴斯为什么会选择在此时发布E-M1X,而不是更新E-M5 Mark II呢?显然,奥林巴斯是想在E-M5机型更新之前,用一款具备专业特性的高性能旗舰机型,来充实其E-M产品线。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

这样做的最大好处是能通过强而有力的性能表现,让市场、消费者和原有用户树立起信心,用挥舞"旗舰级的高性能和尖端技术大旗"振奋M4/3系统产品。毕竟其对手是"全画幅",没有过人的优异表现,没有能镇得住的重头产品出现,再香的"酒",恐怕也难有人问津。可以说,此时发布E-M1X,其根本原因不是产品和技术,而是市场策略和形势所迫。

前所未见的双影像处理器系统

那E-M1X凭什么能突破M4/3画幅的局限性,能担起"高性能旗舰"的大旗呢?除了奥林巴斯深耕M4/3画幅产品技术多年积攒下来的经验、技术和镜头群外,其最值得关注的是采用了双影像处理器的全新影像处理系统TruePic VIII。这两颗影像处理器实际上就是计算机和智能手机里大家所熟知的CPU,而且还是双CPU的8核心处理器。同时,奥林巴斯还为这个双影像处理器配备了改进型的前端LSI。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

这套双影像处理器系统,是目前我所了解到的,在无反相机中配置最高的处理器系统。其主要作用自然是提升整机的功能、性能水平,让其具备了"手持高分辨率拍摄模式"和实时ND模式,以及满足实现各种基于AI的自动对焦算法的性能需求。

据奥林巴斯公开资料显示,这个双影像处理器系统是专为相机而设计,与众不同之处在于它可以执行深度学习算法,让其具备一定的AI特性。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

在现场体验E-M1X时,这套双影像处理器系统给我带来的感受是相当震撼的。因为在没有专门的AI芯片辅助下,依靠双影像处理器,它就能实现高帧率、高响应速度的实时主体识别和跟踪对焦功能。要知道,目前为止,奥林巴斯E-M1X是除索尼A9(固件V5.0)、A6400以外第三个真正可以实现此功能的产品。

奥林巴斯表示,人工智能技术,特别是主体检测算法的发展能如此迅速,其最大的原因是影像处理器性能和系统架构的改变。没有一个强大的,可以极高速度、效率处理超大数据的强大核心,是不可能真正获得AI技术所带来的提升的。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

另外,需要特别指出的是,这个双影像处理器系统,其每个影像处理器都具备集成在芯片中的前端LSI电路。LSI电路(处理器)实际上是一个原始图像数据预处理的前端电路,它实际上是为了调控数据处理量和存储量,为的是提升整个影像处理器系统的效率。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

双影像处理器加LSI电路,还意味着E-M1X拥有了两个USH-II存储通道。每个处理器芯片上都有电路以支持单个UHS-II数据流,这就是为什么E-M1 Mark II上的两个SD卡插槽中只有一个支持UHS-II的原因。而E-M1X有了双影像处理器,就具备了支持两个UHS-II卡的能力。这意味着其必须具备容量更大,数据吞吐速度更快的缓存系统(包括芯片、总线和电路)。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

E-M1X使用与E-M1 Mark II相同的Live MOS影像传感器,但E-M1X具有更好的图像处理能力,因此其拍摄的JPEG照片,在高感光度下仍可以获得噪点更少的高画质。同时获得改进的,还有更平滑的肤色渐变,以及更好的色彩表现。这些,都是双影像处理器系统所带来的提升,以及奥林巴斯在吸取职业摄影师的反馈后,成像算法获得改进而得到的成果。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

或许很多人会认为,这个单影像处理器也能做到,但他们忽略了性能、功能的不足所可能带来的不良用户体验。举例来说吧,当使用E-M1X的画质优先模式(特点是低ISO、高细节)时,相机在拍摄后是会主动进行两次降噪处理的,也就是说E-M1X具备了一个两级降噪功能。据奥林巴斯的工程师表示,在ISO800到ISO1600感光度之间,这个两级降噪系统的处理效果和性能表现最好。

有如此强大的双影像处理器系统(双CPU、8核心),E-M1X的机身又如此紧凑小巧,其最大问题将会是工作中可能产生的高发热量所带来的效能下降,甚至是死机问题。为了解决这个问题,奥林巴斯在机身内部的两块影像处理器上都加装了"内部导热管"。是的,你没听说错!就是跟电脑给CPU散热安装和使用的,一样的"液冷导热管"。这是一种内部装有低沸点液体的空心导管,它能迅速、安静地将热量,通过液体的汽化和液化转换,高效地完成热转换过程,进而实现高效散热。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

据奥林巴斯介绍,E-M1X所使用的导热管布局在处理器芯片周围,并与机身的金属框架相连,进而实现将位于相机核心部分的热量,迅速传导到机身外壳框架上,实现快速散热。这个结构并不是为了一般的拍摄照片需求而设,而是针对高强度的高速连拍和4K视频录制功能而设计。因为那时的相机将处于高负荷处理工作中,芯片和电路都会因此而产生高温。如果这些热量不能及时地发散出去,那么E-M1X很可能会死机,或直接烧坏芯片。

真正融入AI的AF系统

在我看来,目前真正融入了AI技术的产品,并且在相机中展现出AI特征的,只有索尼和奥林巴斯。但需要说明的是,这种AI并不是我们在智能手机、电脑等通讯和计算设备上所认知的AI,因为它不具备"云计算"能力,没有网络连接,不可实时通过云计算的方式来实现实时智能化。但它确实是AI技术的范畴,因为它将机器深度学习的结果和具备智能辨识能力的程序植入到了影像处理系统中,使其能实现实时的智能判断和辨识主体的能力。虽然,这放在整个AI技术中是一个很表层的图像识别和输入应用,但其带来的意义和拍摄体验是完全不同的。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

奥林巴斯的E-M1X的AI技术主要是应用在AF系统上,它可以智能地识别取景框中任一位置的三种不同类型的主体,然后将自动对焦点直接放在关键区域上。目前,这三种主体类型是赛车运动(包括汽车和摩托车)以及火车和飞机。另外,它还具备眼睛检测和面部识别能力。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

需要指出的是,E-M1X可以在识别赛车、火车和飞机的过程中,主动识别驾驶员(包括戴着头盔的)并完成自动对焦。显然,奥林巴斯在其AI的机器深度学习中进行了专门的,大数据量的训练,并获得了相当不错的数据库。

此外,奥林巴斯还表示将在未来专门针对动物,尤其是鸟类进行更加深入的机器深度学习训练,使其AI自动对焦系统具备更准确的动物识别能力,以提升其在生态摄影方面的性能优势。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

奥林巴斯还特别提到了,其AI自动对焦系统对每种主体类型都进行了成千上万的图像的机器深度学习。并且在这个过程中还进行了人工干预,使其具备了识别主体和正确的焦点的能力。例如,对于赛车运动的图像,在AI的机器深度学习过程中,就通过了人工干预帮助其分辨"这是汽车/摩托车的车身,这是骑手的头盔"等等。这是一项庞大而繁重的工作,据称奥林巴斯就此进行了3年多时间才完成现有版本的数据库,而未来还将通过固件升级的方式,进一步升级此数据库。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

说到此AI技术的研发,最初是由奥林巴斯的相机事业部和中央研发小组(由多个部门组成)合作启动的,经过了长达六个月的讨论,确定了使用深度学习技术识别图像中的主体的可行性,并建立了基本算法。之后,又经历了超过两年半的时间,将算法优化,并进一步提升其计算效率和精简数据库,使之达到能在E-M1X上使用的基础。这套深度学习技术,奥林巴斯采用了标准的一般方法和独有的特定算法进行开发。只有这样,才能达到"实时"识别和计算焦点,并使之驱动自动对焦机构的目的。除了建立基础数据库和识别算法之外,如何缩减识别过程中的延迟是一个研发难点。只有做到"无迟滞感",这样的AI自动对焦系统才是具备实用性的。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

我们都知道,基于AI的主体识别不但是使用了从图像传感器上获得的主体影像数据,同时还获取了距离数据。但奥林巴斯并没有公布其距离数据是从相位检测自动对焦系统,还是从对比度检测自动对焦系统中获得的。不过,从其实际表现来看,这或许已经不太重要了,因为在现场体验中我能看到自动对焦系统运作得相当流畅,不但能正确识别主体,还能实时跟踪。

需要说明的是,这个对人类来说很简单的事,在相机上实现并不容易。因为相机取景框中往往充斥着各种各样的物体,其图像、距离和深度数据是十分混乱的,从中准确识别主体已经很不容易了,而要在庞杂的数据中获得准确的距离和深度数据,更是一项非常困难和复杂的计算任务。就如奥林巴斯在发布会现场所介绍的那样,E-M1X的AI系统会不停地以高帧率扫描检测取景图像中对应CMOS的所有2000万个像素点,并对数据进行实时处理。这是一个相当大的数据处理量,相当于每秒处理多少张照片一样,需要的不仅仅是超过的影像处理器性能,还需要算法的效率和准确率足够高。没有AI,这一切都很难办到。也正因如此,E-M1X的AI自动对焦系统才能准确识别出赛车上戴有头盔的驾驶员,并将焦点紧跟其上。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

在我看来,奥林巴斯的AI应用在自动对焦系统上仅是开始,在足够高性能的双影像处理器系统支持下,相机AI还可以实现更多样的功能。不过,奥林巴斯并没有明确的方向,机内的图像编辑与移动设备的互联很可能会是下一个方向。

性能提升带来的防抖效能提升

众所周知,M4/3系统的无反相机其镜头等效焦距视角转换系数是相当大的,达到了"2",因此奥林巴斯的镜头本身即便品质再高,其转换系数带来的直接问题就是防抖效能高地决定了其是否能拍摄得更清楚,成像细节的清晰度等一系列影响成像质量的问题。就如奥林巴斯的ED 300mm F4 IS PRO镜头,其等效于600mm焦距的视角,如果没有当时的旗舰E-M1 Mark II内置的图像稳定器配合,提供约6.5挡快门的防抖效果,就很难实现手持拍摄。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

此次,在整体性能提升的大前提下,E-M1X获得了等效于7.5挡快门的防抖效果。从奥林巴斯公开的资料中,我们可以看到它采用了与爱普生联合开发的陀螺仪传感器,具备较E-M1 Mark II高5倍的相机抖动检测准确率。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

这显然是一个全新的防抖系统,陀螺仪技术的改进也意味着E-M1X的防抖效果是优于E-M1 Mark II的。为此,奥林巴斯给了它一个全新的名字:全方位图像防抖补偿。

让人惊讶的手持高分辨率模式

E-M1X最吸引人的一个新增功能是手持高分辨率(像素移位)曝光模式。乍一看,你可能会以为它只是简单地通过像素移动的方式,将瞬间拍摄的多张照片(8张)合称为一张约5000万像素的高分辨率照片。事实上并不是这么简单的,因为高分辨率拍摄模式在奥林巴斯早期的M4/3系统无反相机中就已经实现了,但那是需要相机和被摄物体保持静止,才可能拍摄成功的。这个在E-M1X上仍然得到继承,并被重新命名为"三脚架高分辨率曝光模式"。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

目前,所有其他品牌的无反相机的类似功能都是"三脚架高分辨率曝光模式",只有奥林巴斯才具备"手持高分辨率拍摄模式。那这两者之间有什么不同呢?

首先,两者实现的原理就有很大差异,简单来说,三脚架高分辨率曝光模式是一个感光元件按程序既定的像素移动规律,通过影像传感器的有规律"抖动"来实现的。你可以把它简单地想象为所有像素按照"上→左→下→右→上"这样的移动轨迹,各拍一张照片,最后合成为一张超高像素照片。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

而手持高分辨率拍摄模式就完全不同,它更加智能化,并且需要新的防抖系统提供机身抖动的相对位移数据,据此分析和判断整个画面的所有像素点的成像信息,再通过高性能的双影像处理器判断那个区块需要"补拍",哪个区块不需要,并按此计算结果分配全部16张照片的拍摄区域(这是无规律的,非固定的),最终实现16个图像的高精度对齐合成为一张月5000万像素的高分辨率照片。事实上,理光的宾得K-1 II数码单反相机中也具备了类似的手持高分辨率拍摄功能,但它使用的是4次曝光所得数据,并且不具备智能分析和补齐的特点。所以,两者仍是有根本区别的。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

不过,在现场体验的过程中我发现这个手持高分辨率拍摄模式的成功率与被摄主体的移动幅度是有直接关系的,如果物体是处于抖动或者以运动中的话,其失败率相当的高。但拍摄静物的话,其成功率就成倍提升,并且其成像质量和精细程度确实相当让人惊讶。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

其次,E-M1X的三脚架高分辨率拍摄模式的像素移动是按0.5像素进行位移的,8张合成最后一张8000万像素的照片,并且可直接输出RAW格式文件。而手持高分辨率拍摄模式则只能输出5000万像素的RAW格式文件。

实时ND滤镜功能和景深合成模式

奥林巴斯E-M1X可以说是把影像传感器的"抖动"与防抖系统的功能发挥到极致的一款相机。它具备了同样以此为基础才能实现的"实时ND滤镜"功能和景深合成模式(包括对焦包围曝光模式)。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

实时ND滤镜功能实际上是完全依靠E-M1X的防抖系统来实现的一个功能,唯一的不同是它不需要"像素位移"来获得超高分辨率。只是简单地通过从防抖系统获得的数据,对非移动的物体进行精确合成,而对画面中的移动物体进行堆栈合成,以此来实现加装ND滤镜才有的模拟慢快门效果。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

需要注意的是,它的成像效果要比许多智能手机的"慢快门模式"要真实自然。这主要是因为它是通过超高速的多帧截取,并配合相应的慢快门来实现的。其采样率要比智能手机的高很多。而且,高性能的防抖系统也能很好地保持静止物体的清晰度,并为最后的合成提供相当精准的数据支持。这点,让该功能可以实现手持慢快门拍摄,可谓是奥林巴斯的首创。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

同样的,其景深合成模式和对焦包围曝光模式也是采用了同样的原理得以实现。唯一不同的是,在这两个模式下,相机处理的是"距离数据",依赖AI自动对焦系统,快速地完成焦点的规律变化,进而实现全景深和多焦点照片的拍摄。

深度分析奥林巴斯E-M1X:双影像CPU带来AI技术前所未有的深度应用

值得一提的是,E-M1X在景深合成模式和对焦包围曝光模式下,是对整个影像传感器上的所有像素点的焦距进行分析和判断,而不是"逐个"距离数据进行分析。也就是说,E-M1X是具备瞬间完成整个图像区域的深度信息获取和分析,形成整个图像区域的深度图的能力的。换而言之,E-M1X的AI主体识别系统,也在此功能中起到了相当重要的作用。反向推导,我们可以认为E-M1X的AI自动对焦系统,实际上是一个具备全图像主体深度检测处理能力的系统,而不是一个简单的"寻找主体"的自动对焦系统。如此一来,这样的AI技术实现方式,我也是首次看到它在相机上实现。


分享到:


相關文章: