聚焦|深海光学照明与成像系统分析及进展

一、引言

作为水下机器人,载人潜水器以及着陆器等深海装备的“眼睛”—深海光学成像探测具有分辨率高、数据量大、实时性好以及原位检测的优点,是深海科学与工程研究的重要手段,避免了深海探索“盲人摸象”的尴尬。深海光学成像探测系统作为深海装备的视觉系统,使得深海探索变得“一目了然”,成为深海矿产开发、深海资源勘测以及深海生物、化学活动探索的核心支撑技术,是我国利用海洋,开发海洋的重要技术基础。“阿尔文”号、“深海挑战者”号、“4500米”、“蛟龙”号载人潜水器,中科院深海所研发的“天涯”号、“海角”号着陆器、中科院自动化所研制的“海斗”号ROV都装备有一套或几套深海光学成像探测系统,降低了深潜探测的运营成本,提高了深潜系统的作业效率及安全系数。

人类的水下光学成像探测活动最早始于1856年,英国一位名叫Willian Thompson的工程师为普通照相机制作了一台防水箱。箱外装有玻璃窗口,将照相机装于此箱中,沉于水底,试图拍摄桥基的照片。这是人类第一次进行水下成像的尝试,因为是在水下环境,获得的照片较模糊。作为水下成像的真正奠基人,法国人Louis Bouton于1893年制成了带有压力补偿气球的防水相机,并于1895年首次制成了水下闪光设备,成功地获得了150英尺水深的照片。此后,随着海洋经济、科学活动的日益发展,海底观测网计划的陆续开展,深海光学成像系统得到越来越多的关注。现如今,美国的Deepsea Power&Light公司、英国的Kongsberg公司以及荷兰的SUBC IMAGING公司都具备深海光学照明与相机设备的研制能力。除此之外,WHOI,Scripps等海洋研究机构也开展了大量深海光学成像的前沿研究。

二、海光学成像系统剖析

深海光学成像探测是一种以获取深海图像信息为目的的光、机、电、算相结合的技术。深海光学成像探测系统如图1所示。本文将深海光学成像探测系统分为深海照明、深海相机、深海图像处理以及深海图像传输与存储4个子系统,每个子系统代表着不同的研发阶段,其中深海照明系统、深海相机系统是深海光学成像探测系统的重要硬件组成部分,直接影响着图像的拍摄质量与分辨能力。

聚焦|深海光学照明与成像系统分析及进展

图1 深海光学成像探测系统分解

三、深海光学照明系统

光作为电磁波的一种形式,其能量在水中的传播是按“指数”式衰减的,一般情况下水下200m以下可见光的照度不足水面照度的0.01%,而在1000m以下深海中,周围环境更是一片漆黑,因此几乎所有的深海光学成像系统都是主动式成像系统,需要深海照明系统作为支撑。在深海照明设备研制方面,国外起步比较早。美国的WHOI海洋研究所、Scripps海洋研究所以及Deepsea Power&Light公司,英国的Kongsberg公司等科研单位都具有深海照明灯的研发和制造能力。我国深海照明系统的研发起步较晚,现在有很多单位开展了相关研究。深海光学照明系统可以进一步细分为3个更小的子系统: 光源系统、配光系统以及灯阵系统,如图2所示。

聚焦|深海光学照明与成像系统分析及进展

图2 深海照明系统剖析

⒈光源系统

光源系统作为深海照明系统的“芯”,在深海照明系统中起着关键性作用。如何针对深海环境中海水吸收与散射特性,确定光源的光学参数是深海照明系统研究的重点。1990年,苏方雨在分析了光在海水中的传播特性后,分析了各类光源的性能,选择了高压汞灯为光源,研制了耐水压封装结构。该深海照明灯的工作深度达到1000m。2002年,Kawakami、Takashi考虑到LED具有寿命长、能耗低、启动快等优点,首次采用LED 作为深海照明灯光源,提高了深海照明的效率与质量。

2003年,Peter C.Y.Chang利用偏振光作为深海主动成像的光源,利用散射光与反射光偏振态的不同,提高了图像的对比度,进而提高了成像距离。2005年,E.A.Widder为了对深海鱼类进行吸引和原位观测,采用红光LED作为照明光源,在提高观测传感器灵敏度的情况下得到了红光照明下的原位深海鱼类图片。2007年,K.R.Hardy通过对比气体放电光源和LED光源在耐压封装,设计灵活性上的优缺点,在“阿尔文”载人潜水器上采用LED 作为光源,达到了更高的耐压能力。

2010年,J.S.Jaffe采用结构光光源的形式减少了照明光源的后向散射,增加了图像对比度和成像距离。2011年,楼志斌通过分析海水中光的传播性质和水下照明的需求,同样提出利用LED替代传统光源,并用仿真软件对照明设备进行了相关设计。2012年,Mark S.Olsson在一个深海照明灯上集成了白光和绿光光源芯片,并相应地配备两种光源反射器,其中一种提供远而窄的照明效果,另一种提供近而宽的照明效果。

聚焦|深海光学照明与成像系统分析及进展

图3 阿尔文载人潜水器照明系统

2014年,聂瑛通过在清水中掺入一定量的蓝绿墨水和牛奶模拟不同的水质环境,分析了不同照明光源下水下成像系统的成像质量,并以此为基础开展了照明光源的研究。2015年,Gilbert Conover等人通过对不同颜色的光源进行编程控制达到了不同的照明效果。2016年,OH,Sang Woo为达到水下多光谱成像的目的,研制了包含6个谱段的光源,通过图像控制单元得到了不同谱段的深海图片。

⒉配光系统

配光系统是决定深海照明系统照度分布的重要环节。如何针对深海环境设计出理想的配光系统同样是深海照明系统的研究重点。1991年,Mark S.Olsson采用球形透镜作为深海照明系统的封装镜片,增加了深海照明灯的耐压能力。

1998年,John M.Griffiths采用反射的方式设计深海照明灯,在适应深海条件的前提下,通过改变光源与反射器的相对位置可以调整光束的发散角。2008 年,Nigel C.Savage发明的水下照明系统对每一个灯芯都进行反射式配光,在提高耐压能力的基础上得到了更好的照明效果。2006年,William J.Cassarly在光源和配光透镜之间放置一片漫反射镜,通过改变漫反射镜的位置可以调整光束的大小进而改变照明效果。2012年,郑冰教授通过设计集光束光源,减少了后向散射光,达到了非均匀场照明的需求,利用非均匀场照明下的结构光激光扫描技术可以提取较高精度的三维信息,并且能够较好地完成水下目标的三维重建。2016年,John Burke发明了一种通过光导管完成水下照明的装置。其通过改变光导管的形状,可以将光源发出的光输送到感兴趣区域,同时由于光在光导管里传输,消除了光在水中传播所遇到的衰减与吸收效应。2016年,上海恒生电讯公司的王伟智与中科院深海所合作研制了深海照明灯,其工作深度达到万米,该项目采用了光滑镜片和毛玻璃两种配光设计形式。2017年,深海所全向前等人提出了一种基于非均匀场的照明方法及系统,通过构建一个不均匀的照度分布配光系统以克服不同波长、不同路径照明光的衰减差异,获得了亮度均匀的深海图像。

⒊灯阵系统

在深海光学成像过程中,一个照明灯通常不能满足实际需求,需要使用多个照明灯。每个照明灯的空间位置分布在深海照明系统中同样重要。2000年,孙传东定量地分析了光在海水中的辐射传播特性,为深海照明灯阵的设计奠定了基础。2003年,熊志奇以光在海水中的传播性质为基础,采用卤钨灯为光源设计了双灯照明系统。其工作深度达350m。2011年,Geoffrey Allen Gorman对深海中有机物造成的光散射进行了分析,通过减小照明与成像重叠区域的大小,提高了图像对比度与成像距离。2008年,石晟玮搭建了实验装置对海水中不同方向的后向散射进行了测量,为深海照明提供了有效的实验数据。2009,黄有为等人通过研究光在水中的传播特性,建立了光的散射理论模型。2010年,沈凌敏针对水下30 ~ 40m左右的特殊环境,分析了高速水下摄影的光照需求,在照明灯的布局及发光强度上做了定量的研究。2011年,张法全从光在海水中的散射原理出发,得出如下结论: 当照明光源方向与目标面角度变小时其后向散射将影响成像质量,所以角度不宜过小,最终提出照明光源方向角的选择范围为“30°,45°”的结论。2015年,赵欣慰等人通过建模仿真分析了图像背景光与水体光学参数、相机景物距离以及相机成像角之间的关系,为深海照明系统的设计提供了理论基础。

四、深海相机系统

根据深海光学成像的应用领域及技术特点,深海光学相机系统主要可以分为6类: 水下普通成像相机、激光成像相机、偏振成像相机、立体/全景成像相机、显微成像相机以及光谱成像相机等。

聚焦|深海光学照明与成像系统分析及进展

图4 深海成像系统分类

⒈水下普通成像相机

水下普通成像技术大多采用玻璃窗口加相机的方式,由于该技术成本低,可以完成很多观测需求,所以被广泛使用。然而,由于深海环境中海水折射率、光的衰减以及潜水器移动缓慢等的影响,如何设计出一款大视场、高分辨率、焦距可变、耐高压的光学相机成像系统十分关键。载人潜水器视窗由平面改为球面就是光学系统调整的一个重要案例,从而满足了大视场的需求。国际上生产深海摄像机与照相机的厂商很多,表1为一些典型的深海相机设备制造厂商的产品参数对比。

表1 国内外典型深海光学相机设备性能

聚焦|深海光学照明与成像系统分析及进展

⒉激光成像相机

深海光学成像存在一个共同点,即在成像过程中大量的散射光会影响图像的对比度。为了减少散射光对成像质量的影响,各国科学家对照明和成像方式进行了改进,水下激光成像技术就是利用激光后向散射成分低的特性,在普通光学成像技术的基础上发展起来的。其成像距离可以达到6个衰减长度(图5)。该类成像系统主要用于水质不好的环境及远距离成像。在飞机残骇,石油天然气管道检测方面应用最多。

聚焦|深海光学照明与成像系统分析及进展

图5 激光成像距离示意图

(a)普通成像方式,照明灯与摄像机在同一位置,散射光最多;(b)改进的普通成像,照明角度与成像角度成一定夹角,照明区域与成像区域重叠部分变小,后向散射光也同时减少;(c)和(d)则采用激光照明,散射光得到很好的抑制,成像距离最大达到6 个衰减长度

常用的水下激光成像包括激光距离选通法和同步扫描法两种。距离选通法使用脉冲激光照明目标,探测器几乎同时接收整个视场内景物的反射光,利用目标的反射光与散射光到达探测器的时间差,减少进入探测器的后向散射光。其扫描时间可控制在0. 1ms 内。2007年,加拿大DREV公司研制的一款激光距离选通成像系统的观察距离可达5~35m。与此同时,美国圣地亚哥Sparz公司、Harbor branch海洋研究所在距离选通激光成像方面也开展过大量的研究。同步扫描成像则是利用扫描光束与接收视线的同步,减少进入探测器的后向散射光。1995年,西屋公司为美国海军生产的SM2000型激光同步扫描成像系统的有效视场可达70°。探测距离为5个衰减波长左右,在30m距离上大约可以提供25mm的分辨率。2001年,美国Lockheed Martin公司研制的一款激光扫描成像仪,在8m成像距离下的分辨率为3mm。图6所示为2010年Scripps海洋研究所研制的水下激光扫描成像仪,其采样频率可以达到160线/秒。

聚焦|深海光学照明与成像系统分析及进展

图6 Scripps海洋研究所激光扫描成像仪

脉冲扫描是距离选通与同步扫描成像技术的结合。连续激光与脉冲激光的同步扫描成像质量的对比如图7所示。

聚焦|深海光学照明与成像系统分析及进展

图7 (a)连续激光扫描与(b)脉冲激光扫描成像对比

结构光脉冲扫描则更先进,采用时间分辨条纹管为探测器,利用三角测量法得到距离信息,最终得到的目标3维结构如图8所示。

聚焦|深海光学照明与成像系统分析及进展

图8 结构光脉冲扫描成像仪

图9为加拿大2G robotics公司研制的一款水下结构光脉冲扫描成像仪,其采样频率为29frame/s,分辨率达亚毫米级。在国内,北京理工大学,中科院北京半导体所,中国海洋大学也开展过水下激光成像的相关研究。

聚焦|深海光学照明与成像系统分析及进展

图9 加拿大2G robotics公司研制结构光脉冲扫描成像仪

⒊偏振成像相机

水下偏振成像跟激光成像的设计思路一样,巧妙地利用了目标物体反射光与各种微小粒子散射光的偏振态不同这一特点,利用检偏器只接收目标物体反射光的方式获得清晰成像,其成像距离是普通成像距离的1.5倍。2003年,以色列马里兰大学利用偏振光观察到了墨鱼的其他图像特征,扩展了偏振光成像的应用领域。2009年,以色列理工大学研制的水下偏振成像仪采用圆偏振光代替线偏振光,获得了更好的成像质量,如图10所示。在国内,中国石油大学(华东)以及北京理工大学在该方面也有过很多研究,但仍处于研制阶段。

聚焦|深海光学照明与成像系统分析及进展

图10 以色列理工大学的水下偏振成像仪

(a)原理图,(b)实物图,(c)普通成像效果,(d)偏振成像效果,(e)散射光造成的噪声

⒋立体/全景成像相机

相对于普通成像,深海立体成像增加了立体信息,对拍摄3D影片意义重大。2012年,CAMERON乘载“深海挑战者”号成功下潜至马里亚纳海沟底部,利用潜水器上搭载的3D成像相机系统,成功拍摄到了深海3D影片,并制作了90min的“深海挑战”3D记录片。除此之外,WHOI也开展过3D相机的研制;随着VR技术的日趋成熟,全景深海成像在深海VR场景的实现及海洋知识科普方面起着关键作用。俄罗斯、美国都开展了相关产品的研制工作,如图11所示。

聚焦|深海光学照明与成像系统分析及进展

图11 3D/全景相机代表产品

(a)所示为卡梅隆拍摄影片时乘坐的深渊挑战者号载人潜器,上面搭载了其团队和Scripps海洋研究所共同研制的3D相机;(b)是WHOI研制的3D深海深海相机;(c)是俄罗斯公司研制的水下全景相机,工作深度为200m;(d)是美国公司研制的水下全景相机,工作深度为2000m

⒌显微成像相机

深海显微成像,是对深海微生物进行原位观测的重要手段。2016年,加拿大拉瓦尔大学研制了一款名为LOKI的水下显微成像仪,如图12所示。该显微成像系统与微生物富集装置联合使用,可以对活体微生物进行原位观测,分辨率达到了23μm。

聚焦|深海光学照明与成像系统分析及进展

图12 LOKI水下原位显微镜

Scripps海洋研究所同样研发了多款水下原位显微成像仪,其中一款原位显微观测成像仪在2016年用于观察珊瑚虫,积分时间小于1ms,配备了6个LED 照明灯,工作距离为65mm 时分辨率能达到2~3μm,如图13 所示。

聚焦|深海光学照明与成像系统分析及进展

图13 Scripps海洋研究所研制的原位显微镜

⒍光谱成像仪

深海光谱成像不仅能获得深海的图形信息,还能获得目标的反射光谱信息,对热液、冷泉中硫化物、甲烷、以及可燃冰、多金属结核等资源的原位勘测意义重大,是深海化学活动研究以及深海资源开发利用的重要手段。图14为2013年美国特拉华州大学Fisheries S等人研制的水下光谱成像仪。该光谱仪采用推扫式,对AUV的定位精度要求较高。

聚焦|深海光学照明与成像系统分析及进展

图14 水下光谱成像仪

(a)原理图;(b)实际拍摄图;(c)光谱曲线;(d)光谱成像图

在国内,2017年,大连化物所以及安徽光机所都开展过水下原位光谱仪的研制,但都不具备成像功能。现在也有人提出通过结合多个波长激光探测数据,经过处理最终形成光谱成像,但仍处于理论研究阶段。

五、结论

总的来说,国外的深海光学照明与相机系统虽然相对比较成熟,但是仍存在一些技术难题,比如:在照明系统方面,如何提高光学照明系统的显色指数,如何提高深海图像的亮度均匀性以及降低照明系统的功耗等;在相机系统方面,如何扩大成像范围,如何提高分辨率,如何获取更多的数据以及如何提高成像系统的工作深度等等。但不可否认,经过近年来国内外学者的共同努力,深海光学照明与相机的研究已经具有一定成果。这些成果为我们开展进一步的研究奠定了基础。


分享到:


相關文章: