论文推荐｜郝婧蕾：偏振多光谱机器视觉的高反光无纹理目标三维重构方法

《测绘学报》

构建与学术的桥梁 拉近与权威的距离

郝婧蕾¹, 赵永强²

1. 西北工业大学自动化学院, 陕西 西安 710071;

2. 西北工业大学深圳研究院, 广东 深圳 518057;

3. 北京大学空间地球与空间科学学院, 北京 100871;

4. 维也纳大学, 奥地利 维也纳 1090

收稿日期：2017-12-03；修回日期：2018-04-13

基金项目：国家自然科学基金（61771391），深圳市科技创新委员会基础研究（学科布局）项目（JCYJ20170815162956949）

第一作者简介：郝婧蕾(1991-), 女, 博士生, 研究方向为偏振和光谱图像三维重构、超分辨、去噪等

通信作者：赵永强, E-mail：[email protected]

摘要：随着摄影测量及机器视觉技术的迅速发展，对三维重构的普适性有了更高的要求。对于表面光滑、纹理单一甚至缺失的高反光非金属目标，传统的三维重构方法由于对纹理及反光特性的依赖使得此类目标的重构表面出现大面积的数据空洞。针对这一问题，本文提出了基于多光谱偏振的三维重构方法，将摄影测量与机器视觉进行融合，通过获取目标精确的偏振光谱特征实现准确的三维重构。该方法不依赖于物体表面的纹理信息，并且可以解决仅依靠菲涅尔理论无法实现天顶角和折射率同时估计的问题，最终实现天顶角和折射率的联合估计。由于杂散光和漫反射光在不同波段具有不同的偏振特性以及光谱特性，可完成对目标进行耀光去除的预处理，使得后期的三维重构的精度有较大的提高。基于偏振多光谱的目标三维重构方法是摄影测量与机器视觉融合后三维重构的引导性进展，具有更广泛的应用范围。

3D Reconstruction of High-reflective and Textureless Targets Based on Multispectral Polarization and Machine Vision

HAO Jinglei¹, ZHAO Yongqiang², ZHAO Haimeng³, Peter BREZANY⁴, SUN Jiayu³

Abstract: With the rapid development of photogrammetry and machine vision technology, a higher universality of three-dimensional reconstruction is required.For high-reflective and non-metal targets with smooth surface or extreme simple texture, a large area of data void may appear on the reconstruction surface since the traditional 3D reconstruction methods depend on texture and reflective characteristics.To solve this problem, a 3D reconstruction method based on multispectral polarization imaging is proposed in this paper, which integrates photogrammetry and machine vision and achieves accurate reconstruction by obtaining accurate multispectral polarization characteristics of targets.The proposed method does not rely on the texture information on the surface, and it can solve the problem of joint estimating refractive index and zenith angle simultaneously, which cannot be achieved only by Fresnel theory.Due to straylights and diffuse reflection light have different polarization and spectral characteristics at different wavelengths, we can remove the highlight to improve the reconstruction accuracy.The 3D reconstruction method based on multiband polarization imaging is the guiding progress of 3D reconstruction after the fusion of photogrammetry and machine vision, which has a wider application range.

Key words: 3D reconstruction multispectral polarization textureless targets

三维重建技术能够获得目标表面的三维形貌^[1-3]，在航天工程的空间任务中有着重要应用^[4-5]。而空间碎片等空间目标具有表面光滑、纹理单一、易产生耀光的特点，给传统基于光学原理的目标三维重建技术带来了极大的挑战^[6]。对于传统的基于视觉成像的目标三维重建方法，纹理稀疏甚至缺失会造成难以提取到足够的特征点，使得恢复结果只能得到边缘轮廓等部分信息；大面积的耀光会造成图像传感器饱和，丢失耀光处的数据信息，造成恢复结果会出现大面积的数据空洞。与传统方法相比，基于偏振视觉的三维重建技术无须利用目标表面纹理特征，同时偏振成像能够有效地抑制耀光。而在许多实际应用中，如非合作目标的相对导航﹑陌生环境中物体探测等，目标表面材料特性通常是没有先验信息的，因此本文提出了基于多光谱偏振的高反光无纹理目标三维重构方法，同时获得目标的折射率和三维形貌。

自然光(无偏光)经物体表面反射之后的反射光为无偏光与偏振光的叠加，通过对反射光偏振度的分析可以获取反射面法向量的天顶角，通过求取反射光的偏振相角可以求得法向量的方位角^[7]。由此可见，反射光的偏振态与法向量有着密切关系，其偏振态包含了目标表面的形状信息^[8]。文献[9]最先将偏振信息引入到目标三维重建中，通过分析绝缘体表面反射的圆偏振光偏振态的变化来求取目标表面的方向。该方法的缺陷在于入射光必须为圆偏振光。文献[10]利用圆偏振光作为光源分离了镜面反射与漫反射，同时完成了对目标材料折射系数的估计。文献[11]通过旋转待测目标获取不同角度的偏振图像解决了偏振度与法向量天顶角的二义性问题，实现了透明物体的三维重建。文献[12]提出了从不同视角获取偏振图像来解决单视角存在的凹凸二义性的问题，进而完成目标的三维重建，该方法无须进行不同视角下的图像匹配，提高了应用的灵活性。文献[13]通过结合近红外波段与可见光波段的偏振信息解决了偏振度与法向量天顶角的对应问题，实现了目标三维信息的恢复。金属的折射系数不同于绝缘体材料，文献[14]推导出了金属目标的三维重建模型，进行了金属目标三维信息的恢复。文献[15]加入了一个多光谱采集系统，利用目标在不同波段下有不同偏振度的特性，解决天顶角模糊问题。文献[16]通过联合光谱和偏振信息，实现了基于卷积神经网络的多波段偏振相机的大视场重构。文献[17]从多视角偏振信息入手，重构黑色镜面目标的三维信息。文献[18]利用透明物体反射耀光的偏振信息来重构其内外表面的三维结构。

单纯依靠偏振成像进行目标的三维重建存在法线方向的二义性，得到的深度信息是像素坐标系下的相对深度。利用偏振成像获得的目标表面的几何信息再结合其他手段来解决方向二义性或者转化为绝对深度成为近几年计算机视觉的热点方向。文献[19]最先将偏振三维重建方法同光度立体法进行结合来恢复目标三维形状，该方法中光源方向与目标材料的折射系数为已知量。文献[20]改进了Atkinson的算法，将物体表面看作朗伯表面，通过光度立体法估计目标表面的法线方向，进一步估计出目标材料的折射系数。文献[21]将偏振三维重构扩展到高光谱图像，成功恢复了目标表面的三维形状同时获得了目标材料的折射系数。文献[22]利用偏振得到的法向量信息为辅助，通过结合Kinect的粗略深度图得到了高精度的目标三维重建结果。文献[23]通过调整光源的方向获取偏振信息，将偏振信息与阴影信息作为目标表面法向量方向的约束条件恢复了目标表面的三维形状。文献[24]提出了基于偏振双目视觉的三维重构方法，解决了传统方法不能处理高反光、纹理单一的目标的问题。

本文提出一种新的方法来解决这个问题，通过分析从单一视角拍摄图像的光谱和偏振信息来实现目标的精确三维重构。相比已有的基于偏振信息进行三维重构的文献，本文的工作重点是使用反射光与偏振片旋转角度的正弦关系和菲涅尔理论，实现目标天顶角和折射率的同时估计。

1 基于偏振成像的目标三维重建1.1 偏振成像原理

自然光属于非偏振光，但当自然光经物体表面反射后，反射光会变为部分偏振光。反射偏振成像过程如图 1所示。基于偏振视觉进行三维重建的关键在于通过偏振成像获取反射光的偏振状态，并将其与物体表面的几何信息联系起来。

图 1 反射偏振成像过程^[25]Fig. 1 Reflection polarization imaging process^[25]

图选项

由菲涅尔原理可知，反射率会随着光矢量的振动方向变化而变化，因此将反射光通过偏振片，旋转偏振片，反射光的亮度会发生变化。将线偏振片置于相机镜头前，ν为偏振片透光轴与起始位置(参考位置)之间的夹角。光照强度I可表示为与偏振片旋转角度ν有关的正弦函数，如下式

(1)

式中，

在波段λ下，采集N个偏振角度下的多波段偏振图像，分别记为I(ν₁),I(ν₂), …,I(νN),I(ν

(2)

当偏振片旋转的次数N≥3时，式(2)变成一个正定系统，记为I=Ax，其中

(3)

由式(2)可知，矩阵A仅仅与偏振片的旋转角度有关，而偏振片的旋转角度是已知的，因此矩阵A是已知的，矩阵

(4)

1.2 基于偏振成像的三维重构原理

自然光属于非偏振光，但当自然光经物体表面反射后，反射光会变为部分偏振光。基于偏振视觉进行三维重建的关键在于通过偏振成像获取反射光的偏振状态，并将其与物体表面的几何信息联系起来，进而对法向量积分获得目标的表面三维形状。

通过分析反射光的偏振态可以获得目标表面法向量的方向参数，法向量主要受两个参数约束，即天顶角θ_d(zenith angle)和方位角α_d(azimuth angle)。天顶角是指法线向量方向与z轴的夹角, 方位角是指法向量在XoY平面的投影与x轴方向的夹角，如图 2所示。

图 2 法向量示意Fig. 2 The normal vector schematic

图选项

根据菲涅尔原理、折射定律及偏振度的定义可得到偏振度ρ与法线天顶角θ_d的关系为

(5)

方位角α_d与偏振相角ϕ间有着如下的关系

(6)

以

(7)

通过反射光偏振分析可以由偏振度和偏振相角分别求得法向量的天顶角θ_d和方位角α_d(存在二义性)，进而确定物体表面每一点的法向量方向。物体表面的法向量反映的是目标表面的梯度信息，通过积分算法可以将物体表面的梯度信息转化为深度信息。

假设物体的表面为Cartesian曲面(连续且闭合的曲面)，则物体表面的关系式可以用z

(8)

若目标的表面可以表示为函数z=f(x,y)，在XoY平面上的投影为区域

(9)

由梯度值p(x，y)、q(x，

(10)

2 基于多光谱偏振的天顶角和折射率的联合估计

利用偏振成像技术进行三维重建，关键在于求取目标表面所有点的法向量，即方位角和天顶角两个参数的求取。而在利用菲涅尔方程求解天顶角时，由式(5)可知，表面材料的折射系数n是求天顶角过程中一个极其重要的先验参数，而在许多实际应用中，如非合作目标的相对导航﹑陌生环境中物体探测等，目标表面材料特性通常是没有先验信息的。而仅利用菲涅尔方程，天顶角、偏振度和目标表面折射率间的关系是一个欠定方程，只知道偏振度无法获得天顶角。为解决这一问题，本文提出了基于多波段偏振成像的三维重建方法，利用柯西色散方程

2.1 柯西色散方程

为了约束折射率在波长域的变化，注意到各种不同材质的折射率受材料色散方程的约束，本文采用柯西色散方程^[26]用于优化框架。其描述折射率和波段之间的关系由式(11)表示。

(11)

式中，μ表示图像中的每一像素；λ表示波段；M

2.2 天顶角与折射率的联合优化

由式(2)、(3)和(4)可知，对于波段为λ的偏振图像的每一个像素点处的光强最大值和最小值可以求出，联合菲涅尔公式可得下式

(12)

式中，θ_d(μ)表示三维目标表面在像素μ处法线的天顶角；n(μ,λ)表示对应像素点处的折射率；F_⊥(μ,λ)表示菲涅尔方程中垂直反射系数；F_‖(μ,λ)表示菲涅尔方程中平行反射系数。

将由1.1节中

求得的解记为r(μ,λ)，则在多波段偏振图像的每一个像素μ处，将式(12)变成一个最小二乘问题，损失函数如下

(13)

式中，N表示波段数，在此方程中加入柯西色散方程作为折射率的约束，利用这个约束，则上述损失函数将变成一个有

3 试验

为验证算法的有效性，搭建了偏振图像采集系统。以水平方向为参考方向，将相机镜头前的线偏振片分别旋转至0°、45°、90°及135°，获得4个角度下的偏振图像并命名为I0、I45、I90及I135，并从每一幅偏振图像中分离出R、G、B 3个波段，这样每一个波段下都有4幅偏振图像，形成多波段偏振图像。本文分别以石膏圆柱、苹果、瓷碗和卫星模型为目标进行试验仿真。

文中的重构目标多为表面光滑、纹理信息单一甚至缺失的高反光非金属目标，这类目标容易受到杂散光的干扰，在目标表面形成耀光，进而影响后续三维重构的准确性。因此，对重构目标图像进行了基于多波段偏振的去耀光预处理。

理论分析与大量试验统计结果表明，目标表面的耀光、光斑等杂散光分量具有强偏振效应，可近似为部分线偏振光^[27-28]；而漫反射分量起偏效应弱，近似为无偏光；同时，镜面耀光、光斑等杂散光在不同波段下有着不同的偏振态。因此，结合多波段偏振成像，提取有效的偏振光谱特征信息，可准确地判别漫反射分量与杂散光分量，从而高效地抑制目标表面耀光、光斑等杂散光的不利干扰，进一步提高目标三维重构的视觉性能。

基于偏振多光谱的耀光去除预处理方法主要包含以下几个步骤。

第1步：构建联合偏振光谱特征向量进行杂散光检测，结合线偏振度及强度信息对杂散光区域进行有效准确的检测。

第2步：获取最大-最小偏振光谱差分图像(单通道无耀光图像)。经过分析，最大-最小偏振光谱差分图像仅与目标的漫反射分量有关，而与镜面杂散光无关。因此，利用0°、45°、90° 3个偏振方向的光谱差分图像，进行线性加权，生成单通道无耀光图像SSF，避免了耀光、光斑等杂散光的干扰，同时保留目标原有信息，能有效地引导后续杂散光的分离抑制。

第3步：基于最大-最小偏振光谱差分图像，实现杂散光分量分离。对于前两步中检测到的杂散光区域像素点，可在单通道无耀光图像SSF中寻求其强度值最接近的漫反射像素点，将此漫反射像素点原有的色彩强度作为杂散光像素点的漫反射色彩强度。基于以上策略，提出一种全局处理的最小二乘系数分解算法。该算法在SSF图像进行全局遍历搜寻，对检测到的杂散光区域实现有效引导反射系数分离，最终得到准确的杂散光分离结果。试验结果如图 3—图 6所示。

图 3 石膏圆柱Fig. 3 Gypsum mold

图选项

图 4 苹果Fig. 4 Apple

图选项

图 5 瓷碗Fig. 5 Bowl

图选项

图 6 卫星模型Fig. 6 Satellite model

图选项

表 1 折射率测量结果Tab. 1 Refractive index measurement results

表选项

需要说明的是：由于石膏圆柱表面没有耀光，因此没有去耀光试验结果。由试验结果可以看出，传统的双目三维重构方法由于需要丰富的纹理信息及对反光特性的依赖，对于高反光、纹理单一甚至缺失这一类特殊目标，如石膏圆柱、没有花纹的瓷碗、苹果等，无法提取丰富的特征点，从而导致重构结果出现大面积的数据空洞，不能得到目标完整的三维形貌，而基于多波段偏振的三维重构方法不需要依赖目标表面的纹理信息，仅需要利用偏振和光谱信息，得到了目标表面完整的三维信息，还同时得到了目标的折射率，实现了目标三维结构和折射率的联合估计。

4 总结

基于多波段偏振的三维重构方法同时利用图像的光谱信息和偏振信息，将摄影测量与机器视觉进行融合，实现了对高反光无纹理这一类特殊目标表面的完整三维重构，并成功解决了仅依靠菲涅尔理论无法实现天顶角和折射率的同时估计问题，扩大了三维重构的普适性，使得数字摄影测量具有更广泛的应用范围。并且本文利用光谱和偏振信息，对目标进行了去耀光预处理，进一步提高了三维重构的精度，并用仿真试验进行了验证。

【引文格式】郝婧蕾, 赵永强, 赵海盟, 等. 偏振多光谱机器视觉的高反光无纹理目标三维重构方法[J]. 测绘学报，2018，47(6)：816-824. DOI: 10.11947/j.AGCS.2018.20170624

精

彩

回

顾

院士论坛︱李德仁院士：展望大数据时代的地球空间信息学（论文版）

学术前沿| 龚健雅院士：摄影测量与深度学习

李德仁院士：老师教我做人做学问

院士论坛| 杨元喜：微PNT与综合PNT

院士论坛| 杨元喜：我国海洋大地测量基准与海洋导航技术研究进展与展望（英文版）

院士论坛| 龚健雅：高分辨率光学卫星遥感影像高精度无地面控制精确处理的理论与方法

院士论坛 | 龚健雅:中国高分辨率对地观测系统的成长与突破

书讯 | 杨元喜院士：自适应动态导航定位（第二版）

李德仁院士论夜光遥感数据挖掘

权威 | 专业 | 学术 | 前沿

微信公众号中搜索「测绘学报」，关注我们，长按上图二维码，关注学术前沿动态。

进群请备注：姓名+单位+稿件编号

閱讀更多 測繪學報 的文章

關鍵字: 西北工业大学 郝婧蕾 孙嘉玉