透过遮挡物拍照片难免会有诸如窗户反射或栅栏等造成的遮挡。因此，恢复清晰的底层图像对于提高该条件下的照片质量或计算机对场景进行正确的物理解释具有重要意义，例如，让机器人在有窗户的场景中安全导航。
此前的研究主要集中在自动去除单个图像中不必要的反射或遮挡。这些方法要么是利用重影线索，要么是采用基于学习的方法来捕获自然图像的先验特征。
尽管这些方法取得了一些成果，但将干净的背景从反射/遮挡中分离出来从根本上是不适定的，而且通常需要对场景的高级语义理解才能很好地执行。尤其对于外分布（out-of-distributions）图像，基于学习的方法的性能会显著下降。
近日，在CVPR2020收录的一篇论文《Learning to See Through Obstructions》中，研究者提出了去除反射或遮挡的多帧方法。
核心思想是：对于相机而言，背景场景和遮挡元素的深度是不同的 (例如，窗口反射的虚拟深度)，可利用背景和障碍物之间的运动差异来恢复这两个图层。
研究贡献如下：
- 提出了一种基于学习的方法，该方法将基于优化的公式，用于稳健地重建背景/障碍层。
- 研究证明，使用合成的数据进行模型预训练，并且对真实测试序列进行微调（以无人监督的方式）可以达到最新SOTA。
- 研究者的模型能以最小的改动来适用于各种障碍物清除问题。
在之前的工作中，研究者使用通用3D卷积神经网络(CNN)探索了无模型方法。但是，在实际输入序列上，基于CNN的方法无法产生与基于优化的算法相当质量的结果。
因此，他们提出了一种多帧障碍物清除算法，该算法利用了基于优化和基于学习的方法的优点。
受到基于优化方法的启发，该算法在密集运动估计和背景/障碍层之间，以粗略到精细的方式将重构的步骤交替进行。密集运动的显式建模能够逐步恢复各个层的详细内容。
算法概述：从粗略到精细的背景/反射层
研究者不依靠人工设定的目标来分解图层，而是利用基于学习的方法来融合变形的图像，以适应可能出现的亮度恒定和流量估计误差。
他们使用一个合成数据集来训练融合网络，并证明它可以很好地迁移到不可见的真实世界序列中。
此外，研究者提出了一个在线优化过程，以进一步提高特定测试序列的视觉质量。最后，他们证明了该方法在许多具有挑战性的序列和应用上都优于现有的算法。
研究者的模型建立在基于优化的公式上，不同的是，该模型完全是由数据驱动的，并且不依赖于经典假设，如亮度恒定、精确的流场或场景中的平面。
当违背这些假设时(例如，遮挡/去遮挡，运动模糊，非精确流)，经典方法可能无法重建清晰的前景和背景层。另一方面，数据驱动的方法可以在各种训练数据中学习，并且在违反这些假设时能够容忍其所产生的错误。
论文链接：
https://arxiv.org/pdf/2004.01180.pdf
閱讀更多 圖靈聯邦 的文章
