第十六回 纹理合成永经典 “隔墙视物”首创新
提起Bill Freeman，很多资深博士教授都有所了解，无论是否从事计算机视觉领域。他在2013年的一个“Elements of a successful graduate career”（如何做一名成功的研究生？）讲座报告流传很广。为了回答这个问题，他曾经给所有MIT的计算机科学与智能机器实验室（CSAIL)的同事发过一份邮件，问他们对这样一个问题：要想在研究上有所建树，一个研究人员所需要的最重要的条件是什么？请他们谈谈自己的想法，其中不乏发人深省的回答和思考。
Bill Freeman
Bill Freeman，全名William T. Freeman，人们又亲切的称他Bill，是一位学霸。他于1979年在斯坦福大学同时获得物理学和电子工程的学士学位，也就是说他大学读了两个本科，对于本科教育极为严格的斯坦福而言，是非常了不起的成绩。1981年在康奈尔大学获得物理学硕士学位后，Bill到宝丽来公司（宝丽来(Polaroid Corporation） 从事了六年的工程师工作。在这期间，他开发了用于电子相机和打印机的图像处理和增强算法，并积累了大量的工程经验。1987年9月到1988年7月，Bill 曾经作为外籍专家来到太原理工大学进行图像处理的教学工作。1988年9月至1992年7月，他师从著名的计算机视觉先驱Edward H. Adelson（著名的棋盘错觉发表者），博士论文是关于“可操纵滤波器和图像结构局部分析”，开发了—种用途广泛的方向滤波器——“可操纵滤波器”，并设计了多尺度、定向调谐的图像分解(可操纵金字塔)，展示了从阴影形状和噪声去除的应用。Bill的研究领域主要包括：运动重复渲染、计算摄影学、应用于视觉的学习、可视化感知的贝叶斯模型和非视距成像等。最有影响力的研究成果包括早年的图像纹理合成和近年来的非视距成像（俗称“隔墙视物”）。
2001年，他在SIGGRAPH上发表了"Image quilting for texture synthesis and transfer"，其思想是从已知图像中获得小块，然后将这些小块拼接mosaic一起，形成新的图像。该算法是图像纹理合成中经典中的经典。2012年，Bill发表的“Accidental pinhole and pinspeck cameras revealing the scene outside the picture”，是“隔墙视物”的原创性论文。2012年的一天，Bill在休假，对酒店房间内的“影子”感到十分好奇。他把墙面和地板上的“斑块”研究了一番。原来，这些“斑块”根本不是影子，而是窗外天台微弱的倒立成像。得益于Bill本科和硕士阶段的物理专业背景，对这个现象的好奇心才引发了他深入的研究。 其实这个现象不难理解，它背后是非常简单的物理学知识——小孔成像。窗户充当了小孔，物体的光线穿过窗户，便形成墙上的倒像。这些图像大多都很模糊，在光线充足的地方甚至接近无形，也难怪常常被人忽视。他和同事安Antonio Torralba随之进行了深入的研究，发现房间内“影子”其实隐藏着很多视觉信息，而且这些信息是可以解读的，计算机不仅能够还原窗外的景象，甚至还能“看到”墙角另一边的行人。由此开发的非视距成像技术，能够实现转角透视，并推断出那些不直接可见的信息到底是什么。可以预料的是，非视距成像将广泛应用于无人驾驶、机器视觉、医学成像、天文、太空探索和搜救任务等。事实上，美国国防高级研究计划局（DARPA）已经在投资这种技术了。对于Bill来说，他一开始并不想研究具有上述用途的技术。然而他逐渐意识到，如果因噎废食的话，那么很难有所作为。 “即便是在军事中，技术的具体应用也有很大的跨度，它或许能救人一命，”Bill表示，“总体而言，清楚技术被用于何处是件好事。”
隔窗成像现象
由于Biil卓越的研究成果，他在 1990年、1995年以及 2005年发表的论文获得了三次“时间检验奖”( Test of Time Award ) ，因而在计算机视觉界地位显赫。Bill 更是一位成功的教授，一位优秀的研究生导师。他培养了一大批计算机视觉人才，也包括清华姚班学霸胡渊明、吴佳俊等人，希望这些天才未来能够为国家强盛贡献力量。
从Bill Freeman的科研历程来看，本科阶段从事物理的研究，对他今后的学术发展很有帮助，善于发现生活中的现象，然后建立物理模型去测试，理论研究的结果最终能应用于实践。另外，选择一位好导师，对于一个研究生的成长，确实意义非凡。
参考：
1）https://billf.mit.edu/
2）Antonio Torralba , William T. Freeman. Accidental pinhole and pinspeck cameras: revealing the scene outside the picture IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), June 2012.
3）A. Efros,W. T Freeman. Image quilting for texture synthesis and transfer, SIGGRAPH 2001.
閱讀更多 Visionstory 的文章
