別人的博士生涯!CycleGAN作者朱俊彥獲SIGGRAPH傑出博士論文獎

機器之心報道

計算機圖形頂級會議 ACM SIGGRAPH 2018 即將於 8 月 12-16 日在加拿大溫哥華舉行。在大會開始前,部分獎項結果已經揭曉。我們剛剛得到消息:畢業於加州大學伯克利分校的朱儁彥(Jun-Yan Zhu)獲得了大會的最佳博士論文獎。

朱儁彥於 2012 年獲得清華大學計算機科學系的工學學士學位,在 CMU 和 UC Berkeley 經過 5 年學習後,於 2017 年獲得 UC Berkeley 電氣工程與計算機科學系的博士學位,他的導師是 Alexei Efros。朱儁彥的博士研究由一項 Facebook 獎學金支持。朱儁彥目前是 MIT 計算機與人工智能實驗室(CSAIL)的一名博士後研究員。

朱儁彥個人主頁地址:http://people.csail.mit.edu/junyanz/#sect-publications

博士論文地址:http://people.csail.mit.edu/junyanz/pdf/thesis_highres.pdf

CycleGAN 項目地址:https://github.com/junyanz/CycleGAN

在獲獎結果公佈後,GAN 發明者 Ian Goodfellow 第一時間獻上祝賀。

朱儁彥博士是計算機圖形學領域現代機器學習應用的開拓者。他的論文可以說是第一篇用深度神經網絡系統地解決自然圖像合成問題的論文。因此,他的研究對這個領域產生了重大影響。他的一些科研成果,尤其是 CycleGAN,不僅為計算機圖形學等領域的研究人員所用,也成為視覺藝術家廣泛使用的工具。

朱儁彥博士論文封面,他的博士生導師為 Alexei A. Efros。

以數據驅動的圖像合成領域的一個關鍵問題是如何確保合成後的圖像看起來真實。在論文的第 I 部分,朱儁彥採用一種判別方法來解決這類問題的一個案例,他訓練一個分類器來評估合成圖像的逼真度。由於難以獲取足夠的人工標註訓練數據來判斷圖像是否真實,他學習對真實圖像和自動生成的合成圖像進行分類,不管這些圖像看起來真實與否。他驚奇地發現:得出的分類器可以預測新的合成圖像的逼真度。此外,逼真度分數可通過學得的變換來迭代更新圖像,進而改善合成圖像的逼真度。該研究可以被視為條件生成對抗網絡(GAN)架構的「先鋒」。他還開發了一種類似的判別學習方法,以改善人像的照片美感(SIGAsia 2014)。

在第二部分中,作者使用相反的生成方法建模自然圖像,將圖像編輯工具的輸出控制在該流形上。他基於典型的圖像平均模型(image averaging model,SIGGRAPH 2014)和近期的生成對抗模型,構建了實時數據驅動探索和編輯界面。後者起到作用,相關軟件 iGAN 是 GAN 首次應用於實時應用程序中,它對 GAN 在社區中的流行起到很大作用。

給定兩個無序圖像集 X 和 Y,CycleGAN 可以自動對它們進行互相「翻譯」。

在第三部分中,作者結合他在早期研究中獲得的經驗,開發了一套新型圖像到圖像的轉換算法。其中非常重要的是 CycleGAN 框架(ICCV 2017),它變革了基於圖像的計算機圖形學,可作為一種通用框架將一組圖像中的視覺風格遷移到其它圖像。例如,將夏天轉化為冬天、將馬轉換為斑馬及利用計算機圖形渲染生成真實圖像等。

該研究首次展示了藝術收藏品的風格遷移效果(例如,使用所有梵高的作品,而不是隻用《星月夜》),並將繪畫轉換為照片。自發布以來,CycleGAN 在短短時間內就已經被應用到了很多不同的問題中,其範圍遠遠超越了計算機圖形學,從生成合成訓練數據(計算機視覺)到將 MRI 影像轉換為 CT 掃描影像(醫學影像),再到 NLP 和語音合成的應用。除博士論文外,他還提出了基於學習的交互式著色方法(SIGGRAPH 2017)和光場攝像方法(SIGGRAPH 2017)。

除了在頂級圖像與視覺會議上發表的文章以外,朱儁彥的成果在其他方面也頗具影響。他的研究多次出現在大眾媒體上,包括《紐約客》、《經濟學人》、《福布斯》、《連線》等。朱儁彥在推進研究復現方面堪稱典範,這令研究人員和從業者更容易「站在他的肩膀上」。他的許多項目都是開源的,影響力也很大,他在 GitHub 上的項目已經獲得 22000 次收藏和 1900 個關注者。最令人印象深刻的是,他的代碼不僅被研究人員和開發人員廣泛使用,而且還被視覺藝術家使用(例如 Twitter 上的 #cycleGAN)。

朱儁彥此前也獲得了多個學術獎項,僅在 2018 年,他就獲得了 UC Berkeley 頒發的 David J. Sakrison Memorial Prize,以及英偉達的 Pioneer Research Award。

朱儁彥還曾獲得過以下獎項和獎學金:

CVPR Outstanding Reviewer (2017)

Facebook Fellowship (2015)

Outstanding Undergraduate Thesis in Tsinghua University (2012)

Excellent Undergradua

te Student in Tsinghua University (2012)

National Scholarship, by Ministry of Education of China (2009 and 2010)

Singapore Technologies Engineering China Scholarship (2010, 2011, and 2012)

參考鏈接:https://www.siggraph.org/outstanding-doctoral-dissertation-award-jun-yan-zhu