大開眼界:Facebook做了一個會“開眼”的AI,拯救眨眼照片

郭一璞 發自 雨中的海淀
量子位 報道 | 公眾號 QbitAI

端午的三天假期,你們是不是都穿得帥帥美美的出去浪了?

既然出門了,一定要拍照發朋友圈(尤其是拍女朋友,要修圖,劃重點)。

想象一下,當你帶著貌若天仙的女友在海邊,她穿著飄逸的波西米亞大擺長裙,海風吹著裙子飛舞,驀然回首的一刻,露出新垣結衣般的笑容。

大開眼界:Facebook做了一個會“開眼”的AI,拯救眨眼照片

△ 等下一個天亮,把偷拍我看海的照片送我好嗎

你抓拍下了這一刻,然後發現:哎呀,眨眼了

可是,那一刻的姿勢和美感再也無法復刻。

這下瞎了,等著回去打開PS把眼睛放上去吧。拍照5秒鐘,P圖兩小時。

畢竟,P一雙眼睛上去,這是多麼不自然的一件事情。雖然Adobe也提供了算法來幫你P眼睛,但是似乎還不如手動摳圖來的真實。

Facebook的開眼AI

所以,Facebook幫你做了一個開眼AI,專治眨眼照片

大開眼界:Facebook做了一個會“開眼”的AI,拯救眨眼照片

首先,找到一個GAN,由GAN來負責找一雙眼睛,摳圖摳出來放到你女朋友閉眼的照片上。系統中的一部分需要找到人臉,以及識別面部表情;另一部分根據表情的反饋,重複創建有眼睛的圖像。

但是,此時生成的照片過於不自然了。

於是,Facebook的研究人員靈機一動:我們的用戶不是會在Facebook上發很多自己的照片嗎?拿沒P過的睜眼照片來當例子試試。

現在,看過“標準答案”的AI越發聰明瞭,它已經可以生成一些毫無PS痕跡的照片。

大開眼界:Facebook做了一個會“開眼”的AI,拯救眨眼照片

第一列是“標準答案”,日常睜眼照片;

第二列是眨眼圖原圖;

第三列是Adobe算法摳圖貼上去的效果;

第四列是學習了標準答案之後GAN的作品。

效果驚人,第四列中沒有出現顏色不匹配的情況,也沒有不自然的過渡痕跡,就好像照片中的人物睜眼了一樣。

這個AI在測試中效果拔群。超過一半的測試中,人類測試員搞錯了照片的真假。

效果好是有前提的

一個照片的開眼效果,既要考慮AI奮鬥,也要考慮數據的質量。

比如說,如果劉海擋住了眼睛,或者飛揚的頭髮遮住了眼睛的一部分:

大開眼界:Facebook做了一個會“開眼”的AI,拯救眨眼照片

那對不住,總會產生一些陰影之類的效果,影響“開眼”質量。

另外,還需要你的其他睜著眼睛的照片,Facebook做這件事就有一個天生的好處:很多用戶都會在Facebook上傳一些自己的照片,這些照片一方面可以拿來給AI做範例,另一方面還可以與貼完眼睛的照片對比,檢驗生成的質量和效果。

他們的這項研究,就叫做ExGANs。別想歪了,不是用了這個GAN就變Ex,這裡的Ex是Exemplar,範例的意思。

從此以後,閉著眼睛也能自拍發Facebook了。

哦對了,這個社交網站並不存在,不是麼?

最後,附論文傳送門~

Eye In-Painting with Exemplar Generative Adversarial Networks

作者:Brian Dolhansky, Cristian Canton Ferrer

發表於CVPR 2018

arXiv:https://arxiv.org/abs/1712.03999

代碼:https://github.com/bdol/exemplar_gans

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態


分享到:


相關文章: