連PS都自嘆不如,臉書的AI眼部修復堪稱逆天

拍照,是對瞬間的凝固。當你翻看拍好的照片時,總會發現有那麼幾個人的眼睛是閉上的。

連PS都自嘆不如,臉書的AI眼部修復堪稱逆天


而且這毛病不好治:無論怎麼提醒,這些人該閉眼就絕不會睜眼。

連PS都自嘆不如,臉書的AI眼部修復堪稱逆天


目前的解決辦法,除了大量的後期外,只有重新拍一張……或者兩張……要是照片裡的人多一些,可能要拍許多張……

連PS都自嘆不如,臉書的AI眼部修復堪稱逆天

不過最近,Facebook的一項最新發明“開眼AI”可以很好地解決這個問題,而且效果驚豔。

連PS都自嘆不如,臉書的AI眼部修復堪稱逆天


那麼,它是怎麼工作的呢?

這個“開眼AI”其實是使用了“生成對抗網絡”(又名GAN)技術。GAN 特別擅長生成圖像,不但可以冒充名人,還能改變影像資料中的天氣和人物衣著,所以讓閉眼的人睜開眼睛也並不是什麼挑戰。一句話,它能利用示例信息生成出高質量的圖像補全。

大體上說,GAN系統的工作步驟是這樣的:

連PS都自嘆不如,臉書的AI眼部修復堪稱逆天


一,從目標圖像中找到眼睛;

二,以參考圖像(reference image)或感知代碼(perceptual code)為指導,對圖像進行補全;

三,通過輸入圖像和補全圖像之間的內容/重構損失,計算生成器參數的梯度;

四,用補全圖像、另一個ground truth圖像和參考圖像或感知代碼,計算鑑別器參數的梯度。

是不是感覺很高大上?

沒有關係,下面我們直接來看它的效果:

連PS都自嘆不如,臉書的AI眼部修復堪稱逆天​上面這張圖裡,第一列和第二列分別對應正常和閉眼的情況,第三列是目前商用軟件中效果最好的Adobe Photoshop Elements的結果;第四列是Facebook這次新提出的技術ExGAN的效果。

可以看出,photoshop修出來的照片,明顯會出現強烈的“突兀”感,和周圍的膚色無法融為一體,而最後一列的GAN技術修正過的照片就不會出現這種情況。

為了強調下效果,咱們再來看下面一組圖:

連PS都自嘆不如,臉書的AI眼部修復堪稱逆天

上面的圖片,第一列對應正常情況,第二列是用PS修改出來的照片,第三列和第四列分別對應ExGAN使用參考圖像和使用感知代碼的結果。

是不是服氣了?

連PS都自嘆不如,臉書的AI眼部修復堪稱逆天

不過,這款新技術也不是沒有缺點:在眼睛被一縷頭髮遮住一部分或者被齊劉海之類的髮型擋住眼睛的時候,就會產生出一些不自然的人工修改痕跡,但這些都是可以解決的問題。

目前,ExGAN基於參考圖片和基於感知代碼的兩種方法是分開的,因為研究人員想向大家展示這兩種方法都是可行的。


分享到:


相關文章: