嶽排槐 發自 凹非寺
沒想到P圖,已經到了這層境界。
想要變成高手,想要隨心所欲的修圖,以後可能不需要苦練基本功了,你只需要一個馬良那樣的神筆。
當然,我們說的“神筆”是一個AI。
有多神?來看看實時(不剪輯、不快進)的演示。
想去掉沙灘照片中間那個騎車的人。簡單,你需要擦掉這個人(相當於加了一層掩膜mask),然後點擊紅色的填充(Fill)按鈕。
什麼?還想去掉更多人?簡單。
再來一個。
這個風景照,能用來表白麼?當然可以,只需要簡單的幾下處理。首先,把山洞的上邊緣塗抹掉。
接著畫上兩條弧線,然後點擊紅色的填充(Fill)按鈕。
一個心形的山洞就這麼成了。
當然,還能用來“微整形”。
想要改變眉形和下巴,只需要擦掉-畫線,然後一點。
搞定~
輕鬆又愉快~
這是怎麼做到的?
這套隨心所欲的P圖AI名叫DeepFill(v2),它基於一個門控捲積網絡,能夠處理任意形式的掩膜,以及用戶手繪的線條。
上圖左邊是局部卷積網絡,右邊是門控捲積網絡。
對於這個神經網絡而言,輸入信息分成三個:顏色通道(RGB Channel)、掩膜通道(Mask Channel)、手繪通道(Sketch Channel)。
當然除了門控捲積網絡之外,DeepFill(v2)裡還包括SN-PatchGAN(光譜歸一化馬爾可夫判別器)等關鍵部件。
總之一句話,這個套系統顯著提高了P圖的效果。沒有對比,就沒有傷害。下面是橫向對比時間。
上圖最左邊是輸入,照片被各種塗抹,白色的部分就是所謂的掩膜,黑色的細線就是手繪的部分。中間是各種神經網絡的處理結果,其中標註Ours的圖片,就是DeepFill(v2)的處理結果。
最右側是原始照片,下同。
這是開頭見過的那個例子。去掉海邊沙灘上其他三個人。
還有這個,按照想要的方式,修剪遠處的小樹叢。
顯然,DeepFill(v2)確實厲害。
大師團隊
這個厲害的研究,共有六位署名作者。其中四位來自Adobe,也就是搞出Photoshop的那個公司,民間俗稱“阿逗比”。(昨天的報道里,Facebook剛說阿逗比不行,看來……)
而第一作者和最後一位作者,來自UIUC。
一作,餘家輝。現在是UIUC三年級的博士生。2016年,餘家輝本科畢業於中國科技大學少年班學院。
餘家輝的導師,也是這次最後一位作者,是著名的科學家黃煦濤(Thomas S.Huang)。黃煦濤是美國工程院院士,被譽為“計算機視覺之父”,也是中國工程院外籍院士、中國科學院外籍院士。
集合Adobe和大師團隊之力,怪不得DeepFill(v2)是P圖高手。
可能你一直好奇,為什麼名叫DeepFill(v2)?難道……沒錯,這次的工作,就是基於這個六人團隊的前作:DeepFill(v1)。
第一版DeepFill的補圖能力沒這麼強,也不能根據手繪的線條,按需修圖。不過,DeepFill(v1)倒是放出了Demo,大家可以試一試。
更多展示
為了體現DeepFill(v2)的實力,再放幾個P圖實例。
傳送門
最後,如果你對DeepFill(v2)感興趣,有一篇發在arXiv上的tech report可以看,傳送門:https://arxiv.org/abs/1806.03589。
或者前往餘家輝的主頁:http://jiahuiyu.com/deepfill2/
DeepFill(v1)的主頁上有Demo和Code,傳送門在此:http://jiahuiyu.com/deepfill/
— 完 —
誠摯招聘
վ'ᴗ' ի 追蹤AI技術和產品新動態
閱讀更多 量子位 的文章