這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻

這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


不敢相信,上面這些人臉,全都是假的。

是英偉達的AI生成的。

借用風格遷移的思路,團隊為GAN創造了一種新的生成器

連GAN之父Goodfellow老師也忍不住發推稱讚優秀!


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


這個結構不需要人類監督,可以自動分離圖像中的各種屬性。這樣,在或粗糙或精細的不同尺度上,人類便能自如地控制GAN的生成。

另外,英偉達的人臉生成模型,支持1024 x 1024的高清大圖生成。畢竟,GAN從小吃的是高清數據集。團隊還說,數據集很快就要開源了。

實際效果展示


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


人物自然,背景自然,邊緣又自然。足以騙過我這個普通人類的肉眼了。

輸入兩張圖,圖A決定生成人物的性別,年齡,頭髮長度,以及姿勢;一張決定其他一切因素:比如膚色、髮色、衣服顏色等等。

這樣,就可以把圖B的一部分人物特徵,遷移到圖A上了:


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


不過,人臉的朝向和表情,還是A的。

就算人種發生劇烈變化,也絲毫不會違和。你看,把非裔人類的臉部特徵“移植”給四位白種人,嘴唇的厚度、鼻子的形態,以及額頭,都有明顯的變化。


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


再來看看從不同尺度調節的效果吧。

這是粗糙尺度 (Coarse Styles) ,也是三種尺度中最大規模的調整,會涉及臉部朝向的變化,臉型和髮型也是在這裡調整的:


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


然後看看中間尺度 (Middle Styles) ,調整僅限於面部特徵和髮色髮量了,姿勢、髮型、臉型都不會有明顯變化:


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


再來就是

精細尺度 (Fine Styles) ,只是調整圖像的配色,幾乎不會給人物變臉了:


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


全新的生成器

我們前面說過,這個GAN不用人類監督,就可以自動分割圖像裡的各種部分。

經過訓練,它就可以把這些部分,按照一定的方式組合到一起。

具體怎麼組合呢:

這種新的生成器,像風格遷移算法一樣,把一張圖像,看做許多風格 (Styles) 的集合。

每種風格都會在一個不同的尺度 (Scale) 上控制圖像的效果:

粗糙 (Coarse Styles) :姿勢、頭髮、臉型。中度 (Middle Styles) :面部特徵、眼睛。精細 (Fine Styles) :配色。

三者組合在一起,才是最終的生成結果。

調節不同“風格”,就可以在不同尺度上調節人臉圖片。


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


另外,這隻GAN還可以自動把那些無關緊要的變化 (Inconsequential Variation) 剔除出去。

所謂無關緊要,就是說畫面發生了變化,但看上去主角還是原來的主角。粗糙的噪音:如大尺度上的捲髮程度。精細的噪音:更加精細的細節,如質地等。無噪音:沒有特徵的、像畫畫一樣的樣子 (Featurelessly “painterly” look) 。


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


相同圖片,輸入不同的噪音,效果就不一樣。

人類也可以選擇,每種Style的強度 (Strength) 多大。

選擇高強度 (High Strength) 的話,生成的圖像就會比較多樣化,但生成壞圖也會有一些。

如果是低強度 (Low Strength) ,生成的圖像之間不會有太多變化,但也幾乎不會出現壞圖。

從結構上來看,這個新的生成器是這樣的:


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


傳統的圖像生成器僅通過輸入層提供潛在編碼(Latent Code),英偉達從一開始就捨棄了這種設計方案。

就像上圖展示的那樣,他們設計的新生成器先將輸入從潛在空間Z映射到中間的潛在空間W,將映射網絡生成結果輸入到下一層。在生成網絡g每次卷積運算之後,加入高斯噪聲(Gaussian noise),也就是圖像的隨機變化。

圖像在不同尺度上的“風格”,就是由上面的每個卷積層控制的,它實現了直接控制各層級的圖像特徵強度(Strength)。

從生成圖像中的隨機自動變化中。它可以無監督地從中分離出圖像的“風格”。

發佈更強人臉數據集

除了發佈圖像生成算法外,英偉達從Flickr中選取了7萬張1024×1024分辨率的照片,形成了一個新的人臉數據集FFHQ(Flickr-Faces-HQ)。


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


它能提供了高度多樣化、高質量的人臉數據,並且涵蓋了比現有高分辨率數據集(如CelebA-HQ)更多的變化,比如更多佩戴眼鏡、帽子的照片。

英偉達將在不久後公開提供此數據集,並放出源代碼和預訓練網絡。

最後,給廣大貓奴們送出福利。英偉達的圖片生成器不僅能用於人臉,研究人員還用

LSUN數據集造出了很多貓咪的圖片。


這些假臉實在太逼真了!英偉達造出新一代GAN,高清大圖毫無破綻


你能看出它們都是假的嗎?

來源:量子位


分享到:


相關文章: