Generative Adversarial Nets具體用途有哪些?

木子146946827


生成對抗網絡(GAN)於2014年提出後,開創了深度學習又一熱門的研究方向,相關的工程意義是十分巨大的,廣泛地應用於圖像生成、圖像去噪、圖像上色、圖像修補、圖片超分辨、草稿圖復原、視頻預測、文字生成圖片、自然語言處理和水下圖像實時色彩校正等領域。針對你在問題描述中提出的問題,解答如下:圖像生成的過程不僅僅限制在已有的圖像數據集上,已有的圖像數據只是作為訓練數據樣本,圖像生成的進一步目標是在模型訓練好後能夠自己生成不存在於圖像訓練數據集的圖像。

下面舉三例說明生成對抗網絡的應用。

一、文字生成圖片(文字與圖像轉換)

相關的研究表明,使用自然語言的描述屬性生成相應的圖像是可行的。文本轉換成圖像的方法可以說明生成模型模擬真實數據樣本的性能。

圖片生成的主要問題在於圖像分佈是多模態的。例如,有太多的例子完美契合文本描述的內容。GAN 有助於解決這一問題。

我們來考慮以下任務:將藍色輸入點映射到綠色輸出點(綠點可能是藍點的輸出)。這個紅色箭頭表示預測的誤差,也意味著經過一段時間後,藍點將被映射到綠點的平均值——這一精確映射將會模糊我們試圖預測的圖像。

GAN 不直接使用輸入和輸出對。相反,它們學習如何給輸入和輸出配對。

文本生成圖像效果圖如下:

二、圖像去模糊

烏克蘭天主教大學、布拉格捷克理工大學和解決方案提供商Eleks聯手公佈了一篇論文,文章標題為《DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks》。

這篇文章中,研究人員提出一種基於條件對抗式生成網絡和內容損失(content loss)的端對端學習法DeblurGAN,去除圖像上因為物體運動而產生的模糊。研究人員把模糊的圖像作為生成模型的輸入,生成模型生成復原後的圖像和原始清晰圖像一起作為判別網絡的輸入,進行多次對抗訓練後得到了面向圖像去模糊的GAN網絡,並在訓練集和測試集上展現出優異的去模糊性能。圖像復原效果如下:

三、藥物匹配

Insilico Medicine 的研究人員提出了一種運用 GAN 進行藥物匹配的方法。其目標是訓練生成器,以儘可能精確地從一個藥物數據庫中對現有藥物進行按病取藥的操作。經過訓練後,可以使用生成器獲得一種以前不可治癒的疾病的藥方,並使用判別器確定生成的藥方是否治癒了特定疾病。原理結構圖如下圖所示。


分享到:


相關文章: