對於那些不熟悉計算機視覺的人來說，神經風格轉移使我們能夠以另一種形象的風格構圖。靈感來自Leon A. Gatys，Alexander S. Ecker，Matthias Bethge的使用卷積神經網絡的圖像樣式轉換論文，這是一本很好的讀物，值得一試。
曾經想知道如果達芬奇，皮卡索，莫奈等生活在我們的時代，看到我們每天看到的東西，並繪製像我們周圍世界的照片。
神經風格轉移的簡短總結就像這樣
神經風格轉移是一種用於拍攝三幅圖像的優化技術，一種內容圖像（在我們的例子中是現代世界的照片），一種風格參考圖像（如著名畫家的作品），以及您想要設計的輸入圖像 - 並將它們混合在一起，使輸入圖像轉換為內容圖像，但以風格圖像的樣式“繪製”。
神經風格轉移綜述
我知道它看起來像魔術但我相信它是科學。內容圖片是法國盧浮宮博物館，風格圖片是莫奈的畫作“罌粟花”。
三個圖像作為輸入傳遞 - 內容圖像，樣式圖像和隨機噪聲輸入圖像。將隨機噪聲圖像視為神經網絡將繪製的畫布。輸出包括在我們的ADAM（自適應動量）優化器的N個梯度下降步驟之後產生的生成圖像。
我們通過以下兩個步驟制定NST算法 -
- 使用預先訓練的模型
- 計算成本函數
預先訓練的模型
神經樣式轉移（NST）使用先前訓練的卷積網絡，並在此基礎上構建。什麼很酷的孩子在Convnet上調用轉學習
根據研究論文https://arxiv.org/abs/1508.06576，我們使用的是VGG -19，這是一個19層版本的VGG網絡。該模型已經在非常大的ImageNet數據庫上進行了訓練，因此學會了識別各種低級特徵（在較早的層）和高級特徵（在更深的層）。我們將選擇一箇中間層，因為它對我們的用例來說是最理想的。
成本函數
如本文所述，我們將使用以下成本函數來計算損失並將其與adam一起使用
Ĵ（G）=αJcontent（C，G）+βJstyle（S，G）
有兩個獨立的成本彌補了總成本函數
- Jcontent（C，G） - 使用生成的圖像的內容圖像成本
- Jstyle（S，G） - 生成圖像的樣式圖像成本
Alpha和Beta是參數，其值分別設置為10和40。它們基本上根據值將生成的圖像驅動到內容圖像或樣式圖像。
對於Jcontent（C，G），我們選擇了一個特定的隱藏層l來使用。現在，將圖像C設置為預訓練VGG網絡的輸入，並運行前向傳播。設a（C）是我們選擇的圖層中的隱藏層激活。這將是nH×nW×nC張量。使用圖像G重複此過程：將G設置為輸入，然後向前運行。設a（G）為相應的隱藏層激活。我們將內容成本函數定義為：
對於Jstyle（S，G），我們首先需要構造一個克矩陣。一組矢量（v1，...，vn）的Gram矩陣G是點積的矩陣，換句話說，Gij比較vi與vj的相似程度：如果它們高度相似，你會期望它們有一個大的點積，因而Gij很大。
在生成樣式矩陣（Gram矩陣）之後，我們的目標是最小化“樣式”圖像S的Gram矩陣與“生成的”圖像G的Gram矩陣之間的距離。目前，我們僅使用單個隱藏層a [l]，此圖層的相應樣式成本定義為：
我繼續玩了多個例子
例1
金門大橋的內容形象
克勞德·莫奈的睡蓮池塘的風格形象
金門橋的引起的圖象在荷花池塘繪畫樣式的
例2
內容圖片SoundsDemonstration飲食和舔NAIC信用。這張圖片是美國宇航局發送的航海家號航天器上的眾多圖片之一，作為人類對外星人的信息
風格形象叫印象，日出由克勞德莫奈
生成印象風格的聲音演示圖像
例3
內容圖片是法國盧浮宮博物館
Claude Monet稱為Poppies的風格圖片
Poppies繪畫風格的羅浮宮的生成圖像
例4
內容圖片被記者Steve McCurry稱為Sharbat Gula的阿富汗女孩
樣式圖像被Piccasso稱為guernica
格爾尼卡風格的阿富汗女孩的生成的圖像
