❝ 一種常見的分類方法可以將機器學習模型分為「判別式」 和「生成式」兩種。判別式模型如KNN、SVM、決策樹等，強調直接從數據中學習決策函數；而生成式模型如HMM、Bayes等，則強調學習數據生成的規律（分佈）從而更好地對數據進行表徵建模。 生成式模型由於能夠學習數據的隱含特徵表示，因此在近些年得到了長足的發展，在機器學習領域愈來愈重要。本文主要介紹常見的生成模型，並著重分析VAE、GAN和流模型這三者的區別和聯繫。
❞
目前主流的生成模型主要有4大類：
- 基於自迴歸（autogressive）的模型，如翻譯模型、語言模型；
- 變分自編碼器（variational autoencoder, VAE）[1]；
- 生成對抗網絡（Generative adversarial net, GAN）[2]；
- 流模型（Flow-based model）[3]。
其中除了自迴歸比較容易理解外，VAE、GAN和流模型這三大類方法有很明顯的區別，也有著千絲萬縷的聯繫。
首先，三者都是生成模型，就是說從訓練數據來建模真實的數據分佈，然後反過來再用學到的這個模型和分佈去生成、建模新的數據。
相同點
- 生成數據的模式都是用了隨機噪聲（如常用的就是高斯分佈）。
- 在建模分佈時，都需要度量噪聲和訓練數據的分佈差異。
不同點
不同點1：建模的方式（理念）不同
VAE裡面z到x的depencence是隨機的，而GAN裡是確定性的。這使得VAE的inference相對來說是well-defined的而GAN的inferernce相對來說是病態的。
這個建模上的區別也是來自於兩者建模目的的不同。GAN就是為了生成新圖片，而VAE除此之外，更想做的事情是建模數據的分佈以及學到數據的隱含表示。
對於建模數據的分佈，通常來說也就是density estimation，雖然VAE和GAN都有在x的空間上定義概率密度，但GAN定義的密度更難計算。density estimation可以用來做比如anomaly/outlier detection進而做分類什麼的。
流模型則直接從原始問題出發，建立訓練數據和生成數據之間的概率關係（這種概率關係是量化的、準確的），然後用可逆的神經網絡來訓練。它在建模上的最大特點是z和x之間的關係是確定性的而且是一對一的關係
不同點2：訓練方式不同
訓練上的區別在於loss不同。
VAE最大化ELBO，其目的是要做最大似然估計，最大似然估計等價於最小化KL，但這個KL不是數據和噪聲的KL，而是model給出的p(x)和數據所展示的p(x)之間的KL。
GAN則最小化Jensen-Shannon Divergence，這個JS也是model給出的p(x)和數據所展示的p(x)之間的。
流模型訓練也非常直接，也是最大似然估計。只不過因為流模型用的是可逆神經網絡，因此，相比於其他兩者，學習inference即學習隱含表示非常容易，直接把x用逆函數過一遍就好了不需要額外train一個inference model，而且能直接計算p(x)，所以方便了density estimation，也方便了training因為可以直接用MLE來train（ELBO只是likelihood的lower bound，而且需要一個inference model，但VAE沒法直接MLE）。代價就是模型設計比較麻煩，因為要保證可逆而且逆函數可以算，還要有足夠的靈活度/表示能力。
從效果上三類方法殊途同歸，經過了多年發展，都取得了不錯的進展。
最後說一下比較有意思的事：
VAE、GAN、Flow (NICE)三種模型都是2013-2014年提出來的（VAE是13年放到arXiv上的，後來中了NIPS；GAN也同時中了NIPS，而NICE最早是14年的一個ICLR workshop）。最後的發展情況是：GAN最火，VAE次之，Flow模型似乎總是要火不火。但是從理論上來看，分明是Flow模型最接近問題的本質。也許是因為flow太難了，計算資源太大了？
本文主要作者為微軟亞洲研究院研究員劉暢，博士畢業於清華大學朱軍教授的SAIL實驗室。劉博士主要進行生成模型相關的系列研究，在ICML、NeurIPS、AAAI等頂級會議上發表多篇論文。對劉博士的研究有進一步興趣的同學，請訪問個人網站：https://changliu00.github.io。
Reference
[1] VAE原始論文：: https://arxiv.org/abs/1312.6114
[2] GAN原始論文: https://papers.nips.cc/paper/5423-generative-adversarial-nets
[3] 流模型原始論文: https://arxiv.org/abs/1410.8516
閱讀更多 秦漢日記 的文章
