李亞洲54052926
在 AlexNet [1] 取得 LSVRC 2012 分類競賽冠軍之後，深度殘差網絡（Residual Network, 下文簡寫為 ResNet）[2] 可以說是過去幾年中計算機視覺和深度學習領域最具開創性的工作。ResNet 使訓練數百甚至數千層成為可能，且在這種情況下仍能展現出優越的性能。
因其強大的表徵能力，除圖像分類以外，包括目標檢測和人臉識別在內的許多計算機視覺應用都得到了性能提升。
自從 2015 年 ResNet 讓人們刮目相看，研究界的許多人在深入探索所其成功的秘密，許多文獻中對該模型做了一些改進。在這裡，來自圖普科技的機器學習工程師Vincent Fung介紹他最近閱讀的一些論文，關於 ResNet 的不同變體和對 ResNet 架構的理解。
隨著 ResNet 在研究界的不斷普及，關於其架構的研究也在不斷深入。本節首先介紹幾種基於 ResNet 的新架構，然後介紹一篇論文，從 ResNet 作為小型網絡集合的角度進行解讀。
ResNeXt
Xie et al. [8] 提出 ResNet 的一種變體 ResNeXt，它具備以下構建塊：
左：[2] 中 ResNet 的構建塊；右：ResNeXt 的構建塊，基數=32
ResNext 看起來和 [4] 中的 Inception 模塊非常相似，它們都遵循了「分割-轉換-合併」的範式。不過在 ResNext 中，不同路徑的輸出通過相加合併，而在 [4] 中它們是深度級聯（depth concatenated）的。另外一個區別是，[4] 中的每一個路徑互不相同（1x1、3x3 和 5x5 卷積），而在 ResNeXt 架構中，所有的路徑都遵循相同的拓撲結構。
作者在論文中引入了一個叫作「基數」（cardinality）的超參數，指獨立路徑的數量，這提供了一種調整模型容量的新思路。實驗表明，通過擴大基數值（而不是深度或寬度），準確率得到了高效提升。作者表示，與 Inception 相比，這個全新的架構更容易適應新的數據集或任務，因為它只有一個簡單的範式和一個需要調整的超參數，而 Inception 需要調整很多超參數（比如每個路徑的卷積層內核大小）。
這個全新的結構有三種等價形式：
在實際操作中，「分割-變換-合併」範式通常通過「逐點分組卷積層」來完成，這個卷積層將輸入的特徵映射分成幾組，並分別執行正常的卷積操作，其輸出被深度級聯，然後饋送到一個 1x1 卷積層中。
密集連接卷積神經網絡
Huang 等人在論文 [9] 中提出一種新架構 DenseNet，進一步利用快捷連接，將所有層直接連接在一起。在這種新型架構中，每層的輸入由所有之前層的特徵映射組成，其輸出將傳輸給每個後續層。這些特徵映射通過深度級聯聚合。
除了解決梯度消失問題，[8] 的作者稱這個架構還支持特徵重用，使得網絡具備更高的參數效率。一個簡單的解釋是，在論文 [2] 和論文 [7] 中，恆等映射的輸出被添加到下一個模塊，如果兩個層的特徵映射有著非常不同的分佈，那麼這可能會阻礙信息流。因此，級聯特徵映射可以保留所有特徵映射並增加輸出的方差，從而促進特徵重用。
遵循該範式，我們知道第 l 層將具有 k *（l-1）+ k_0 個輸入特徵映射，其中 k_0 是輸入圖像的通道數目。作者使用一個叫作「增長率」的超參數 (k) 防止網絡過寬，他們還用了一個 1*1 的卷積瓶頸層，在昂貴的 3*3 卷積前減少特徵映射的數量。整體架構如下表所示：
用於 ImageNet 的 DenseNet 架構
深度隨機的深度網絡
儘管 ResNet 的強大性能在很多應用中已經得到了證實，但它存在一個顯著缺點：深層網絡通常需要進行數週的訓練時間。因此，把它應用在實際場景的成本非常高。為了解決這個問題，G. Huang 等作者在論文 [10] 中引入了一種反直覺的方法，即在訓練過程中隨機丟棄一些層，測試中使用完整的網絡。
作者使用殘差塊作為他們網絡的構建塊。因此在訓練期間，當特定的殘差塊被啟用，它的輸入就會同時流經恆等快捷連接和權重層；否則，就只流過恆等快捷連接。訓練時，每層都有一個「生存概率」，每層都有可能被隨機丟棄。在測試時間內，所有的塊都保持被激活狀態，並根據其生存概率進行重新校準。
從形式上來看，H_l 是第 l 個殘差塊的輸出結果，f_l 是由第 l 個殘差塊的加權映射所決定的映射，b_l 是一個伯努利隨機變量（用 1 或 0 反映該塊是否被激活）。在訓練中：
當 b_l=1 時，該塊為正常的殘差塊；當 b_l=0 時，上述公式為：
既然我們已經知道了 H_(l-1) 是 ReLU 的輸出，而且這個輸出結果已經是非負的，所以上述方程可簡化為將輸入傳遞到下一層的 identity 層：
令 p_l 表示是第 l 層在訓練中的生存概率，在測試過程中，我們得到：
作者將線性衰減規律應用於每一層的生存概率，他們表示，由於較早的層提取的低級特徵會被後面的層使用，所以不應頻繁丟棄較早的層。這樣，規則就變成：
其中 L 表示塊的總數，因此 p_L 就是最後一個殘差塊的生存概率，在整個實驗中 p_L 恆為 0.5。請注意，在該設置中，輸入被視為第一層 (l=0)，所以第一層永遠不會被丟棄。隨機深度訓練的整體框架如下圖所示：
訓練過程中，每一層都有一個生存概率
與 Dropout [11] 類似，訓練隨機深度的深度網絡可被視為訓練許多較小 ResNet 的集合。不同之處在於，上述方法隨機丟棄一個層，而 Dropout 在訓練中只丟棄一層中的部分隱藏單元。
實驗表明，同樣是訓練一個 110 層的 ResNet，隨機深度訓練出的網絡比固定深度的性能要好，同時大大減少了訓練時間。這意味著 ResNet 中的一些層（路徑）可能是冗餘的。
作為小型網絡集合的 ResNet
[10] 提出一種反直覺的方法，即在訓練中隨機丟棄網絡層，並在測試中使用完整的網絡。[14] 介紹了一種更加反直覺的方法：我們實際上可以刪除已訓練 ResNet 的部分層，但仍然保持相對不錯的性能。[14] 還用同樣的方式移除 VGG 網絡的部分層，其性能顯著降低，這使得 ResNet 架構更加有趣。
[14] 首先介紹了一個 ResNet 的分解圖來使討論更加清晰。在我們展開網絡架構之後，很明顯發現，一個有著 i 個殘差塊的 ResNet 架構有 2**i 個不同路徑（因為每個殘差塊提供兩個獨立路徑）。
根據上述發現，顯然移除 ResNet 架構中的部分層對其性能影響不大，因為架構具備許多獨立有效的路徑，在移除了部分層之後大部分路徑仍然保持完整無損。相反，VGG 網絡只有一條有效路徑，因此移除一個層會對該層的唯一路徑產生影響。（如 [14] 中的實驗所揭示的。）
作者的另一個實驗表明，ResNet 中不同路徑的集合有類似集成的行為。他們在測試時刪除不同數量的層，測試網絡性能與刪除層的數量是否平滑相關。結果表明，網絡行為確實類似集成，如下圖所示：
當被刪除的層數增加時，誤差值隨之增長
最終，作者研究了 ResNet 中路徑的特徵：
很明顯，路徑的可能長度分佈遵循二項分佈，如下圖 (a) 所示。大多數路徑流經 19 到 35 個殘差塊。
為了研究路徑長度與經過路徑的梯度大小之間的關係，得到長度為 k 的路徑的梯度大小，作者首先向網絡輸入了一批數據，並隨機採樣 k 個殘差塊。當梯度被反向傳播時，它們在採樣殘差塊中僅通過權重層進行傳播。(b) 表明隨著路徑長度的增加，梯度大小迅速下降。
現在將每個路徑長度的頻率與其期望的梯度大小相乘，以瞭解每個長度的路徑在訓練中起到多大作用，如圖 (c) 所示。令人驚訝的是，大多數貢獻來自於長度為 9 到 18 的路徑，但它們只佔所有路徑的一小部分，如 (a) 所示。這是一個非常有趣的發現，它表明 ResNet 並沒有解決長路徑的梯度消失問題，而是通過縮短有效路徑的長度訓練非常深層的 ResNet 網絡。
References:
[1]. A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems,pages1097–1105,2012.
[2]. K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. arXiv preprint arXiv:1512.03385,2015.
[3]. K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556,2014.
[4]. C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich. Going deeper with convolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,pages 1–9,2015.
[5]. R. Srivastava, K. Greff and J. Schmidhuber. Training Very Deep Networks. arXiv preprint arXiv:1507.06228v2,2015.
[6]. S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Comput., 9(8):1735–1780, Nov. 1997.
[7]. K. He, X. Zhang, S. Ren, and J. Sun. Identity Mappings in Deep Residual Networks. arXiv preprint arXiv:1603.05027v3,2016.
[8]. S. Xie, R. Girshick, P. Dollar, Z. Tu and K. He. Aggregated Residual Transformations for Deep Neural Networks. arXiv preprint arXiv:1611.05431v1,2016.
[9]. G. Huang, Z. Liu, K. Q. Weinberger and L. Maaten. Densely Connected Convolutional Networks. arXiv:1608.06993v3,2016.
[10]. G. Huang, Y. Sun, Z. Liu, D. Sedra and K. Q. Weinberger. Deep Networks with Stochastic Depth. arXiv:1603.09382v3,2016.
[11]. N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever and R. Salakhutdinov. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. The Journal of Machine Learning Research 15(1) (2014) 1929–1958.
[12]. A. Veit, M. Wilber and S. Belongie. Residual Networks Behave Like Ensembles of Relatively Shallow Networks. arXiv:1605.06431v2,2016.
