今天看了一下FPN，看著畫的圖，也感覺到理論還是很容易讓人理解，但是，細究的時候，卻發現了一個自己不太懂的知識點，打卡一下學習的心得。
FPN網絡結構
Skip Connection 就是一種跳躍式傳遞
- 又叫shortcut connection
- 其和普通的CNN的區別在於從輸入源直接向輸出源多連接了一條傳遞線
- 這是一種identity mapping，也就是所謂的恆等映射，用來進行殘差計算
- 其效果是為了防止網絡層數增加而導致的梯度彌散問題與退化問題
殘差網絡(ResNet)通過skip connection技巧， 使得梯度更容易地流動到淺層的網絡當中去。殘差網絡的基本結構如下圖：
基本的殘差網絡其實可以從另一個角度來理解：
殘差網絡單元其中可以分解成右圖的形式，從圖中可以看出，殘差網絡其實是由多種路徑組合的一個網絡，直白了說，殘差網絡其實是很多並行子網絡的組合，整個殘差網絡其實相當於一個多人投票系統（Ensambling）。
如果把殘差網絡理解成一個Ensambling系統，那麼網絡的一部分就相當於一些投票的人，如果只是刪除一個基本的殘差單元，對最後的分類結果應該影響很小；而最後的分類錯誤率和刪除的殘差單元的個數成正比。
分享到:
閱讀更多 做個自律的禾苗 的文章
