Date：2020-04-04
來源：Rethinking場景分析中的空間池化 | Strip Pooling（CVPR2020，何愷明）
原文鏈接：https://arxiv.org/abs/2003.13328v1
代碼鏈接：https://github.com/Andrew-Qibin/SPNet
主要思想和Contributions
Spatial pooling在捕獲像素級預測任務（如場景解析）的long-range contextual信息方面已被證明是非常有效的。本文在傳統的N×N型Spatial pooling的基礎上，提出了一種考慮狹長核（1×N或N×1）的strip pooling策略，對Spatial pooling的形成進行了重新思考。基於strip pooling，進一步研究了Spatial pooling體系結構設計，本文的主要貢獻：
1）引入了一個新的strip pooling模塊，使backbone網絡能夠有效地模擬long-range依賴關係；
2）提出了一種以多種Spatial pooling為核心的新型模塊MPM，並構建了SPNet；
3）系統地比較了所提出的strip pooling和傳統Spatial pooling技術的性能；
這兩種新的基於pooling的模塊都是輕量級的，可以作為現有場景解析網絡中的一個有效的即插即用模塊。在ADE20K和CityScapes上進行的大量實驗表明，本文的方法達到了SOTA。
網絡結構
1、Strip pooling（SPM）
1. 如下圖所示，使用Hx1和1xW尺寸的條狀池化核進行操作，對池化核內的元素值求平均，並以該值作為池化輸出值。
2. Hx1和1xW池化核處理後，使用1D Conv對兩個輸出feature map分別沿著左右和上下進行擴容，如下圖所示，擴容後兩個feature map尺寸相同，進行fusion（element-wise上的add）。
3. 採用element-wise multiplication的方式對原始數據和sigmoid處理後的結果進行處理，至此，strip pooling完成，輸出結果。
2、MPM（Mixed Pooling Module）
這是本文獨立於SPM之外的另外一個模塊，具體來說，在每個子模塊之前，首先是1×1卷積層用於channel縮減，如下圖所示，兩個子模塊的輸出串聯在一起，然後送入另一個1×1卷積層進行channel擴展。
3、SPNet
論文基於SPM和MPM模塊搭建了一個網絡：SPNet，以殘差網絡作為backbone，詳細結構請參考原文。
實驗結果
論文在ADE20K、Cityscapes和Pascal Context數據集上進行了實驗。
閱讀更多 3D視覺工坊 的文章
