論文: DCAN: Dual Channel-wise Alignment Networks for Unsupervised Scene Adaptation
會議:ECCV
架構:
![ECCV2018|DCAN論文詳解domain adaptation語義分割](http://p2.ttnews.xyz/loading.gif)
挑戰:
(1)DCNN在語義分割上獲得進展依賴於大量的耗費人工的標註;
(2)若是可以利用生成數據和它易獲取的標籤進行訓練,在真實數據集上進行遷移測試,這樣則可以解決標註的問題,但是這樣的方式又有新的問題;
(3)訓練模型的泛化能力以及域間差異domain shift限制了分割的準確性
目前,很多工作都在盡力減小domain shift
方法:
(1)通過在low-level和high-level上進行channel-wise alignment,從而減小domain difference
(2)channel-wise alignment:對齊特徵的同時,保留了圖片的空間結構和語義信息,可應用於分割
網絡詳解:
(1)Channel-wise Feature Alignment
1)數據分佈的均值和方差表示圖片的style;
2)使用adaptive instance normalization方法,對齊source domain和target domain中圖片每個channel map的特徵。
3)Channel-wise Feature Alignment針對channel 對齊圖片信息,確保語義信息編碼在不同的channel中,兩個網絡均使用了這個方式。
![ECCV2018|DCAN論文詳解domain adaptation語義分割](http://p2.ttnews.xyz/loading.gif)
(2)Dual Channel-wise Alignment Networks
Image generator:
(1)輸入source image和target image,通過encoder-decoder生成具有source image 內容和target image 風格的圖片。
(2)encoder:
具體結構:
如圖中所示,source image和target image輸入encoder,得到編碼的特徵,在這裡根據target image的特徵的均值和方差對source image特徵的均值和方差進行channel-wise對齊,通過decoder生成內容上與source image相似,而風格上與target image 相似的圖片。
Loss:
Segmentation Network:
網絡:Deeplab,FCN,SegNet等前3個stage為encoder,後2個stage為decoder
分割網絡使用生成圖片和label作為數據集,使用target圖片作為提供channel-wise feature aligment的圖片,對segmentation network進行訓練。
Loss:多類交叉熵函數
(3)Optimization:
(1)target domain中的每一張圖片均代表一種style,但是若將source imsge與每一張target image進行訓練,則太耗費計算資源
(2)使用source image和target domain中的隨機一張圖片進行訓練
最終損失函數:
測試:
僅使用Segmentation Network,輸入target image 輸出分割map
分割結果:
閱讀更多 AI深度學習求索 的文章