ECCV2018|DCAN論文詳解domain adaptation語義分割

論文: DCAN: Dual Channel-wise Alignment Networks for Unsupervised Scene Adaptation

會議:ECCV

架構

ECCV2018|DCAN論文詳解domain adaptation語義分割

挑戰:

(1)DCNN在語義分割上獲得進展依賴於大量的耗費人工的標註;

(2)若是可以利用生成數據和它易獲取的標籤進行訓練,在真實數據集上進行遷移測試,這樣則可以解決標註的問題,但是這樣的方式又有新的問題;

(3)訓練模型的泛化能力以及域間差異domain shift限制了分割的準確性

目前,很多工作都在盡力減小domain shift

方法:

(1)通過在low-level和high-level上進行channel-wise alignment,從而減小domain difference

(2)channel-wise alignment:對齊特徵的同時,保留了圖片的空間結構和語義信息,可應用於分割

網絡詳解:

(1)Channel-wise Feature Alignment

1)數據分佈的均值和方差表示圖片的style;

2)使用adaptive instance normalization方法,對齊source domain和target domain中圖片每個channel map的特徵。

3)Channel-wise Feature Alignment針對channel 對齊圖片信息,確保語義信息編碼在不同的channel中,兩個網絡均使用了這個方式。

ECCV2018|DCAN論文詳解domain adaptation語義分割

(2)Dual Channel-wise Alignment Networks

Image generator:

(1)輸入source image和target image,通過encoder-decoder生成具有source image 內容和target image 風格的圖片。

(2)encoder:

ECCV2018|DCAN論文詳解domain adaptation語義分割

具體結構:

ECCV2018|DCAN論文詳解domain adaptation語義分割

如圖中所示,source image和target image輸入encoder,得到編碼的特徵,在這裡根據target image的特徵的均值和方差對source image特徵的均值和方差進行channel-wise對齊,通過decoder生成內容上與source image相似,而風格上與target image 相似的圖片。

Loss:

ECCV2018|DCAN論文詳解domain adaptation語義分割


ECCV2018|DCAN論文詳解domain adaptation語義分割

Segmentation Network:

網絡:Deeplab,FCN,SegNet等前3個stage為encoder,後2個stage為decoder

分割網絡使用生成圖片和label作為數據集,使用target圖片作為提供channel-wise feature aligment的圖片,對segmentation network進行訓練。

ECCV2018|DCAN論文詳解domain adaptation語義分割

Loss:多類交叉熵函數

ECCV2018|DCAN論文詳解domain adaptation語義分割

(3)Optimization:

(1)target domain中的每一張圖片均代表一種style,但是若將source imsge與每一張target image進行訓練,則太耗費計算資源

(2)使用source image和target domain中的隨機一張圖片進行訓練

最終損失函數:

ECCV2018|DCAN論文詳解domain adaptation語義分割

測試:

僅使用Segmentation Network,輸入target image 輸出分割map

分割結果:

ECCV2018|DCAN論文詳解domain adaptation語義分割

ECCV2018|DCAN論文詳解domain adaptation語義分割

ECCV2018|DCAN論文詳解domain adaptation語義分割


分享到:


相關文章: