論文：Learning from Synthetic Data: Addressing Domain Shift for Semantic Segmentation
會議：CVPR2018
這篇文章的研究動機是什麼？
減小源域和目標域之間的域間差異，使得使用源域的圖片和Label訓練的分割模型可以用於目標域的分割。
Domain Adaptation Segmentation方法的研究任務是什麼？
對於遊戲場景的街道圖片數據集（包括圖片和標籤）和真實街道的圖片數據集（只有圖片沒有標籤），遊戲場景圖片和真實圖片具有不一樣的圖片風格，Domain Adaptation Segmentation主要做的就是，利用已經有的這些數據訓練出可以用於真實場景圖片分割的模型。
什麼是域間差異domain shift？
不同的數據集具有不同的數據分佈，一般情況下訓練的模型也只能用在與這種訓練數據集分佈相似的數據集上，而用於與訓練數據集分佈不同的數據集中時，則會產生具有明顯差距的結果。
如下圖所示，若簡單的利用遊戲場景的數據（下圖中的Synthetic Data）訓練模型，模型對於遊戲場景中的圖片分割具有很好的性能Fr,但是若使用這個訓練好的模型測試真實場景的圖片，則會產生相對較差的結果Fs,而Fr和Fs直接的差距其實就是兩個數據集之間的Domain Shift造成的。
本文的目標便是為了減小這個Domain Shift,可以訓練出應用於真實街道場景圖片分割的模型，獲得相對較好的性能，如圖中的Fours。
本文如何降低Domain Shift?
網絡整體架構：
其中，對於Source image,通過F Network提取特徵F(xs），F(xs)通過兩個通道，1）F（xs）通過G network 重構生成Fake Source image, 將Fake Source image和Real Source image 送入判別器D network，判別image的真實性以及構建輔助分割網絡分割出分割map;2）F(xs)t通過C network 預測出每個像素的類別標籤作為分割結果，其中訓練Loss均已經標出。
對於Real Target image,由於沒有label則網絡中關於預測分割類別的地方均不使用，則如下圖，Real Target image,通過F Network提取特徵F(xr），F(xr)通過G network 重構生成Fake Target image, 將Fake Real image和Real target image 送入判別器D network，判別image的真實性。
上述兩圖中的F network、G network、以及D network是共享參數的。
網絡的訓練損失函數有哪些？
1)GAN Loss
2)分割預測損失函數Lseg和輔助分割預測損失函數Laux
這兩個都是像素級交叉熵函數pixel-wise cross entropy loss
3）圖像重構損失函數Lrec
本質其實是輸入圖片和重構圖片之間的L1 Loss
對於這些損失函數，如何利用他們優化網絡？
判別器D的優化函數：
生成器G的優化函數：
特徵提取器F的優化函數：
實驗結果：
使用Source Domain 生成場景數據集SYNTHIA 和真實街道場景數據集CITYSCAPES為訓練數據，在CITYSCAPES數據集上的測試分割結果。
使用Source Domain 生成場景數據集GTA5 和真實街道場景數據集CITYSCAPES 為訓練數據，在CITYSCAPES數據集上的測試分割結果。
為什麼使用Domain Adaptation Segmentation進行分割，而不是直接利用真實數據和標籤進行訓練?
這是由於數據集標籤的難獲取引起的，大家都知道分割數據集的標籤是像素級的標籤，每一個像素都進行了分類。而數據集的獲取方式當前仍處於人工收集的方式，因此給使用全監督的方式訓練分割網絡帶來巨大的成本，所以興起了很多無監督或弱監督語義分割的方向。
這篇論文已開源，有興趣的可以去實踐一下
閱讀更多 AI深度學習求索 的文章
