論文：FCNs in the Wild: Pixel-level Adversarial and Constraint-based Adaptation
文章的研究動機是什麼？
減小源域和目標域之間的域間差異，使得使用源域的圖片和Label訓練的分割模型可以用於目標域的分割。
關於Domain Adaptation Segmentation的介紹，之前文章中介紹過，如果不是很瞭解，詳見下文介紹。
這篇文章方法
1、網絡架構
2、方法：
本文提出了一種基於全卷積網絡的無監督域自適應語義分割框架。利用全局（Global Domain Alignment）和具體類別（Category Specific Adaptation）兩方面的特徵對齊減小Domain Shift進行分割。
（1）Global Domain Alignment
利用encoder網絡對source domain和target domain的圖片進行提取圖片特徵，利用圖片特徵進行對抗訓練，如圖中Domain Adversarial Training，同對抗訓練，使得提取到的特徵具有相似的數據分佈，使得Source domain image提取的特徵與target image提取的特徵相似，對齊全局整體信息。
如何進行對抗訓練？
一般的對抗生成網絡，有一個生成器和一個判別器，訓練判別器時，使得判別器對真實的圖片和生成的圖片有很好的判別能力，能夠判別真假，而生成器則希望生成的圖片足夠的真實，可以騙過判別器，讓判別器將其判別為真。而這兩個之間有一定的矛盾，也就是這個矛盾構成了“對抗”。而這裡針對一個特徵提取器和一個分類判別器，如何構成這個“對抗”關係，利用GAN的原理進行訓練呢？
定義encoder網絡提取到的特徵，以及分類網絡對每一個像素預測為每一個類別可能性：
domain classifier loss：
判別器判別出source domain image 提取的特徵為Fake,target domain image 提取的特徵為Real.
inverse domain loss :
判別器判別出source domain image 提取的特徵為Real,target domain image 提取的特徵為Fake.
整體對抗Loss:
從上面可以看出LD和LDinv是矛盾的，而這裡兩個Loss通過迭代訓練，可以實現對抗訓練的目的。
（2）Category Specific Adaptation
利用全卷積約束的MIL Loss[1]對齊類別空間局部信息，通過約束圖片中類別的存在與否以及物體的尺寸，從而完成具體類別上的信息對齊。[1] Fully convolutional multi-class multiple instance learning. In ICLR
如何約束圖片中類別的存在與否？
通過上一篇文章中定義的MIL Loss進行約束，利用每一個類別對應feature map的預測最大分值，構建損失函數，促使存在的類別具有較大的預測分值，抑制不存在的類別的存在。
MIL Loss詳見下文:
如何約束圖片中不同類別的尺寸？
對於有label的source domain，統計每一類物體的label的像素數目佔整個圖片尺寸的比例，由於aource domain 和target domain擁有共同的label space，所以Source domain統計的數據比例關係可以預測target domain的比例關係。
對於每一類的統計數據，定義像素百分比lower 10% boundary為αc，定義the upper 10% 為γc, 定義the average value為δc。即對數據集中的特定類c，將該類物體在圖片中所佔的比例大小進行排序，統計出αc、γc、δc具體的百分比數值。
對於class c，約束該類別佔圖片像素中的百分比為所有數據的最大10%和均值之間。鬆弛下界但不能鬆弛上界，約束類別在圖片中所佔的比例。
約束圖片中不同類別物體尺寸，達到平衡數據集的作用，使得不會因為物體過小而被網絡忽略。
3、損失函數：
Lseg為普通的用於分割的交叉熵Loss，Lda為Global Domain Alignment部分的損失函數，Lmi為Category Specific Adaptation部分的損失函數。
閱讀更多 AI深度學習求索 的文章
