近日，由麻省理工學院（MIT）電子工程與計算機科學（ECCS）實驗室多位博士所著的醫學影像AI論文被CVPR 2019收錄。
該團隊為了解決醫學圖像標註數據缺乏的問題，提出了通過學習圖像的變換（transforms）進行數據增強的半監督分割方法。以下為論文詳細內容，由AI掘金志學術組編譯。關注AI掘金志公眾號，在對話框回覆關鍵詞“CVPR”，即可獲取原文PDF。後續我們也將持續推送2019 CVPR最新醫學影像AI文章。
生物醫學圖像分割是許多醫學應用中的重要任務。基於卷積神經網絡的分割方法雖然精確度達到了state-of-the-art，但是通常需要依賴於帶有大型標註數據集的監督訓練。醫學圖像的標註需要大量的專業知識和時間，並且在大規模上是不可行的。為了解決缺乏標註數據的問題，研究人員通常使用人工預處理、手動調整架構和數據增強等技術。然而，這些技術涉及複雜的工程工作，並且通常針對特定的數據集。因此MIT的團隊提出了用於醫學圖像的自動數據增強方法。
在one-shot磁共振成像（MRI）腦部分割這一實際挑戰中，MIT團隊提出的半監督方法只需要單個有人工標註的數據以及其他沒有標註的數據。首先從圖像中學習變換模型，通過該模型及已標註樣例再來合成額外的標註樣例進行訓練。每個變換由空間變形場（spatial deformation field）和強度（intensity）變化組成，能夠合成複雜的效果，例如解剖學和圖像採集程序的變化。通過這些新樣例增強有監督分割模型的訓練，相較於one-shot生物醫學圖像分割的state-of-the-art方法有了顯著的改進。
醫學圖像數據集的挑戰
圖像語義分割對於許多生物醫學成像應用至關重要，例如進行人口分析，疾病診斷和治療規劃等。當有足夠的標註數據時，有監督的基於深度學習的分割方法可以產生最精確的結果。然而，在醫學圖像數據集方面具有很大挑戰。
1、人類大腦存在大量的解剖變異
2、手動分割標籤需要相當多的專業知識和時間，大多數臨床圖像數據集手動標註的圖像非常少
3、不同機構和機器的圖像採集差異，導致數據分辨率，圖像噪聲和組織外觀等方面產生很大的差異
圖1：生物醫學圖像在解剖結構，對比度和紋理方面經常變化很大（頂行）。與其它one-shot分割方法（底行）相比，我們的方法能夠更準確地分割解剖結構。
為了克服這些挑戰，許多有監督的生物醫學分割方法專注於人工設計預處理步驟和架構。使用手動調整的數據增強來增加訓練樣本的數量也很常見，諸如隨機圖像旋轉或隨機非線性變形之類的數據增強功能，並且已被證明在某些例子中有效地提高了分割準確度。然而，這些功能模擬多樣化和現實的例子的能力有限，並且可能對參數的選擇高度敏感。
因此，MIT團隊建議通過學習合成多樣且真實的標註樣例來解決標註數據數量有限的挑戰。總的流程如圖2所示。為了執行數據增強，我們將變換τ(k)應用於標記的圖譜（atlas） x。我們首先學習單獨的空間和外觀變換模型，以捕獲標記的圖譜和每個未標記的體積之間的解剖和外觀差異的分佈。使用兩個學習模型，我們通過將空間變換(spatial transform)和外觀變換(appearance transform)應用於圖譜集，並通過使用空間變換扭曲圖譜標籤map來合成標註體積。
與 single-atlas分割受到空間變換模型中的不確定性或誤差的影響相比，我們使用相同的空間變換來合成體積和標籤圖，確保新合成的體積被正確標記。這些合成樣例形成標記數據集，其表徵未標記數據集中的解剖學和外觀變化。與atalas一起，這個新的訓練集能夠訓練有監督的分割網絡。
圖2：所提方法的概述。 我們學習獨立的空間和外觀變換模型來捕捉圖像數據集中的變化。 然後，我們使用這些模型來合成標記示例的數據集。 該合成數據集用於訓練監督的分割網絡。
相關工作
醫學圖像分割
MR圖像強度因為特定對象的噪聲，掃描儀協議和質量以及其他成像參數的變化而變化，因此許多現有的分割方法依賴於數據預處理來減輕這些與強度相關的挑戰。 預處理方法的運行成本很高，而開發真實數據集的技術是目前較熱門的研究領域。我們的增強方法從另一個角度處理這些與強度相關的挑戰：它不是去除強度變化，而是使分割方法對MRI掃描的自然變化具有魯棒性。
大量經典分割方法使用基於圖譜的或圖譜引導的分割，其中使用變形模型將標記的參考體積或圖譜與目標體積對齊，並且使用相同的變形來傳播標記。當有多個地圖集可用時，它們每個都與目標體積對齊，並且與扭曲的圖譜標籤融合。在基於圖譜的方法中，通過變形模型捕獲對象之間的解剖學變化，並且使用預處理或強度魯棒性算法（例如歸一化互相關）來減輕強度變化的挑戰。然而，組織外觀的模糊性（例如，模糊的組織邊界，圖像噪聲）仍然可能導致不準確的配準和分割。我們的目標是通過在不同的現實樣例上訓練分割模型來解決這一侷限性，使分割模型對這種模糊性更加魯棒。我們專注於單一圖譜，並證明我們的方法優於基於圖譜的分割。如果有多個分割樣例可用，我們的方法可以利用它們。
為了減輕大型標記訓練數據集的需求，很多方法通常結合手工設計的預處理和架構增強數據。半監督和無監督的方法也被提出來應對小訓練數據集的挑戰。這些方法不需要成對的圖像和分割數據。相反，他們利用分割數據的集合來構建解剖先驗，訓練對抗網絡，或訓練新穎的語義約束。 實際上，圖像集合比分割數據更容易獲得， 我們的方法不是依賴於分割標註，而是利用一組無標籤的圖像。
空間和外觀變換模型
形狀和外觀的模型已經用於各種圖像分析。在醫學圖像配準中，空間變形模型用於建立圖像之間的語義對應關係。這個成熟的領域涵蓋了基於優化的方法，以及最近基於學習的方法。
我們利用Voxel Morph（一種最近的無監督學習方法）來學習空間變換。許多配準方法都側重於強度歸一化圖像或與強度無關的目標函數，並沒有明確說明圖像強度的變化。
對於非標準化圖像，空間和外觀變換模型一起用於記錄紋理或外觀以及形狀不同的對象。許多作品建立在Morphable Models或Active Appearance Models（AAMs）的框架之上，其中構建了形狀和紋理的統計模型。在醫學領域，AAM已被用於定位解剖標誌並執行分割。
我們通過使用卷積神經網絡來學習無約束空間和強度變換場的模型，從而構建這些概念。 我們不是以配準或分割為最終目標學習變換模型，而是從這些模型中進行抽樣，以合成新的訓練樣例。 正如我們在實驗中所示，以這種方式增加訓練集進行分割可以產生比直接使用變換模型執行分割更魯棒。我們的目標是捕獲圖譜和未標記體積之間的變換分佈，每個變換模型通過一個卷積神經網絡來學習（如圖3所示）。借鑑Morphable模型和AAM，我們獨立優化空間和外觀模型。
對於我們的空間模型，我們利用Voxel Morph，這是最近一種無監督的基於學習的方法，具有開源實現。Voxel Morph學習輸出平滑位移矢量場（smooth displacement vector field），通過聯合優化圖像相似性損失和位移場平滑項來將一個圖像記錄到另一個圖像。 我們使用具有歸一化互相關的Voxel Morph變體作為圖像相似性損失，使得能夠用非標準化的輸入體積估計一個參數函數。我們使用類似的方法來學習外觀模型。
在我們的實驗中，我們發現計算主體空間框架中的圖像相似性損失是有幫助的。
圖3：我們使用基於U-Net架構的卷積神經網絡來學習每個變換模型。 變換應用於空間模型的空間扭曲，以及外觀模型的體素添加。 每個卷積使用3×3×3個內核，然後是Leaky Re LU激活層。 編碼器使用最大池化層來降低空間分辨率，而解碼器使用上採樣層。
數據增強
在基於圖像的監督學習任務中，通常使用諸如旋轉和縮放的簡單參數化變換來執行數據增強。 在醫學成像領域中，隨機平滑流場（random smooth flow fields）通常用於模擬解剖學變化。 這些參數化變換可以減少過度擬合併提高測試性能。 然而，這些變換所帶來的性能增益隨著變換函數和參數集的選擇而變化。
最近的工作提出了從數據學習數據擴充轉換。 Hauberg et al. 專注於數據增加，用於分類MNIST數字。 他們學習數字特定的空間變換，並對訓練圖像和變換進行抽樣，以創建旨在提高分類性能的新示例。 除了空間模型之外，我們還學習了一個外觀模型，並且我們專注於MRI分割的問題。
Ratner et al. 提出了一種半自動化的方法來學習數據增強的空間和顏色轉換。 它們依賴於用戶輸入來創建簡單參數化變換函數的組合（例如，旋轉和對比度增強）。他們學習使用生成對抗網絡生成轉換函數的新組合。 相比之下，我們的方法是完全自動化的。
我們使用基於A. G. Roy et al. 提出的最先進的網絡架構來證明這一點。 為了考慮GPU內存限制，網絡被設計為一次分割一個切片。 我們使用增強訓練集的隨機切片訓練網絡，並使用早停在驗證集上選擇訓練迭代的數量。 我們強調精確的分割網絡架構不是這項工作的重點，因為我們的方法可以與任何監督的分割網絡結合使用。
實驗結果
在實驗數據上，文章使用了來自8個公開數據庫的T1加權MRI腦部掃描數據，選取其中101個圖像作為訓練集，50個為驗證集，100個測試集，每個圖像都有30類標籤。在進行對照實驗時，作者將文章方法與單圖集分割（SAS）、單圖集分割數據增強（SAS-aug）（使用訓練過單個圖像的模型分割訓練集產生的數據進行訓練）、手動調整數據增強（rand-aug）、全監督分割這些方法進行對比。同時，作者提出了基於文章數據增強方法的三個變種，即獨立採樣（ours-indep）、耦合採樣（ours-coupled）、獨立採樣+手動調整數據增強（ours-indep + rand-aug）。
在評測分割結果時，文章採用了醫學分割常用的骰子分數(Dice)，計算測試集上100個測試樣本的30類標籤的平均值。表格1展示了各個方法的平均Dice以及相對於單圖集分割方法（SAS）的提升，可以看出文章方法結果顯著優於之前方法，其中的Ours-indep + rand-aug方法比起SAS，Dice有了5.6個百分點的提高。圖4為各方法Dice提升的箱體圖，我們可以明顯看到文章的方法相較於rand-aug分割結果一致性更好。圖5為100個測試集圖像分割結果相較於SAS的提高，可以看出ours-indep + rand-aug在每個圖像上的結果始終保持最優。圖6表明rand-aug降低區域較小的結構的分割結果。圖7展示了海馬體的分割結果。
表1：根據Dice分數評估分割性能，在100例腦MRI測試集上評估。 我們報告了所有30個解剖標籤和所有100個測試對象的平均Dice評分（以及括號中的標準偏差）。 我們還報告了SAS基線上每種方法的平均成對改進。
圖4：在所有測試例子中與SAS基線相比的平均Dice分數（在所有30個解剖標記上計算的平均值）的成對改善。
圖5：對於每個測試樣本與SAS基線相比的平均Dice得分（在所有30個解剖標記上計算的平均值）的成對改善。 樣本按我們方法的Dice改進來排序（ours - indep + rand-aug）。
圖6：各種大腦結構中每種方法的分割準確性。 括號中顯示了圖譜中每個標籤佔據的大腦百分比。 標籤按圖譜中每個結構的體積排序，並且組合由左到右結構（例如海馬）組成的標籤。 我們縮寫標籤：白質（WM），皮質（CX），心室（vent）和腦脊液（CSF）。
圖7：兩個測試對象（行）的海馬分割預測。 我們的方法（第2列）比基線（第3列和第4列）分割更準確。
作者嘗試分析方法有效性的原因，ours-coupled與SAS-aug兩種方法都產生了100個新的訓練集，而前者效果要優於SAS-aug，作者在檢查了產生的測試及後考慮到了兩個因素。一方面ours-coupled方法以與標籤相同的來扭曲圖像，確保扭曲的標籤與變換的圖像匹配。另一方面SAS-aug將不完美的扭曲標籤與 不正確的圖像紋理配對。如圖9所示，文章方法合成的海馬體圖像與真實的海馬體圖像的紋理更加一致。
總結
總結來說，文章提出了一種基於學習的數據增強方法，並在one-shot醫學分割上進行了測試。文章使用基於學習的方法，來模擬標記和未標記示例之間的空間和外觀變換，並使用它來合成新數據和標籤。在測試集中的每個示例上的效果都超出現有的單次分割方法，接近完全監督模型的性能。該框架適用於許多場景，例如在臨床上，由於時間限制僅允許手動註釋少量掃描的場合。這項工作表明瞭從未標記的圖像中學習獨立的空間和外觀變換模型，可以合成各種逼真的標記示例；這些合成示例可用於訓練分割模型，該模型在one-shot分割中優於現有方法。
歡迎點擊閱讀原文加入 AI 研習社 CVPR 論文小組學習交流~
閱讀更多 AI科技評論 的文章
