賈浩楠 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
在遷移學習任務中，一直存在這樣的問題：
目標域由於沒有標籤，常常導致分界面附近混淆較多的數據。
中科院計算所的在讀研究生崔書豪等，提出了一種新的解決方法：批量核範數最大化 （Batch Nuclear-norm Maximization，BNM）。
在典型的標籤不足場景下(如半監督學習等)，BNM可以有效地提升學習效果。
並且，大量實驗表明，BNM的性能要優於目前主流的一些方法，並且搭配起來使用，效果也很不錯。
這篇論文已被接收為CVPR 2020 Oral。
主要思路
類別預測的判別性與多樣性同時指向批量響應矩陣的核範數，這樣就可以最大化批量核範數來提高遷移問題中目標域的性能。
可以通過分析批量類別響應組成的批量矩陣A，嘗試從判別性和遷移性進行優化。
判別性
所謂判別性，指的是預測類別的過程是否堅定。比如對於二類問題的響應：1、[0.9,0.1]判別性較高2、[0.6,0.4]判別性較低。
常見的方法採用最小化熵來得到較高的判別性。我們發現矩陣A的F範數與熵有著相反的單調性，從而可以通過最大化A的F範數來提升判別性。
多樣性
多樣性可以近似表達為批量矩陣中預測的類別數量，即預測的類別數量多則響應多樣性大。
考慮不同類別響應的線性相關性，如果兩個響應屬於不同類別，那麼響應會差別較大線性無關，如果屬於相同類別則近似線性相關：1、[0.9,0.1]與[0.1,0.9]線性無關2、[0.9,0.1]與[0.8,0.2]近似線性相關。
那麼預測類別數也就是矩陣中最大的線性無關向量數，即矩陣的秩。
BNM
核範數是矩陣奇異值的和，在數學上有兩點結論：
1、核範數與F範數相互限制界限2、核範數是矩陣秩的凸近似
所以類別預測的判別性與多樣性同時指向矩陣的核範數，我們可以最大化矩陣核範數（BNM）來提升預測的性能。
比如上圖中，如果使用熵最小化（EntMin）和BNM來優化，當熵相同的時候，使用BNM優化更容易使得核範數更大，從而預測對擁有較少數量的類別（綿羊）。
實現
在常用的框架Pytorch與Tensorflow中，均可通過一行代碼實現BNM。
Pytorch:
TensorFlow：
應用
我們將BNM應用到三個標籤不足的場景中：半監督學習、領域適應和開放域物體識別。
實驗表明，在半監督學習中可以提升現有方法；在領域適應中BNM約束明顯優於EntMin，並且單一的BNM約束可以達到與現有方法相近的性能，如下圖：
在開放域物體識別中單一的BNM約束超過有著冗雜損失函數的UODTN，達到SOTA性能，如下圖：
同時在開放域物體識別中，我們統計了隨機採樣的批量響應中未知類所佔比例，如圖：
我們發現BNM確實可以保持未知類所佔比例，從而保障整體預測的類別數量與準確性，從而保持多樣性。
此方法主要針對的是缺少標籤場景下分界面附近數據密度較大的問題，對於遷移相關的任務有著較為普遍的改善價值。
論文作者包括中科院計算所學生崔書豪，卓君寶；計算所副研究員王樹徽，李亮；國科大講席教授黃慶明和華為諾亞方舟實驗室田奇博士。
本文第一作者崔書豪，2018年本科畢業於清華大學自動化系，現在是中科院計算所VIPL實驗室二年級碩士生，研究方向為深度領域適應學習與開放域學習技術。指導老師王樹徽，長期從事跨模態、跨域分析推理技術研究
值得一提的是，崔書豪以第一作者向CVPR 2020提交了兩篇論文，另一篇是Gradually Vanishing Bridge for Adversarial Domain Adaptation，目前也被接收。
傳送門
論文原址：https://arxiv.org/pdf/2003.12237.pdf
第二篇CVPR:https://arxiv.org/abs/2003.13183
BNM項目Github主頁：https://github.com/cuishuhao/BNM
崔書豪知乎：https://zhuanlan.zhihu.com/p/121507249
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
閱讀更多 量子位 的文章
