受全球範圍疫情爆發的影響，原定於4月25日舉行的人工智能頂會 ICLR 2020，宣佈取消線下會議，完全改為線上。此前，2月7日在美國紐約舉辦的人工智能頂級會議AAAI 2020，也採取了部分線上模式，讓不能到場的學者遠程參會。
雖然疫情讓這些人工智能頂會充滿變數，但絲毫不影響全球人工智能學者和研究人員的熱情，他們提交了大量重要研究成果的論文。優必選悉尼大學人工智能研究中心今年也有數篇論文被人工智能頂會接收，其中，ICLR 2020有2篇，AAAI 2020有4篇，CVPR 2020有12篇。
ICLR（國際學習表徵會議）於2013年成立，由Lecun，Hinton和Bengio三位神經網絡的元老聯手發起。近年來隨著深度學習在工程實踐中的成功，ICLR也在短短的幾年中發展成為了神經網絡的頂會。
今年，ICLR共收到了2594篇論文投稿，相比去年的1591篇論文投稿，增加了38.7%，其中687篇論文被接收，優必選悉尼大學人工智能中心有2篇論文被接收。
論文一：分段線性激活實質上塑造了神經網絡的損失平面
摘要：
理解神經網絡的損失平面對於理解深度學習至關重要。本文介紹了分段線性激活函數是如何從根本上塑造神經網絡損失平面的。我們首先證明了許多神經網絡的損失平面具有無限的偽局部極小值，這些偽局部極小值被定義為經驗風險比全局極小值更高的局部極小值。我們的結果表明，分段線性激活網絡與已被人們充分研究的線性神經網絡有著本質區別。實踐中，這一結果適用於大多數損失函數中任何具有任意深度和任意分段線性激活函數（不包括線性函數）的神經網絡。本質上，基本假設與大多數實際情況是一致的，即輸出層比任何隱藏層都窄。此外，利用不可微分的邊界將具有分段線性激活的神經網絡的損失平面分割成多個光滑的多線性單元。所構造的偽局部極小值以底谷的形式集中在一個單元中：它們通過一條經驗風險不變的連續路徑相互連接。對於單隱層網絡，我們進一步證明了一個單元中的所有局部最小值均構成一個等價類別；它們集中在一個底谷裡；它們都是單元中的全局極小值。
論文地址：
https://openreview.net/forum?id=B1x6BTEKwr
論文二:理解遞歸神經網絡中的泛化
摘要：
在本文中，我們闡述了分析遞歸神經網絡泛化性能的理論。我們首先基於矩陣1-範數和 Fisher-Rao 範數提出了一種新的遞歸神經網絡的泛化邊界。Fisher-Rao 範數的定義依賴於有關 RNN 梯度的結構引理。這種新的泛化邊界假設輸入數據的協方差矩陣是正定的，這可能限制了它在實際中的應用。為了解決這一問題，我們提出在輸入數據中加入隨機噪聲，並證明了經隨機噪聲（隨機噪聲是輸入數據的擴展）訓練的一個泛化邊界。與現有結果相比，我們的泛化邊界對網絡的規模沒有明顯的依賴關係。我們還發現，遞歸神經網絡(RNN)的 Fisher-Rao 範數可以解釋為梯度的度量，納入這種梯度度量不僅可以收緊邊界，而且可以在泛化和可訓練性之間建立關係。在此基礎上，我們從理論上分析了特徵協方差對神經網絡泛化的影響，並討論了訓練中的權值衰減和梯度裁剪可以如何改善神經網絡泛化。
論文地址：
https://openreview.net/forum?id=rkgg6xBYDH
今年首場人工智能頂會AAAI 2020已於2月份在美國紐約舉辦，共評審了 7737 篇論文，最終接收了 1591 篇，接收率為 20.6％，優必選悉尼大學人工智能中心有4篇論文被接收。
論文一:閱讀理解中的無監督域自適應學習
摘要：
深度神經網絡模型在很多閱讀理解（RC）任務數據集上已經實現顯著的性能提升。但是，這些模型在不同領域的泛化能力仍然不清楚。為彌補這一空缺，我們研究了閱讀理解任務（RC）上的無監督域自適應問題。研究過程中，我們在標記源域上訓練模型，並在僅有未標記樣本的目標域應用模型。我們首先證明，即便使用強大的轉換器雙向編碼表徵(BERT)上下文表徵，在一個域上訓練好的模型也不能在另一個域實現很好的泛化能力。為了解決這個問題，我們提供了一種新的條件對抗自訓練方法（CASe）。具體來說，我們的方法利用在源數據集上微調的 BERT 模型以及置信度過濾，在目標域中生成可靠的偽標記樣本以進行自訓練。另一方面，我們的方法通過跨域的條件對抗學習，進一步減小了域之間的分佈差異。大量實驗表明，我們的方法在多個大規模基準數據集上實現了與監督模型相當的性能。
特徵圖：方法框架
論文地址：
https://www.aaai.org/Papers/AAAI/2020GB/AAAI-CaoY.3066.pdf
論文二:Grapy-ML：跨數據集人體解析的圖像金字塔相互學習
摘要：
人體解析，因其具有廣泛的潛在應用前景而成為一個研究熱點。在本文中，我們提出一種新的圖金字塔互學習(Grapy-ML)方法來解決標註粒度不同的跨數據集的人體解析問題。從人體層次結構的先驗知識出發，我們將三層圖結構按照粗粒度到細粒度的順序進行疊加，設計出了一個新的圖金字塔模型(GPM)。GPM在每一層都會利用自關注機制對上下文節點之間的相關性進行建模。然後，它採用了自上而下的機制來逐步細化各個層級的特徵。GPM還使得高效的互學習成為可能。具體來說，為了在不同的數據集之間交換所學習到的粗粒度信息，我們共享了GPM前兩級的網絡權值並使用跨數據集的多粒度標籤，使得所提出的Grapy-ML模型可以學習到更具區分性的特徵表示並獲得了最先進的性能。這點在三個流行基準（例如：CIHP 數據集）的大量實驗中得到了證明。源代碼已經對外公開，參見：
https://github.com/Charleshhy/Grapy-ML。
特徵圖：提出的 Grapy-ML 圖
論文地址：
https://arxiv.org/abs/1911.12053
論文三:多元貝葉斯非負矩陣分解
摘要：
由於具有誘導含有語義的基於部位的表示的能力，非負矩陣分解(NMF)已被廣泛應用於各種場景。但是，由於其目標函數的非凸性，部位分解通常不是唯一的，因此可能無法準確地發現數據內在的“部位”。在本文中，我們使用貝葉斯框架來處理這個問題。首先，基於有用部位應該是有區別的且覆蓋性廣的假設，賦予分解中的多個部位多元性先驗，從而來誘導分解部位的正確性。其次，包含這種多元性先驗的貝葉斯框架被建立了起來。該框架得到的分解部位既有極大似然誘導的較高的數據適合度，又有多元性先驗帶來的較高的可分離性。具體來說，多元性先驗通過行列式點過程（DPP）建模，並無縫嵌入到貝葉斯 NMF 框架中。推斷基於蒙特卡洛馬爾可夫鏈（MCMC）的方法。最後，我們通過一個合成數據集和一個用於多標籤學習（MLL）任務的實際數據集-MULAN-展示了該方法的優越性。
特徵圖：提議的架構的圖示
論文地址：
https://www.aaai.org/Papers/AAAI/2020GB/AAAI-QiaoM.5577.pdf
論文四:生成-判別互補學習
摘要：
目前最先進的深度學習方法大多是對給定輸入特徵的標籤的條件分佈進行建模的判別法。這種方法的成功在很大程度上依賴於高質量的帶標籤的實例，此類實例並不容易獲得，特別是在候選類別數量增加的情況下。本文研究了互補學習問題。與普通標籤不同，互補標籤很容易獲得，因為註釋器只需要為每個實例隨機選擇的候選類別提供一個“是/否”的答案。我們提出了一種生成-判別互補學習方法。該方法通過對條件（判別）分佈和實例（生成）分佈的建模，對普通標籤進行估計。我們將該方法稱為互補條件生成對抗網絡(CCGAN)。這種方法提高了預測普通標籤的準確性，並能夠在弱監督的情況下生成高質量的實例。除了大量的實證研究外，我們還從理論上證明，我們的模型可以從互補標記數據中檢索出真實的條件分佈。
特徵圖：模型結構
論文地址：
https://arxiv.org/abs/1904.01612
計算機視覺頂會CVPR 2020將於6月14日-19日在美國西雅圖舉行，今年的論文錄取率降至22.1%（2019年錄取率25.1%，2018年錄取率29.6% ）。雖然論文錄取難度逐年增大，但是優必選悉尼大學人工智能中心在CVPR的成績依舊斐然，後續將會帶來12篇錄取論文的詳細介紹。
