11.25 周志華深度森林新論文；谷歌目標檢測新SOTA

機器之心整理
參與：杜偉、一鳴

本週的論文既有周志華有關深度森林的新論文和Jeffery Dean機器學習進展研究綜述，也有華為和DeepMind的學術之爭。

目錄：

1. Multi-label Learning with Deep Forest
2. Unifying machine learning and quantum chemistry with a deep neural network for molecular wavefunctions
3. The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design
4. CenterMask : Real-Time Anchor-Free Instance Segmentation
5. Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
6. EfficientDet: Scalable and Efficient Object Detection
7. α^α-Rank: Practically Scaling α-Rank through Stochastic Optimisation

論文 1：Multi-label Learning with Deep Forest

• 作者：Liang Yang、Xi-Zhu Wu、Yuan Jiang、Zhi-Hua Zhou
• 論文鏈接：https://arxiv.org/pdf/1911.06557.pdf

摘要：在多標籤學習領域，每個勢力都和多個表現相關聯，因此最重要的任務是如何讓構建的模型學到標籤關係。深度神經網絡通常會聯合嵌入特徵和標籤信息到一個隱式空間，用於發掘表現關係。然而，這一方法能夠成功是因為對模型深度的準確選擇。深度森林是近來基於集成樹模型的深度學習框架，不依賴反向傳播。研究者採用了深度森林算法用於解決多標籤問題。因此，他們設計了 MLDF 方法，包括兩個機制：重複利用度量感知特徵和度量感知層增長。度量感知特徵重複利用機制能夠根據置信度重新使用之前層使用過的好的特徵。而度量感知層增長機制則保證 MLDF 會根據性能瓶頸逐漸提升模型的複雜度。MLDF 同時解決了兩個問題：一個是控制模型複雜度以減少過擬合問題，另一個是根據用戶需求優化性能評價，因為在多標籤學習評價中有很多不同的度量標準。實驗說明，研究者提出的方法不僅在基準測試的 6 個評價標準上勝過了其他方法，還具有多標籤學習中標籤關係發掘和其他不錯的特性。

圖 1：多標籤深度森林算法（NLDF）。每個層集成兩個不同的森林（上部的黑色和下部的藍色）。

度量感知特性重複利用的算法圖示。

度量感知層增長的圖示。

推薦：近日，南大周志華等人首次提出使用深度森林方法解決多標籤學習任務。該方法在 9 個基準數據集、6 個多標籤度量指標上實現了最優性能。

• 作者：K. T. Schütt、M. Gastegger、A. Tkatchenko、K.-R. Müller、R. J. Maurer
• 論文鏈接：https://www.nature.com/articles/s41467-019-12875-2

摘要：通過對基於量子化學計算的化學空間進行大規模探索，機器學習可以促進化學和材料科學的發展。雖然這些機器學習模型可以對原子化學屬性進行快速和準確的預測，但卻無法顯式地捕獲到分子的電子自由度，由此限制了它們對反應化學和化學分子的適用性。在本文中，研究者提出了一種深度學習框架，用於在原子軌道局部基中預測量子力學波函數，進而可以推導出其他基態性質。通過類力場效率下的波函數，這種方法可以繼續完全訪問電子結構，並以一種分析上可微的表徵捕獲到了量子力學。在列舉的幾個例子中，研究者證明這將為針對電子性能優化的分子結構逆向設計提供有前途的方法，併為增強機器學習和量子化學之間的協同提供清晰的發展道路。

量子化學與機器學習的協同。a 表示前向模型，機器學習基於參考計算預測化學性能；b 表示混合模型，機器學習預測波函數。

推薦：本文作者通過一個新穎的深度學習框架，進一步探索了機器學習在量子化學領域的作用，刊登在了《Nature Communications》上。

論文 3：The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design

• 作者：Jeffery Dean
• 論文鏈接：https://arxiv.org/abs/1911.05289

摘要：過去十年我們見證了機器學習的顯著進步，特別是基於深度學習的神經網絡。機器學習社區也一直在嘗試構建新模型，用於完成具有挑戰性的工作，包括使用強化學習，通過和環境進行交互的方式完成難度較大的任務，如下圍棋、玩電子遊戲等。機器學習對算力的需求無疑是龐大的，從計算機視覺到自然語言處理，更大的模型和更多的數據往往能夠取得更好的性能。在摩爾定律時代，硬件進步帶來的算力增長尚且能夠滿足機器學習的需求，但當摩爾定律被榨乾後，怎樣讓硬件中的算力資源被機器學習模型充分利用成了下一個需要探討的問題。

摩爾定律和後摩爾定律時代的計算需求增長態勢，其中自 1985 年至 2003 年，通用 CPU 性能每 1.5 年提升一倍；自 2003 年至 2010 年，通用 CPU 性能每 2 年提升一倍；而 2010 年以後，通用 CPU 性能預計每 20 年才能提升一倍。

AlexNet、GoogleNet、AlphaZero 等重要的機器學習網絡架構以及它們的計算需求增長態勢。

自 2009 年以來，機器學習相關 Arxiv 論文發表數量的增長態勢（藍）和摩爾定律增長率（紅）。

推薦：深度學習和硬件怎樣結合？Jeff Dean 長文介紹了後摩爾定律時代的機器學習研究進展，以及他對未來發展趨勢的預測判斷。

論文 4：CenterMask : Real-Time Anchor-Free Instance Segmentation

• 作者：Youngwan Lee、Jongyoul Park
• 論文鏈接：https://arxiv.org/abs/1911.06667

摘要：在本文中，來自韓國電子通訊研究院（ETRI）的兩位研究者提出了一種簡單卻高效的無錨點實例分割方法，被稱為 CenterMask，該方法將一個新穎的空間注意力導向 mask（SAG-Mask）添加進 anchor-free 單級目標檢測器中（FCOS），後者與 Mask R-CNN 相同。通 SAG-Mask 分支嵌入到 FCOS 目標檢測器中，它可以利用空間注意力地圖來每個框上預測分割掩碼，從而有助於分割掩碼。此外，研究者還展示了一種性能提升的 VoVNetV2，它有以下兩種有效策略：添加殘差連減弱接以緩解更大 VoVNet 的飽和問題；利用有效的擠壓-激勵（effective Squeeze-Excitation，eSE）處理原始 SE 的信息損失問題。藉助於 SAG-Mask 和 VoVNetV2，研究者設計了分別針對大模型和小模型的 CenterMask 和 CenterMask-Lite。其中 CenterMask 的性能優於當前所有的 SOTA 模型，並且速度較這些模型更快；CenterMask-Lite 也實現了 33.4% 的 mask AP 和 38.0% 的 box AP 結果，並在 Titan Xp 顯卡上以 35fps 的速度分別超出了當前 SOTA 模型 2.6% 和 7.0% 的 AP gain。研究者希望 CenterMask 和 VoVNetV2 可以分別作為各種視覺任務上實時實例分割和骨幹網絡的可靠基線。

CenterMask 架構。

CenterMask 與其他方法在 COCO tes-dev2017 數據集上的實例分割和檢測性能對比。

推薦：論文作者稱「CenterMask 的性能優於當前所有的 SOTA 模型，並且速度較這些模型更快」，分割精度也打敗了先前所有的 State-of-the-art！

論文 5：Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model

• 作者：Julian Schrittwieser、Ioannis Antonoglou、Thomas Hubert 等
• 論文鏈接：https://arxiv.org/pdf/1911.08265.pdf

摘要：基於前向搜索的規劃算法已經在 AI 領域取得了很大的成功。在圍棋、國際象棋、西洋跳棋、撲克等遊戲中，人類世界冠軍一次次被算法打敗。此外，規劃算法也已經在物流、化學合成等諸多現實世界領域中產生影響。然而，這些規劃算法都依賴於環境的動態變化，如遊戲規則或精確的模擬器，導致它們在機器人學、工業控制、智能助理等領域中的應用受到限制。最受歡迎的方法是基於無模型強化學習的方法，即直接從智能體與環境的交互中估計優化策略和/或價值函數。但在那些需要精確和複雜前向搜索的領域（如圍棋、國際象棋），這種無模型的算法要遠遠落後於 SOTA。在新的研究中，DeepMind 聯合倫敦大學學院的研究者提出了 MuZero，這是一種基於模型的強化學習新方法。研究者在 57 個不同的雅達利遊戲中評估了 MuZero，發現該模型在雅達利 2600 遊戲中達到了 SOTA 表現。此外，他們還在不給出遊戲規則的情況下，在國際象棋、日本將棋和圍棋中對 MuZero 模型進行了評估，發現該模型可以匹敵 AlphaZero 超越人類的表現，而且，在該實驗中，AlphaZero 提前獲知了規則。

圖 1：用一個訓練好的模型進行規劃、行動和訓練。（A）MuZero 利用其模型進行規劃的方式；（B）MuZero 在環境中發生作用的方式；（C）MuZero 訓練其模型的方式。

表 1：雅達利遊戲中 MuZero 與先前智能體的對比。研究者分別展示了大規模（表上部分）和小規模（表下部分）數據設置下 MuZero 與其他智能體的對比結果，表明 MuZero 在平均分、得分中位數、Env. Frames、訓練時間和訓練步驟五項評估指標（紅框）取得了新的 SOTA 結果。

推薦：DeepMind 近期的一項研究提出了 MuZero 算法，該算法在不具備任何底層動態知識的情況下，通過結合基於樹的搜索和學得模型，在雅達利 2600 遊戲中達到了 SOTA 表現，在國際象棋、日本將棋和圍棋的精確規劃任務中可以匹敵 AlphaZero，甚至超過了提前得知規則的圍棋版 AlphaZero。

論文 6：EfficientDet: Scalable and Efficient Object Detection

• 作者：Mingxing Tan、Ruoming Pang、Quoc V. Le
• 論文鏈接：https://arxiv.org/abs/1911.09070

摘要：在計算機視覺領域，模型效率已經變得越來越重要。在本文中，研究者系統地研究了用於目標檢測的各種神經網絡架構設計選擇，並提出了一些關鍵的優化措施來提升效率。首先，他們提出了一種加權雙向特徵金字塔網絡（weighted bi-directional feature pyramid network，BiFPN），該網絡可以輕鬆快速地進行多尺度特徵融合；其次，他們提出了一種複合縮放方法，該方法可以同時對所有骨幹、特徵網絡和框/類預測網絡的分辨率、深度和寬度進行統一縮放。基於這些優化，研究者開發了一類新的目標檢測器，他們稱之為 EfficientDet。在廣泛的資源限制條件下，該檢測器始終比現有技術獲得更高數量級的效率。具體而言，在沒有附屬條件的情況下，EfficientDet-D7 在 52M 參數和 326B FLOPS1 的 COCO 數據集上實現了 51.0 mAP 的 SOTA 水平，體積縮小了 4 倍，使用的 FLOPS 減少了 9.3 倍，但仍比先前最佳的檢測器還要準確（+0.3% mAP）。

推薦：本文探討了計算機視覺領域的模型效率問題，分別提出了加權雙向特徵金字塔網絡和複合縮放方法，進而開發了一種新的 EfficientDet 目標檢測器，實現了新的 SOTA 水平。

論文 7：α^α-Rank: Practically Scaling α-Rank through Stochastic Optimisation

• 作者：Yaodong Yang、Rasul Tutunov、Phu Sakulwongtana、Haitham Bou Ammar
• 論文鏈接：https://arxiv.org/abs/1909.11628

摘要：作為 DeepMind「阿爾法」家族的一名新成員，α-Rank 有關強化學習，並於今年 7 月登上了《Nature Scientific Reports》。研究人員稱，α-Rank 是一種全新的動態博弈論解決方法，這種方法已在 AlphaGo、AlphaZero、MuJoCo Soccer 和 Poker 等場景上進行了驗證，並獲得了很好的結果。但是，華為的這篇論文指出，DeepMind 的這項研究存在多個問題。研究者認為，如果要復現這篇論文，需要動用高達一萬億美元的算力，這是全球所有算力加起來都不可能實現的。

計算α-Rank 時構造轉換矩陣 T 的花銷成本。這裡請注意，當前全球計算機的總算力約為 1 萬億美元（紅色平面）。投影輪廓線表明，由於α-Rank「輸入」的算力需求呈指數級增長，用十個以上的智能體進行多智能體評估是根本不可能的。

其他的算法也都不可行——在華為研究人員估算下，即使將收益矩陣加入α-Rank 跑 DeepMind 幾個著名算法需要用到的資金花費和時間都是天文數字。注意：在這裡預設使用全球所有的算力。

閱讀更多 機器之心Pro 的文章

關鍵字: 深度 雅達利 人工智能