06.14 DeepMind等機構提出「圖網絡」：面向關係推理

深度學習雖然精於分類，但一直面臨著難以進行關係推理的問題，很多研究希望通過其他方法讓計算機學會「思考」。近日，由 DeepMind、谷歌大腦、MIT 和愛丁堡大學等公司和機構的 27 位科學家共同提交的論文《Relational inductive biases, deep learning, and graph networks》引起了人們的關注。該研究提出了一個基於關係歸納偏置的 AI 概念：圖網絡（Graph Networks）。研究人員稱，該方法推廣並擴展了各種神經網絡方法，併為操作結構化知識和生成結構化行為提供了新的思路。

該論文作者之一，DeepMind 研究科學家 Oriol Vinyals 表示，該研究的代碼也將在近期公開。

論文標題: Relational inductive biases, deep learning, and graph networks

論文地址: https://arxiv.org/pdf/1806.01261.pdf

摘要：人工智能最近經歷了一場復興，在視覺、語言、控制和決策等關鍵領域取得了重大進展。取得這些進展的部分原因是由於廉價的數據和計算資源，它們符合深度學習的天然優勢。然而，在不同壓力下發展起來的人類智力，其許多決定性特徵對於目前的方法而言仍是觸不可及的。特別是，超越經驗的泛化能力——人類智力從幼年開始發展的標誌——仍然是現代人工智能面臨的巨大挑戰。

本論文包含部分新研究、部分回顧和部分統一結論。我們認為組合泛化是人工智能實現與人類相似能力的首要任務，而結構化表示和計算是實現這一目標的關鍵。正如生物學把自然與人工培育相結合，我們摒棄「手動設計特徵」與「端到端」學習二選一的錯誤選擇，而是倡導一種利用它們互補優勢的方法。我們探索在深度學習架構中使用關係歸納偏置如何有助於學習實體、關係以及構成它們的規則。我們為具有強烈關係歸納偏置的 AI 工具包提出了一個新構造塊——圖網絡（Graph Network），它泛化並擴展了各種對圖進行操作的神經網絡方法，併為操作結構化知識和產生結構化行為提供了直接的界面。我們討論圖網絡如何支持關係推理和組合泛化，為更復雜的、可解釋的和靈活的推理模式奠定基礎。

3.圖網絡

本論文提出的圖網絡（GN）框架定義了一類對圖結構表徵進行關係推理的函數。該 GN 框架泛化並擴展了多種圖神經網絡、MPNN 和 NLNN 方法（Scarselli 等，2009a; Gilmer 等，2017; Wang 等，2018c），並支持從簡單的構建模塊建立複雜的架構。注意，這裡避免了在「圖網絡」中使用「神經」術語，以反映它可以用函數而不是神經網絡來實現，雖然在這裡關注的是神經網絡實現。

GN 框架的主要計算單元是 GN 模塊，這是一個「圖到圖」的模塊，以圖為輸入，在結構層面上執行計算，並返回一個圖作為輸出。如 Box3 所示，實體由圖節點表徵，由邊連接，系統級特性由全局屬性表徵。GN 框架的模塊組織強調了可定製性，並能合成可以表達關係歸納偏置的新架構。其關鍵的設計原則是：靈活的表徵；可配置的模塊內部結構；以及可組合的多模塊框架。

舉個例子來比喻 GN 的形式化原則：考慮預測一堆橡膠球在任意引力場中的運動，它們不是互相碰撞，而是通過一個或多個彈簧互相連接。其結構和相互作用對應於 GN 的圖表徵和計算執行。

Box 3:「圖」的定義

這裡我們使用「圖」來表示具有全局屬性、屬性化的定向多圖。在本文的術語中，節點表示為 v_i，邊表示為 e_k，全局屬性表示為 u。我們還使用 s_k 和 r_k 分別表示邊 k 發送節點和接收節點（見下文）的索引。

更確切地說，這些術語定義為:

• 定向：單向邊，從「發送」節點到「接收」節點。
• 屬性：可以編碼為向量、集合甚至其他圖形的屬性。
• 屬性化：邊和頂點具有與其關聯的屬性。
• 全局屬性：圖級屬性。
• 多圖:頂點之間可以有多個邊，包括自邊（self-edge）。

圖3：GN 區塊中的更新。藍色表示正在更新的元素，黑色表示更新中涉及的其他元素（請注意，更新中也使用藍色元素表示前更新值）。有關符號的詳細信息，請參見等式 1。

論文其他圖與表

表 1：標準深度學習組件中的各種關係歸納偏置。詳見論文原文第 2 節。

圖 1：重複使用和共享常見的深度學習構件。（a）全連接層，其中所有權重都是獨立的，沒有共享。（b）卷積層，其中局部核函數在輸入端被多次使用。共享權重由具有相同顏色的箭頭指示。（c）循環層，其中相同的功能在不同的處理步驟中重複使用。

圖 2：不同的圖表徵。（a）一個分子，其中每個原子表示為對應關係的節點和邊（Duvenaud 等，2015）。（b）一個質量彈簧系統，其中繩索由在圖中表示為節點的質量序列定義（Battaglia 等，2016；Chang 等，2017）。（c）一個 n 主體系統，其中主體是節點，底層圖是完全連接的（Battaglia 等，2016 年；Chang 等，2017）。（d）一個精密的主體系統，其中球和壁是節點，底層圖形定義球之間以及球和壁之間的相互作用（Battaglia 等，2016 年；Chang 等，2017）。（e）一個句子，其中單詞對應於樹中的葉子，其他節點和邊可以由解析器提供（Socher 等，2013）。或者，可以使用完全連接的圖（Vaswani 等，2017 年）。（f）一張圖像，可以分解成與完全連接圖像中的節點相對應的圖像塊（Santoro 等，2017；Wang 等，2018）。