riogarfield
一般而言，深度學習是無法做因果推理的。但這並不表示我們應該拋棄深度學習，而近期已經出現了對應的解決方案，我們簡單介紹一下。
前段時間，貝葉斯之父Judea Pearl在採訪中就表示，AI 深陷於概率關聯的泥潭，而忽視了因果。Pearl 認為研究者應該研究因果（Cause and Effect），這可能是實現真正智能的機器的可能路徑。
受到 Judea Pearl 的啟發，Ferenc Huszár 發表博客，從觀察和干預數據分佈（對應監督學習和因果推理）的區別和聯繫出發，闡述了他對因果推理在機器學習中的意義的看法。他指出因果推理是深度學習的必要補充，而不是作為其對立面，必須在兩者中取其一舍其一。在概率關聯我們無法知道一個變量對另一個變量是否有可操作的關係，也就是“如果我們做了什麼會發生什麼”。因果推理正是對此的補充。
壓力計和容器壓力存在相關關係，但用手撥動壓力計並不能改變容器的實際壓力，而改變容器壓力卻可以改變壓力計的示數。如上圖所示，相對於觀察的變量分佈，因果模型比觀察分佈包含更多的細節。模型中的箭頭對應於假設的因果關係方向，沒有箭頭表示變量之間沒有直接的因果關係影響。因果圖到觀察分佈的映射是多對一的：幾個因果圖與同一個聯合分佈對應。因此，通常不可能僅通過觀察數據在不同的因果解釋之間作出結論性選擇。這裡，容器壓力指向壓力計示數就是兩個變量的觀察分佈的其中一個因果圖，而反向關係是不成立的。
實際上，數據驅動（深度學習）和規則推理（因果推理）正是AI研究領域的兩個極端。在解決具體問題的時候，兩者可以起到互補的作用。
在這一方面，DeepMind也進行了比較廣泛的探索，我們這裡簡單介紹兩篇相關的論文。
論文：Relational Deep Reinforcement Learning
論文鏈接：https://arxiv.org/abs/1806.01830
摘要：在本文中，我們介紹了一種深度強化學習方法，它可以通過結構化感知和關係推理提高常規方法的效率、泛化能力和可解釋性。該方法使用自注意力來迭代地推理場景中實體之間的關係並指導 model-free 策略。實驗結果表明，在一項名為「方塊世界」的導航、規劃新任務中，智能體找到了可解釋的解決方案，並且在樣本複雜性、泛化至比訓練期間更復雜場景的能力方面提高了基線水平。在星際爭霸 II 學習環境中，智能體在六個小遊戲中達到了當前最優水平——在四個遊戲中的表現超越了大師級人類玩家。通過考慮架構化歸納偏置，我們的研究為解決深度強化學習中的重要、棘手的問題開闢了新的方向。
關係性強化學習
RRL 背後的核心思想即通過使用一階（或關係）語言 [8, 9, 17, 18] 表示狀態、動作和策略，將強化學習與關係學習或歸納邏輯編程 [16] 結合起來。從命題轉向關係表徵有利於目標、狀態和動作的泛化，並利用早期學習階段中獲得的知識。此外，關係語言還有利於使用背景知識，而背景知識同時也可以通過與學習問題相關的邏輯事實和規則提供。
例如在「方塊世界」的遊戲中，當指定背景知識時，參與者可以使用述語 above(S, A, B) 表示狀態 S 中方塊 A 在方塊 B 的上面。這種述語可以用於方塊 C 和 D 以及其它目標的學習中。表徵性語言、背景和假設形成了歸納性偏置，它能引導並限制智能體搜索良好的策略。語言（或聲明性）偏置決定了概念的表現方式。
神經網絡傳統上就與屬性-值、命題性以及強化學習方法 [19] 聯繫在一起。現在，研究者們將 RRL 的核心思想轉化為深度 RL 智能體中結構化指定的歸納偏置，他們使用神經網絡模型在結構化的情景表徵（實體集合）上執行運算，並通過迭代的方式進行關係推理。其中實體對應著圖像的局部區域，且智能體將學習注意關鍵對象並計算他們成對和更高階的交互。
論文: Relational inductive biases, deep learning, and graph networks
論文地址: https://arxiv.org/pdf/1806.01261.pdf
摘要：人工智能最近經歷了一場復興，在視覺、語言、控制和決策等關鍵領域取得了重大進展。取得這些進展的部分原因是由於廉價的數據和計算資源，它們符合深度學習的天然優勢。然而，在不同壓力下發展起來的人類智力，其許多決定性特徵對於目前的方法而言仍是觸不可及的。特別是，超越經驗的泛化能力——人類智力從幼年開始發展的標誌——仍然是現代人工智能面臨的巨大挑戰。
本論文包含部分新研究、部分回顧和部分統一結論。我們認為組合泛化是人工智能實現與人類相似能力的首要任務，而結構化表示和計算是實現這一目標的關鍵。正如生物學把自然與人工培育相結合，我們摒棄「手動設計特徵」與「端到端」學習二選一的錯誤選擇，而是倡導一種利用它們互補優勢的方法。我們探索在深度學習架構中使用關係歸納偏置如何有助於學習實體、關係以及構成它們的規則。我們為具有強烈關係歸納偏置的 AI 工具包提出了一個新構造塊——圖網絡（Graph Network），它泛化並擴展了各種對圖進行操作的神經網絡方法，併為操作結構化知識和產生結構化行為提供了直接的界面。我們討論圖網絡如何支持關係推理和組合泛化，為更復雜的、可解釋的和靈活的推理模式奠定基礎。
圖網絡
本論文提出的圖網絡（GN）框架定義了一類對圖結構表徵進行關係推理的函數。該 GN 框架泛化並擴展了多種圖神經網絡、MPNN 和 NLNN 方法（Scarselli 等，2009a; Gilmer 等，2017; Wang 等，2018c），並支持從簡單的構建模塊建立複雜的架構。注意，這裡避免了在「圖網絡」中使用「神經」術語，以反映它可以用函數而不是神經網絡來實現，雖然在這裡關注的是神經網絡實現。
GN 框架的主要計算單元是 GN 模塊，這是一個「圖到圖」的模塊，以圖為輸入，在結構層面上執行計算，並返回一個圖作為輸出。如 Box3 所示，實體由圖節點表徵，由邊連接，系統級特性由全局屬性表徵。GN 框架的模塊組織強調了可定製性，並能合成可以表達關係歸納偏置的新架構。其關鍵的設計原則是：靈活的表徵；可配置的模塊內部結構；以及可組合的多模塊框架。
舉個例子來比喻 GN 的形式化原則：考慮預測一堆橡膠球在任意引力場中的運動，它們不是互相碰撞，而是通過一個或多個彈簧互相連接。其結構和相互作用對應於 GN 的圖表徵和計算執行。
Box 3:「圖」的定義
參考文獻：
https://www.quantamagazine.org/to-build-truly-intelligent-machines-teach-them-cause-and-effect-20180515/
http://www.inference.vc/untitled/
機器之心Pro
這個題目牽制的因果問題。就圍繞這個題目說一說。人為什麼要學習要研究精神體，說白了就是基因“靈魂”，靈魂轉世是牽著因果關係。盧梭說：“人類的各種知識中，最有用而又最不完備的就是關於人的知識。”現代科學誕生幾百年來，吉利中上以實驗室檢驗為基礎特徵的試驗原則，甚至產生了絕對，凡是符合實證原則的東西都被認為是科學的，凡是無法經過實證原則檢驗的東西都不能被認為是科學都不能被認為是一個客觀存在。科學工作者對精神體以及精神體在是等，無法進行實證檢驗和重複驗證的重大課題無可奈何的選擇了迴避。
無論任何事物，一旦產生了絕對，必然走向阻礙事情發展的反面，實證原則也不例外。
任何科學規範都有一個適應範圍，任何科學原理都有一個適用對象。現代科學祟尚的實證原則，也必然有適用範圍和適用對象就是現代科學本身，它屬於地球文明的範疇。而人的精神體來源於宇宙人和史前人，精神體在世等問題是宇宙人、史前人和地球現代人的結合，屬於宇宙文明和地球文明的交匯。因而至少在現階段，如果絕對崇尚實證，就會陷入難實證論，那就會犯絕對主義和形而上學的錯誤，就會阻礙人的探索，阻礙人們認識宇宙、認識世界、認識自身的進程。將來，隨著人們思想的解放，隨著研究地逐步深入，在定性的階段結束以後，必然會迎來定量的階段，到了那個時候，是可以獲得實證的。
幾百年來，無論在東方還是在西方，無論在資本主義制度下還是社會主義制度下，都有一些科學家因為涉及精神體研究這類無法應用實證原則去證實的領域，而被主流意識和主流科學扣上有神論或“偽科學”的大帽子，一些科學家的科學晚節因而被懷疑、被否定，甚至有些科學家的科學道德也遭到了質疑，人格尊嚴遭到了踐踏。這種現象歸根結底是人類追求真理、追求自我解放過程中必然要經歷的一個階段。
研究精神體現象的基本動因。在人類認識領域，對精神體認識呈現出三個特徵：第一，唯物論和無神論在傾盡全力地否定這個事物。第二，唯心論和有神論在不遺餘力地肯定這個事物。第三，自詡高於一切的現象科學對這個問題始終投鼠忌器、視而不見。
在主流科學領域裡，在主流意識領域裡，對這個問題人們紛紛諱莫如深，甚至談虎色變，避之唯恐不及。
西方世界的社會主流意識，是以基督教和有神論為基礎的。“靈魂”作為宗教和有神論思想的核心之一，顯然是不能被根本觸及、不能被根本懷疑、不能被根本否定的，或者至少在理論上是這樣。希冀由西方人去唯物地、科學地揭示人的生命結構、揭示人的精神體的客觀存在，只能是不切實際的幻想。
在社會主義條件下，社會主義主流意識以馬克思主義和無神論思想佔據統治地位，不應該害怕或阻止對這個問題的研究，應該解放思想、實事求是，從實際出發，從客觀存在著的事實出發，對這個問題作出科學的，唯物的、全面的、認真的詮釋，這是共產黨人和一切唯物主義者自信心的表現。精神體即“靈魂”問題不應該成為不可逾越的雷池，應該成為中國的唯物主義者必須認真思考和嚴肅對待的問題，關係到鞏固唯物主義和無神論的思想基礎，關係到人們樹立堅定的共產主義理念信念。因此，揭示人的生命構成的歷史任務，揭開精神體即“靈魂轉世”物質內涵的歷史任務，必然有中國唯物論者和中國共產黨人來承擔。
世界上的任何事物都不是絕對的，無論任何事物，一旦產生了絕對，就必然走向事物的反面。可是，我們對待“神明”的問題，長期以來，卻不自覺的堅持了絕對否定的態度，導致了對“神明”和“神秘”現象的研究成為絕對禁區。顯然，我們已經陷入了自相矛盾的境地，但對於這個矛盾通常並不自知。現代科學的“唯實證論”為這個矛盾現象提出了令人表面滿足的根據，往往使得人們得過且過。由此帶來了唯物主義的不徹底性，導致了一些唯物主義者在遇到宇宙人和史前人物誌活動形成的所謂“神秘”現象時，那麼視而不見繞道躲開走，要麼在內心深處受到強烈震撼經過苦苦掙扎以後，逐步地深陷其中不能自拔。當遭遇到包括“靈魂”和“轉世”在內的許多“神秘”現象的時候，一些“唯物主義者”在內心深處面臨的往往是軟弱無力的掙扎，最終的掙扎結果，往往是無神論不能戰勝有神論、唯物論不能戰勝唯心論。這就是宇宙人和史前人的力量遠遠大於我們現代人類的力量的證明。
揭示人的精神體的客觀存在和精神體再世，是適應人類進步21世紀以後經濟、社會、科學和文化發展要求的一個歷史性的發現，這是時代進步和思想發展的必然結果，是歷史賦予我們的任務。我們的時代是信仰自由的時代，也是科學大發展的時代，因而必然也是思想大發展的偉大時代。
“萬物負陰而抱陽”，任何事物的發展總是有正反兩個方面，並在正反兩個方面既統一又鬥爭的矛盾運動中，不斷的得到發展。人類認識的發展也是這樣。當時代發展需要遏制有神論的利器的時候，這樣的利器便生產了，當時代發展需要為無神論者和有神論者、唯物論者和唯心論者提供共同真理的時候，這樣的真理便生產了，當人類歷史的發展呼喚具有普世價值的真理的時候，這樣的處世真理便生產了。這是時代發展的必然，是人類進步的必然。
是我們的時代催生了嶄新的思想，是思想解放孕育瞭解放的思想。新的思想必然會以他的巨大成就和社會的突出貢獻，回報我們的時代，回報我們的祖國和民族，進而回報整個人類。這就是學習因果推理法的學習方式，瞭解發展過程也得了解基因轉世的因果關係，也就是全面性的過程學習方式。希望理解。謝謝！
AAAET
深入思考凡事皆因果，只是人不去思考，認為都是巧合的過程罷了！
一夢千年137728258
最簡單地說，DL學到的是多因素聯合分佈，推理需要的是將聯合分佈分解成因子結構，即多個簡單條件概率的乘積，同時明確各個因子的可解釋性，而當前的DL難以解釋各因素意義，基本是個黑盒子，不是說不能而是需要變革。
Aimanooooo
深度學習是因果之墳墓
