AI 科技評論按：本文是 Sebastian Ruder 博客中的最新發文，他彙總了專家調查結果以及 Deep Learning Indaba 小組討論結果，著重於探討 NLP 領域當下最棘手的 4 個問題。雷鋒網 AI 科技評論將其編譯如下。
這是我某主題系列文章的第二篇撰文，該主題系列擴充了 Deep Learning Indaba 2018 由 Herman Kamper、Stephan Gouws 和我組織的「自然語言處理前沿」小組討論結果。
小組討論 PPT：
https://drive.google.com/file/d/15ehMIJ7wY9A7RSmyJPNmrBMuC7se0PMP/view
小組討論 錄音：
https://www.youtube.com/watch?v=sGVi4gb90zk&feature=youtu.be&list=PLICxY_yQeGYlcjO6ANCXworXHGC6hHXjA&t=3649
上一篇文章我寫了基於神經網絡方法的 NLP 最新進展，這一篇我準備談一談 NLP 領域所面臨的棘手問題。
在 Indaba 召開的前幾周，我們向 NLP 專家們提出了一些簡單卻很關鍵的問題，最後根據他們的回覆，我們發現以下 4 個問題被頻頻提起：
自然語言理解
NLP 在低資源狀態下的運用
大型或多個文件的推理任務數據集、問題、評估
會議中，我們在小組討論環節對這些問題進行了探討。
本文主要基於專家的答覆（非常值得一讀）以及小組成員（Jade Abbott、Stephan Gouws、Omoju Miller 和 Bernardt Duvenhage）的討論結果撰寫而成，目的是為更多對此感興趣的人提供更多的論據。
小組成員
自然語言理解
「我認為最關鍵的開放性問題都與自然語言理解有關。我們應該開發出一個能夠以人類方式閱讀和理解文本的系統，它懂得如何形成文本表徵，通過一切人類創造來理解文本的媒介：代理、對象、設置、關係、目標、願望等。在做到這一點之前，我們的一切進步都只是在提高系統進行模式匹配的能力。」
- Kevin Gimpel
調查中的許多專家都認為自然語言理解（NLU）是其中最核心的問題，因為它是許多任務（如自然語言生成（NLG））的先決條件。大家的共識是，我們目前沒有一個模型表現出對自然語言的「真實」理解。
先天偏見 v.s 從頭學習
一個關鍵問題是，什麼樣的偏見和結構需要被明確地構建到模型當中，以保證接近 NLU 的效果？在 2018 年 NAACL 大會的一場綜合研討會也探討了類似的問題，當時 Ana Marasovic 對 The Gradient 給出了自己的意見，而我則在此提出我的想法。在我們的調查中，我們發現許多專家的回覆都在強調模型應該包含基本常識，同時多次提到了對話系統和聊天機器人。
另一方面，對於強化學習，David Silver 認為大家最終還是希望模型能夠自行習得所有東西，包括算法、特徵及預測等。然而許多專家卻持有截然不同的觀點，他們認為應該在模型中建立起一套理解機制。至於應該讓模型學習什麼以及用什麼方法進行學習，Yann LeCun 和 Christopher Manning 在 2018 年的 2 月份對此有過一番爭論。
程序合成
Omoju 認為，只要一日沒搞懂支持 NLU 的實際運行和評估機制，我們很難創造出真正的機器理解機制。她認為我們可以考慮從程序合成裡獲取靈感，並基於高級的規範進行程序學習。需要補充的是，該想法與神經模塊網絡和神經程序員解釋器有很大的關聯。
她也建議，我們可以回顧那些在 80、90 年代開發出來的方法和框架（如 FrameNet），將之與統計方法進行結合。這有助於我們推斷目標對象的常識屬性，例如汽車是不是交通，有沒有手柄等。針對常識性知識的推斷已經成為近期 NLP 數據集的研究熱點。
體驗式學習
Stephan 認為我們應該利用好結構化資源和知識庫中的信息（比如維基數據），他指出，人類通過體驗和互動來學習一門語言，主要體現在具體的環境當中。有人可能會因此爭辯，只要將某個學習算法與嵌在豐富環境中的代理進行結合，並配置合適的獎勵結構，就能從頭開始學習並提升至 NLU 的效果。然而他們忽略了這種環境對計算力的要求。比如 AlphaGo 就需要龐大的基礎設施來完成棋盤遊戲的運算。總的來說，創建一個具有持續學習能力的通用算法，很多時候與終身學習和通用問題求解器息息相關。
雖然很多人認為我們正朝著體驗學習的方向發展，但我們不該低估創建完整體驗代理所需要的基礎設施和計算力。因此，等待一個成熟體驗代理的出現然後進行語言學習似乎不是一個明智的想法。即便如此，我們依然可以採取一些措施來儘可能逼近這種設想，比如在模擬環境中進行基礎語言學習、結合交互學習或者利用多模態數據。
情感
在會議快結束時，Omoju 提出，將情感相關的元素植入到體驗代理會是一件非常困難的事情。然而不能否認的是，情感與對語言的深度理解有著千絲萬縷的關係。另一方面，我們也許不需要一個具有人類情感的代理。Stephan 提到被大家認為是擬態和反社會的圖靈測試——雖然沒有情感——卻可以欺騙人們認為他們確實這樣做了。因此，我們有望找到一個不具備體驗經歷和情感，卻能理解人們情感並幫助問題解決的方案。實際上，基於傳感器的情緒識別系統一直在不斷改進，而且我們也看到了文本情緒檢測系統的進步。
認知與神經科學
一位觀眾提問，我們掌握了多少的認知與神經科學，多少被運用到了模型的建設中？實際上，認知與神經科學可以很好地激發我們的靈感，同時能作為思維塑造的指導方針。比如當下有一些模型就在試圖仿擬人類快速與慢速思考的能力。換句話說，人工智能與神經科學在許多方面是互補的，正如 Surya Ganguli 在這篇文章中所說的那樣。
文章鏈接：
https://hai.stanford.edu/news/the_intertwined_quest_for_understanding_biological_intelligence_and_creating_artificial_intelligence/
Omoju 同時建議大家從認知科學的理論中去獲取靈感，比如 Piaget 和 Vygotsky 的認知發展理論。她還敦促大家開展跨學科工作。這項提議得到了其他專家的熱烈響應，Felix Hill 就建議大家多參加認知科學領域的會議。
NLP 在低資源狀態下的運用
「如何處置低資源語言【低資源語言、方言（含社交媒體文本「方言」）、域名等】，似乎看起來不像是一個完全「開放」的問題，因為我們會經常聽到很多解決方法的提出；事實上，我們在這個問題上一直沒有通用的解決方案。」
- Karen Livescu
會上探討的第二個主題是如何在低資源情景下基於訓練數據進行模型訓練。第一個問題主要集中在是否有必要為特定語言開發專門的 NLP 工具，還是說通用 NLP 工具的效果已經是綽綽有餘。
通用語言模型
Bernardt 認為，不同語言之間存在普遍的共性，可以通過一個通用的語言模型來進行訓練。關鍵挑戰是，如何獲取足夠的數據量和計算力來訓練這麼一個模型。近期的跨語言 Transformer 語言模型訓練和跨語言句子嵌入工作就與此密切相關。
跨語言表徵
Stephan 強調，當下只有很小一部分人在進行低資源型語言的研究工作，而僅在非洲，就存在 1250-2100 種語言，其中大部分只獲得 NLP 社區的極少關注。專用工具的開發問題，主要取決於當下熱門的 NLP 任務。當前模型主要存在的是樣本效率問題。跨語言嵌入具有更好的樣本使用效率，因為它只需要翻譯單詞或者單詞數據。它們充分對齊了單詞嵌入空間，以完成類似主題分類這種粗粒度的任務，然而對於類似機器翻譯這種細粒度的任務，就無能為力了。無論如何，近期的工作表明，這些嵌入已經成為無監督機器翻譯的重要組成部分。
另一方面，處理高級任務的複雜模型（如問答）需要數千個用於學習的訓練案例。將那些需要動用到自然語言理解能力的任務從高資源型語言遷移到低資源型語言，仍然非常具有挑戰性。隨著這類型任務的跨語言數據集的出現（如 XNLI），針對多種推理任務的跨語言模型的開發有望變得更容易。
收益和影響
另一個重要的問題是，由於低資源型語言本身只有少量文本可供使用，在這種情況下是否意味著 NLP 從中獲取的好處很有限。Stephan 對這種說法表示強烈反對，他提醒，身為一名 ML 和 NLP 從業者，我們通常傾向於以信息論的方式來看待問題，比如最大化我們的數據或者改進基準線。退一步來說，我們之所以選擇投身 NLP 任務，一個關鍵原因是希望能構建出一個無障礙的任務解決系統，比如建立一個能使人們閱讀並非自身語言寫成的新聞的模型，在醫生資源匱乏的情況下向模型諮詢有關自身的健康問題等。
鑑於其潛在影響，他認為低資源型語言系統的構建實際上是很重要的工作之一。雖說低資源型語言不具備大量數據可供使用，然而卻具有「長尾效應」——地球上的很大一部分人群都在說著資源匱乏型語言。因此，我們需要儘快找到能在這種條件下發揮作用的系統。
Jade 認為，一直專注於研究具有大量數據的語言是一件很諷刺的事情，因為這些語言在世界各地存在完備的教學系統，我們更應該將研究重心放在低資源型語言上。Indaba 會議做得很好的一點是，有效推動了低資源型語言研究工作的進步。由於數據的稀缺性，即使研發出的只是很簡單的系統（比詞袋），也會對世界產生巨大的影響。現場觀眾 Etienne Barnard 指出，他在語音處理領域觀察到一個很有意思的現象：相較於使用自身語言的系統，用戶通常更有動力使用英語系統，前提是該英語系統能夠對自身語言起作用。
激勵與技能
另一名觀眾表示，人們在高度可見的基準線上開展測試會感到被激勵，例如英語轉德語的機器翻譯，然而這份激勵在低資源型語言的工作中是不存在的。Stephan 認為，問題尚未被解決就是最好的激勵。無論如何，人口統計學尚無法提供技能來解決這些問題。我們應該注重傳授類似機器翻譯等技能來讓人們用於解決問題。遺憾的是，學術界的進展很多時候不一定和低資源型語言相關。不過，跨語言基準一旦變得日益普遍，就有望推動低資源型語言研究取得更多進展。
數據可利用性
最後 Jade 強調，另一個大問題是低資源型語言沒有可用的數據集，例如非洲的一些語言。如果我們能夠創建出數據集並對外開放（例如在 openAFRICA 上進行託管），將能夠激勵更多人投入到相關研究裡來，同時還降低了研究門檻。一般來說，只要提供多種語言的測試數據就足夠了，這將有助於我們評估跨語言模型並跟蹤其研發進度。另一個關鍵的數據源來自於南非數字語言資源中心（SADiLaR），該中心可以提供許多南非的語言資源。
大型或多個文件的推理任務
「有效地表徵大型文件。我們目前的模型主要基於遞歸神經網絡，這也就意味著無法高效表徵較長的文本。圖形啟發的 RNN 工作流很被看好，雖然其只有適度改進，並且由於比 vanilla RNN 更加不適應於直接訓練而沒有被廣泛採用。」
– Isabelle Augenstein
另一個關鍵問題是大型或多個文件的推理任務。近期的 NarrativeQA 數據集作為該任務的基準線就是一個絕佳案例。針對大型文件的推理任務與 NLU 密切相關，需要我們大幅擴展當前系統的能力，直到能夠閱讀整本書籍和電影腳本為止。然而這裡存在一個問題是（當時我們沒有時間對此展開討論），我們究竟是需要一個更好的模型，亦或是需要更多的數據進行訓練即可。
OpenAI Five 的成果表明，只要有更多的數據和計算力，模型的潛力將超出我們想象。擁有足夠的數據量，我們的模型能在大型文件的處理上表現更好。問題在於，針對大型文件的監督學習不但稀缺，而且昂貴。當然我們也可以參照語言建模和 skip-thoughts，構思出一個針對文檔無監督學習任務，以預測書的下一段或下一章節，甚至是決定下一章節內容的出現順序。然而不可否認的是，這個方法也許過於低效了，無法從中學習到真正有用的表徵。
因此，一個更靠譜的方向，應該是是開發出一個能夠高效表徵文件、同時在閱讀文檔時更好跟蹤相關信息的方法。skip-thoughts 和 multi-document question answering 是這個方向上的代表。接下來，我們可以考慮創建具有改進記憶和終身學習能力的語言模型。
數據集、問題、評估
「也許我們所面臨的最大問題是如何正確定義問題本身。恰當地定義問題，就是建立適合於衡量實現具體目標的數據集和評估程序。如果能夠減少類似 Kaggle 這種風格的比賽，情況會比現在更樂觀一些！」
- Mikel Artetxe
我們沒有太多時間討論關於當下基準和評估機制的問題，但您可以在調查回覆中找到許多相關的答案。
調查回覆鏈接：
https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit
最後一個問題是，哪些是非洲社會應該著重解決的 NLP 問題。Jade 認為是資源匱乏的問題，尤其是教育領域的翻譯工具，要使當地人能夠以自身語言觸達他們想知道的事情。
會議以專家的調查回覆內容收尾，涉及的問題包括「如果出現某些事情導致領域走向錯誤的方向，應該怎麼辦？」、「對於即將開始一項新項目的 NLP 研究生，你有什麼建議給到他們？」等嗎，這些同樣可以在調查結果中找到對應的答案。
調查回覆鏈接：
https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit#
附錄：Deep Learning Indaba 2019
如果您對低資源型語言的研究感興趣，可以考慮參加 2019 年 8 月 25 日至 8 月 31 日在肯尼亞內羅畢舉行的 Deep Learning Indaba 2019。
via http://ruder.io/4-biggest-open-problems-in-nlp/
點擊閱讀原文，查看練手|常見30種NLP任務的練手項目
閱讀更多 AI科技評論 的文章
