機器之心專欄
本文是香儂科技對斯坦福大學計算機系助理教授、斯坦福人工智能實驗室成員 Percy Liang的專訪，主要討論了 Percy Liang 教授在NLP領域的研究、個人經歷等。
斯坦福大學計算機系助理教授、斯坦福人工智能實驗室成員 Percy Liang 主要研究方向為自然語言處理（對話系統，語義分析等方向）及機器學習理論，他與他的學生合作的論文剛剛獲得 ACL 2018 短論文獎，其本人亦是 2016 年 IJCAI 計算機和思想獎（Computers and Thought Award）得主。Percy 的團隊推出的 SQuAD 閱讀理解挑戰賽是行業內公認的機器閱讀理解標準水平測試，也是該領域的頂級賽事，被譽為機器閱讀理解界的 ImageNet（圖像識別領域的頂級賽事）。參賽者來自全球學術界和產業界的研究團隊，包括微軟亞洲研究院、艾倫研究院、IBM、Salesforce、Facebook、谷歌以及卡內基 · 梅隆大學、斯坦福大學等知名企業研究機構和高校，賽事對自然語言理解的進步有重要的推動作用。
香儂科技：SQuaD (The Stanford Question Answering Dataset) 在推進機器閱讀理解和問答領域非常成功。然而，除了可以被 NLP 研究者用來開發更好的閱讀理解系統，你認為這個數據集是否潛藏著其他機會？
圖 1. SQuaD 中的樣本舉例
Percy：雖然 SQuaD（實際上，任何閱讀理解數據集）名義上都是關於閱讀理解的，但我認為它們可以有兩個方面更廣泛的影響：第一，數據集鼓勵人們開發新的通用模型。例如，神經機器翻譯產生了基於注意力的模型，這在機器學習領域裡如今已成為最常見的模型之一。第二，在一個數據集上訓練的模型對其他任務是有價值的。例如，在 ImageNet 上訓練卷積神經網絡，模型會學習到可用於各種視覺問題的通用圖像特徵。SQuaD 所帶來的影響與上面列出的兩個例子類似（儘管可能不及它們那麼大）。SQuaD 已經達到了極限，因為多個系統已經超過了這個數據集上的人類水平。但是，正如 Robin Jia 和我在 EMNLP 2017 的一篇論文中所展示的那樣，這樣的系統可以很容易地被對抗樣本所愚弄，在即將到來的 ACL 2018 中，我們有一篇論文將發佈 SQuaD 2.0，它包含 5 萬個額外的問題，它們看起來像是有答案的問題，但實際上沒有答案。希望這樣一個新的數據集，與最新層出不窮的其他數據集（例如，RACE、TriviaQA 等）的出現，將有助於推動該領域的進步。
香儂科技：過去您和您的學生已經做了許多非常有影響力的關於人工智能安全的工作（Raghunathan et al. ICLR 2018，Steinhardt et al. NIPS 2017）。同時，您還對神經網絡的可解釋性進行了研究，包括 Koh et al., ICML 2017 最佳論文)。您認為提高深度神經網絡的解釋性有助於解決人工智能的安全問題嗎？為什麼？
Percy：到目前為止，人工智能研究的主要驅動力一直是獲得預測更準確的模型。但是，最近可解釋性和魯棒性 / 安全性的問題得到了更多的關注，我認為這是特別重要的，因為機器學習現在的很多應用往往涉及生命安全，非同兒戲。如自主駕駛、醫療保健等。然而，可解釋性和魯棒性是模糊的術語，人們對它們並沒有統一的定義。在這一點上，我認為仍然有許多概念性工作要做，使這些術語形式化，這樣人們才可以做出可量化的進步。我們已經通過使用影響函數（influence functions，Koh et al. ICML 2017）和半定鬆弛（Raghunathan et al. ICLR 2018）在形式化這些術語方面取得了一些初步的進展，而這兩種方法都是統計和優化的經典工具。我認為機器學習仍然是一種「雛形」階段；它距離成為一個成熟的工程學科還有一段路程要走。
香儂科技：您的許多自然語言處理研究與人類語言處理有著密切的聯繫（例如，Wang et al., ACL 2016 傑出論文獎：通過人機交互使機器從零開始學習語言，He et al. ACL 2017: 通過學習動態知識圖譜嵌入來構建對稱合作型聊天機器人）。您認為理解人類語言處理在何種程度上會幫助我們建立更好的機器語言處理系統？
圖 2. Wang et al. ACL 2016 中的 SHRDLURN 語言遊戲。機器需通過與人交互從零開始學習語言。
Percy：的確，我們有很多情況下利用眾包或直接讓模型與人類交互來學習語言，這是因為從根本上講，語言是關於與人的交流的。有時候，我覺得這一點在 NLP 社區中是缺失的。現在大部分的工作都是基於大數據的任務——機器翻譯、問答、信息提取。這與人類如何通過語言來學習新的知識能力，和完成任務有很大的不同。我認為，理解語言的目的不是簡簡單單地模仿人類。而是，如果我們想要建立可以與人類互動的系統，這些系統從根本上需要理解人類是如何思考和行動的，至少是在行為層面上。溝通和語言並不僅僅是關於詞語，而是關於詞語背後的個體和他們的目標。
香儂科技：正如您在您的網站上提到的，您是一個強烈支持高效和可重複性研究的人。您一直在致力於開發 CodaLab Worksheets，這是可以使研究人員完整記錄一個實驗從原始數據到最終結果的全過程的平臺。您認為在機器學習中可重複性研究的最大障礙是什麼？我們應該怎麼突破它們？
圖 3. CodaLab 工作原理。詳情見 CodaLab 官方網站：https://worksheets.codalab.org/。
Percy：可重複性在所有科學領域都是一個巨大的問題，人工智能也不例外，雖然我認為作為人工智能研究者，我們真的沒有任何藉口——這一切只是在數據上跑代碼。這個領域確實在開放代碼和數據上有了很大的進步，但是往往代碼和數據是不足以再現一篇論文的結果的，因為代碼是如何運行的可能沒有被記錄下來。CodaLab 通過跟蹤代碼實際執行的整個過程，可以保證最終結果是由該代碼和數據產生的。我們試圖使 CodaLab 儘可能方便易用——人們可以使用任何編程語言、數據格式等。然而，挑戰仍然存在：人們還沒有足夠的動力去達到這種程度的可重複性。即使大家都知道，這樣其實是更好的，因為存在網絡效應——如果每個人都是用 CodaLab 來達到更高的可重複性，那麼在別人的工作基礎上開發自己的模型就會容易得多，而且研究的速度也會大大加快。我認為這一切只是時間的問題。
香儂科技：在加入斯坦福大學之前，您從加州大學伯克利分校獲得博士學位，並在谷歌做過一段時間博士後。作為一個機器學習的研究者，您的思維方式是如何隨著時間的推移而改變的？
Percy：當我讀博士的時候，我非常喜歡機器學習的建模、算法和分析。但是我意識到即使是很強的算法也是有侷限性的：你會看到系統所犯的錯誤，然後你意識到如果只有一個固定的數據集你可能就是做不出來最完善的算法。後來我在斯坦福大學的時候（也是部分源於我在谷歌的時間的影響），我開始將數據 - 建模兩件事放在一起思考。儘管人們可能認為不存在數據短缺的問題（畢竟，這不是大數據時代嗎），事實上，擁有大量的好用的數據仍是一個挑戰。我們已經提出了許多能夠改變這一問題的方法（例如，在 Wang et al., ACL 2015 中，我們有一篇論文研究瞭如何通過讓人們改述句子而不是註釋邏輯形式的方式來構建語義分析器）。把數據和建模放在一起思考可以拓寬解決方案的各種可能，讓你更有創造力。
圖 4. 通過讓人們改述句子而不是註釋邏輯形式的方式來快速構建語義分析器（圖片來源於 Wang et al., ACL 2015）。
香儂科技：作為一個機器學習的研究者，您認為最令人興奮的是什麼事情？
Percy：研究機器學習使你既能思考潛在的數學原理，又能思考如何對社會產生真正的積極影響。
香儂科技：作為一個機器學習的研究者，您認為最令人沮喪的是什麼事情？
Percy：有時你只是在黑暗中探險。你看到一個系統的錯誤，你會做一些試圖修復它們的事情，然而並沒有什麼改進。在某種意義上，當你不理解一個東西的內在機制時，你才會使用機器學習，因為這個東西的機制太複雜了（不然的話你就直接寫一個程序了）。
香儂科技：剛進入 NLP 領域的學生來說，該如何培養對於科研項目的品味？
Percy：學習基本原理並廣泛閱讀，尤其是在 NLP 和 AI 之外，你永遠不知道從編程語言、語言學、認知科學、優化、統計學中得到的想法是否與你正在做的事情有關。人總是很容易被那些很酷炫的模型帶偏，會在自己的研究中加入各種華麗複雜的算法 -- 你應該試圖做相反的事情：用簡單的方法解決問題比用複雜的方法解決問題更令人歎服。
選擇一個你心懷信仰的問題，並滿懷激情去探索它。你會知道是它，因為它會讓你夜不能寐，一直想一直想。把這個問題變成一個屬於你的問題，你的私人珍藏。
香儂科技是一家深耕金融領域的人工智能公司，旨在利用機器學習和人工智能算法提取、整合、分析海量金融信息，讓 AI 為金融各領域賦能。
公司在 2017 年 12 月創立，獲紅杉中國基金獨家數千萬元融資。創始人之一李紀為是斯坦福大學計算機專業歷史上第一位僅用三年時間就獲得博士的人。過去三年 Google ScholarCitation>1,800，h-index 達 21。公司碩士以上比例為 100%，博士佔比超 30%，成員皆來自斯坦福、MIT、CMU、Princeton、北京大學、清華大學、人民大學、南開大學等國內外知名學府。
《香儂說》是香儂科技微信公眾號打造的一款以機器學習與自然語言處理為專題的訪談節目。由斯坦福大學，麻省理工學院, 卡耐基梅隆大學，劍橋大學等知名大學計算機系博士生組成的「香儂智囊」撰寫問題，採訪頂尖科研機構（斯坦福大學，麻省理工學院，卡耐基梅隆大學，谷歌，DeepMind，微軟研究院，OpenAI 等）中人工智能與自然語言處理領域的學術大牛, 以及在博士期間就做出開創性工作而直接進入頂級名校任教職的學術新星，分享他們廣為人知的工作背後的靈感以及對相關領域大方向的把控。本期採訪嘉賓是斯坦福大學計算機系教授 Percy Liang。隨後我們計劃陸續推出 Eduard Hovy (卡耐基梅隆大學), Dan Jurafsky (斯坦福大學), Anna Korhonen (劍橋大學), Andrew Ng (斯坦福大學), Ilya Sukskever (OpenAI)，William Yang Wang (加州大學聖芭芭拉分校), Jason Weston (Facebook 人工智能研究院), Steve Young (劍橋大學) 等人的訪談，敬請期待。
✄------------------------------------------------
加入機器之心（全職記者 / 實習生）：[email protected]
投稿或尋求報道：content@jiqizhixin.com
廣告 & 商務合作：[email protected]
閱讀更多 坤艮機器之心 的文章
