作者 | deeplearning.ai

編譯 | 楊曉凡

隨著深度學習的流行，可以說整個機器學習領域在 2010 年代迎來了爆發式的增長，科研人員、學生、論文數量、商業應用、投資金額都是。不過，整個機器學習生態仍然面臨著數據收集、系統魯棒性、能源消耗、深度學習理論不清晰等等問題。

2020 年已經來了，在這一年中，機器學習領域的知名學者們都有什麼期待呢？吳恩達的 DeepLearning.ai 和《The Batch》雜誌一起詢問了包括 Yann LeCun、李開復、David Patterson、周志華在內的多位學者，雷鋒網 AI 科技評論以此為主要內容編譯如下。

斯坦福大學計算機科學和電子工程助理教授 Chelsea Finn：期待泛化能力更好的機器人

人工智能領域的很多人都很在意做出值得吹捧的結果，比如造出一個會下圍棋或者會玩電腦遊戲的 AI。這種成果的複雜度確實令人欽佩，但這也很容易讓我們忽視了智力中非常重要的另外一個維度：泛化能力，就是能處理許多不同的任務、能應對很多不同環境的能力。對於 2020 年，我希望能出現一些新方法，幫助我們構建泛化能力更好的模型。

我自己的研究中就會通過強化學習訓練機器人，讓它們能理解自己的行為是如何影響所在環境的。比如，我會訓練機器人與多種不同的物體互動，目標是完成多種不同的任務，有時候是把東西裝進盒子裡，有時候是把垃圾掃進簸箕。但用強化學習訓練實現這些目標其實挺難的。

在監督學習中，在 ImageNet 數據集的一千四百萬張圖像上訓練一個圖像識別器，總會得到一定程度的泛化性。在強化學習中，一個模型的學習方式是和環境互動，然後它在這個過程中逐步地收集越來越多的數據。我們已經了習慣了在 ImageNet 上訓練出的模型有不錯的泛化水平，但以當前的技術，如果想要讓強化學習模型也達到這樣的泛化水平，我們就需要讓每個新模型都收集 ImageNet 那樣規模的數據集。這就是基本做不到的了。

如果我們希望強化學習訓練出的系統有好的泛化能力，我們就需要設計能從離線的數據集中學習的智能體，而不是隻能邊探索環境邊收集數據。而且我們還希望預收集的數據集也能逐步更新，反映出環境或者世界的變化，就像 ImageNet 從最初的一百萬張圖像變成了如今的一千四百萬張一樣。

有一些變化已經開始發生了。比如，在一些研究中，機器人可以從它們的自己的環境交互+人類引導機械臂的動作演示中學習如何把新物體當作工具使用；我們也在嘗試如何利用其它來源的數據，比如我們採集了一個大的機器人互動數據集，裡面有來自四個不同研究機構的、七種不同機器人平臺的數據。

看到有很多研究人員都在想方設法提高強化學習的泛化性。如果我們能解決這些挑戰，我們的機器人距離「在真實世界中智慧地行動」這個目標就更近了一步，而不是像現在這樣，只能在實驗室裡做一些「彷彿有智慧的事」。

紐約大學教授、FB 首席 AI 科學家、2018 圖靈獎得主 Yann LeCun：繼續期待自監督學習

人類可以只花 20 個小時就基本學會安全地駕駛汽車，而當前的模仿學習算法學開車需要數十萬小時，強化學習算法學開車甚至需要數百萬小時，這是怎麼回事呢？顯然我們忽視了什麼重要的事情。

人類能高效地學習，似乎是因為我們頭腦中就有一個關於這個世界的模型。剛出生的嬰兒幾乎不知道怎麼和世界互動，但是隻需要幾個月的時間他們就能通過觀察明白很多背景知識。顯然我們大腦中的很大一部分都是用來理解這個世界的結構、預測我們無法直接觀察的事情的（可能時間上在未來，可能空間上有遮擋）。

在我看來，這意味著 AI 的未來發展之路應當是「自監督學習」。它很像監督學習，但它要做的不是讓系統學習樣本到標籤的分類關係，而是把樣本的一部分遮起來、讓模型觀察不到，然後讓它預測觀察不到的那部分。比如我們把一個視頻裡的某個片段抽走，然後訓練機器根據前後的內容把這一段重新補出來。

這種方法最近在自然語言理解領域特別的有效，BERT、RoBERTa、XLNet、XLM 等等模型都是用自監督學習的思路，預測成段文本中缺失的詞，從而訓練出來的。這些模型在所有重要的語言任務中都取得了優秀的分數。對於 2020 年，我希望自監督的方法可以從視頻和圖像中學習特徵。有沒有可能在視頻這種高維連續數據上也發生類似的革命呢？

有一個關鍵的挑戰是處理不確定性。BERT 這樣的模型沒辦法確定句子裡缺的那個賓語是「貓」還是「狗」，但是它們可以生成一個概率分佈。但針對圖像和視頻中的幀，目前我們還沒有好的模型可以生成一個概率分佈。不過近期的研究已經距離這個目標越來越近了，很有可能要不了多久我們就能找到了。到時候我們只需要很少的訓練樣本就可以讓模型預測視頻中的動作，那會成為 AI 領域非常激動人心的一年。

創新工場董事長 & CEO 李開復：期待 AI 隨處可見

人工智能已經從探索發現的時代進入了落地應用的時代。我們投資了諸多 AI 項目，大部分都在中國，如今已經可以看到銀行、金融、交通、物流、超市、餐館、倉儲、工廠、學校、藥物研發等許多領域都有大規模的 AI 及自動化的應用。不過，如果從經濟總體來看，開始使用 AI 的企業只有很小的比例。這裡還有很大的增長空間。

我相信，在人類科技發展進步的歷史中，AI 的發明將會和電的發明一樣重要。在未來的

我最覺得激動的是 AI 在醫療保健和教育方面的影響。這兩個領域都隨時等待著 AI 進入，而且可以用 AI 做許多好事。

我們投資的企業裡有一家是用 AI 和大數據來優化供應鏈的，效果是為超過 150 萬生活在農村的中國人緩解了藥物短缺問題。我們也投資了結合深度學習和生成式化學的力量進行藥物研發的企業，這種做法能把新藥發現的時間縮短到原來的三分之一甚至四分之一。

在教育領域，我們也看到有企業在開發基於 AI 的方法來幫學生改進英文發音、批改試卷和作業、以及把數學的學習過程遊戲化、個人定製化。這可以把老師從日常的任務中解放出來，讓他們可以把更多時間精力花在新時代的學生身上，建立有啟發、鼓勵作用的師生關係。

我希望在 2020 年以及未來的幾年裡看到更多的創業者和企業家開始用 AI 做有益的事情。

谷歌 TPU 團隊、2017 年圖靈獎得主、斯坦福大學退休教授 David Patterson：激烈競爭帶來更快的 AI 芯片

投資在新型 AI 硬件開發上的數十億美元資金將在 2020 年看到早期成果。谷歌在 2017 年開發出的 TPU 為自己節省了大量運算成本，然後在接下來的兩三年中我們看到阿里巴巴、Cerebras、Graphcore、Habana、英特爾等許多企業都開始研發自己的 AI 芯片。這些芯片會慢慢地進駐到科研實驗室和企業數據中心裡。

我希望 AI 大家庭能儘量利用好這些芯片的能力，讓 AI 領域可以用上更好的模型、帶來更有價值的實際應用。

那麼，開發機器學習的工程師們要怎麼知道這些新的、融合式的替代平臺能不能比傳統的 CPU + GPU 方案表現更好呢？

計算機架構的評價方式有那麼點迂迴，並不是直接對比絕對規模。為了能對比不同體積的設備，我們把性能除以價格，或者把性能除以功耗，也可以把性能除以芯片的數量。每個競爭者都會選出在自己的芯片上有代表性的一組程序來作為和別人競爭時的跑分測試。選很多組這樣的測試程序，然後把得到的所有分數取平均值，相比於在某一組上做測試能更好地反映芯片的真實性能。

MLPerf 就是基於 50 家企業、9 所高校選出的代表性程序而設計出的較新的 AI 芯片跑分測試。MLPerf 中包括了程序、數據集，也包括了測試訓練和推理的固定規範，給準確率、超參數的選擇範圍等重要的參數給出了明確的要求。為了能跟上機器學習領域的快速發展，MLPerf 也會每三個月更新一次新版本。

有的產品沒法在公平的測試中取勝，所以他們的宣傳部門就會對 MLPerf 的跑分言辭躲閃，甚至說「我們的用戶並不關心 MLPerf 裡面的測試程序」這樣的話。可千萬別被這種話糊弄了。首先，MLPerf 樂意加入新的程序，所以如果某種負載目前沒有包括在 MLPerf 裡面，那它是可以加進來的。其次，競爭者們也會關心別家芯片的 MLPerf 跑分，確保對比方法不是南轅北轍。

如果怕買錯了東西以後不包退，那就記得先查查 MLPerf 分數！

南京大學計算機系教授、人工智能學院院長周志華：新鮮的方法，清晰的規範

對於 2020 年，我有這三條期盼：

• 希望能夠出現深度神經網絡之外的更新、更先進的機器學習方法。學術研究人員們、工程師們、開發者們研究和應用神經網絡模型已經有很長時間了。而其他的機器學習方法的技術創新空間相對來說要大得多。

• 希望 AI 可以應用在更多領域中，給人們的日常生活帶來更多積極的影響。

• 希望 AI 學術研究人員們、工程師們、開發者們可以有更多的反思和討論，要考慮如何避免 AI 技術的發展走上邪路、如何避免 AI 技術被惡意使用或者濫用。

Insight 數據分析中心博士、DeepMind 研究科學家、NLP 網紅小哥 Sebastian Ruder：除了規模之外還有更多

對於 2020 年的 NLP 研究發展，我有這麼幾條心願：

• 從更少的樣本學習，而不是從更大的數據集學習

• 發展更緊湊、更高效的模型，而不是發展規模更大的模型

• 至少在兩種語言上評價模型（最好是不同語系的語言）

• 新的 NLP 數據集最好也至少含有兩種語言

• 用 NLP 輔助科研，發掘更多的科學知識（比如《Unsupervised word embeddings capture latent knowledge from materials science literature》這篇 Nature 論文）

部分內容參考 blog.deeplearning.ai/blog/

閱讀更多 AI科技評論 的文章

關鍵字: 機器人 人工智能 設計