實至名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

昨日,ACM 2018 圖靈獎得主公佈,深度學習三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊榮。此次 ACM 大獎的頒佈,一方面讓人感嘆「終於」、「實至名歸」之外,也讓人不禁想起 LSTM 之父 JÜRGEN SCHMIDHUBER,他是否也應該獲此榮譽呢?

實至名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

在官方公告中,ACM 介紹說,「因三位巨頭在深度神經網絡概念和工程上的突破,使得 DNN 成為計算的一個重要構成,從而成為 2018 年圖靈獎得主。」

實至名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

確實,在這波 AI 浪潮中,深度學習扮演者主力角色。在人工神經網絡歷經寒潮之時,Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 這樣一小撮人的的堅持,帶來了如今深度學習的崛起。

正如 ACM 主席 Cherri M. Pancake 所說,「人工智能如今是整個科學界發展最快的領域之一,也是社會上討論最廣的主題之一。AI 的發展、人們對 AI 的興趣,很大程度上是因為深度學習的近期進展,而 Bengio、Hinton 和 LeCun 為此奠定了重要基礎……」

因此,Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三位非 ACM Fellow(捂臉)獲此殊榮實至名歸。

然而,在我們感嘆有「計算機界諾貝爾獎」之稱的 ACM 圖靈獎「終於」頒發給深度學習時,也有學者發出疑問 LSTM 之父 Jurgen Schmidhuber 是否也應獲得此榮譽。

Jurgen 也該得獎?

2018 年的圖靈獎頒給了在 AI 寒冬中默默堅持,並引領學界走向深度學習爆發的三位先驅,這是 AI 領域的一件喜事。在大獎結果正式公佈後,社交網絡上的討論也在熱烈開展,不過人們的焦點卻有些文不對題:

實至名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

(圖注)在 Reddit 上,有關圖靈獎的帖子被頂最多的幾個回覆:「Schmidhuber 哭暈在廁所」。

對此,人工智能著名學者,南京大學人工智能學院院長周志華第一時間也表示:「要論對深度學習的貢獻,Hinton 無疑居首,LeCun 和 Schmidhuber 貢獻都很大。但 HLB 總捆綁在一起,而 S 跟 HLB 都不對勁。。。獲獎需有提名有投票,人緣也重要。。。不過沒關係,有 LSTM 這樣教科書級的貢獻足以淡定。」

在知乎問答上,也有眾多網友肯定 Schmidhuber 的成就,感興趣的讀者可查看該知乎帖子:

實至名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

看來大家紛紛對 Jurgen Schmidhuber 在人工智能領域裡的貢獻表示肯定。不過此人在業內人緣似乎的確不夠好,在 2015 年還曾發文怒懟過 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人小圈子。

作為一個例子,讓我們看看《自然》雜誌 2015 年的人工神經網絡(NN)文章《Deep Learning》,它是深度學習的一篇標誌性文章,目前引用量已經達到了 13886。該文章是由 LeCun、Bengio 和 Hinton (簡寫LBH)聯合寫的,他們從當下的卷積、循環和反向傳播算法等核心概念概覽了深度學習,並表示無監督學習、深度學習結合強化學習等方向才是發展趨勢。

然而,Schmidhuber 在當年的一篇批判性文章中表示,作者在這篇文章中引用了很多自己的研究工作,而忽視了半個世紀以前開創領域的先驅者。此外,Schmidhuber 在文章中還說了一句「They heavily cite each other」。

如下展示了Schmidhuber 批判的前三條觀點,他對該論文一共提出了九條批判性意見。

實至名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

總體而言,Schmidhuber 列舉了三人對於深度學習、反向傳播、前饋學習、無監督學習、卷積神經網絡等等方面對於前人研究的忽視,可謂詳盡。

如此耿直,難怪不受人待見。不過另一方面,我們評判一位學者的成就不應該看他的性格,而更應該以學術成就作為標準。

正如人們所說的,Jurgen Schmidhuber 是一名人工智能先驅。

Jurgen 的學術成就

作為 LSTM 發明人、深度學習元老,Jürgen Schmidhuber 的識別度一直沒有 Yann LeCun、Yoshua Bengio 等人那麼高。他最為人們所知的名號就是「LSTM 之父」了:早在 1997 年,他和 Sepp Hochreiter 共同撰寫了一篇論文,其中提出了一種利用記憶功能來增強人工神經網絡(模擬人類大腦的計算機系統)的方法,即根據之前獲得的信息,添加解釋文字或圖像模式的循環。他們稱之為「長短期記憶(LSTM)」。

LSTM 解決 RNN 存在的短板,在隨後的多年中被人們廣泛採用。然而遺憾的是,當時 LSTM 也並沒有受到業界更多的重視,在 1995 年,首個論述 LSTM 的論文被著名的 NIPS 會議拒絕了。1997 年,關於 LSTM 的論文被麻省理工學院退稿。「即便是美國、加拿大及其他地區的著名的神經網絡專家,都沒能意識到我們自 1990 年代起於高山上實驗室研發的深度循環神經網絡的潛能。」Schmidhuber 多次在媒體採訪時表露出遺憾。

語音識別最重要的模型之一——Connectionist temporal classification(CTC),是由 Graves、Schmidhuber 等人在 2006 年提出的,該論文出現在 2006 年的 ICML 上。CTC 是一種改進的 RNN 模型,可以讓網絡自動學會對齊,十分適合語音識別和書寫識別。

Jurgen 貢獻的重要研究還不止於此。2018 年,由谷歌大腦研究科學家 David Ha 與瑞士 AI 實驗室 IDSIA 負責人 Jürgen Schmidhuber 共同提出的「世界模型」再次吸引了人們的注意。這是一種可以讓人工智能在「夢境」中對外部環境的未來狀態進行預測的新方法,而論文的名字也非常霸氣:

實至名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

今天人工智能的形態,是由眾多學者共同打造的。在恭喜三巨頭獲得圖靈獎的同時,不要忘了另外一些人的貢獻。

最後,網友實力「皮」了一波:兩彈元勳黃仁勳是不是離圖靈獎也不遠了……


分享到:


相關文章: