CNN 之父再出豪言:深度學習需要新的編程語言

CNN 之父再出豪言:深度學習需要新的編程語言

當地時間 2 月 18 日,Facebook 首席首席人工智能科學家、卷積神經網絡之父 Yann LeCun 在舊金山的國際固態電路大會上發表了一篇論文,分享了他關於人工智能發展的一些看法,同時也談到自己對於芯片和硬件發展的關注和研究。在這其中,諸如“深度學習可能需要一種新的編程語言”等說法引起了熱烈討論。

“深度學習需要一種新的編程語言”

自 20 世紀 80 年代以來,LeCun 就一直致力於神經網絡研究。由於他本人對於神經網絡發展的貢獻,所以被冠以“卷積神經網絡之父”的稱號。

在當天的演講中,LeCun 對於人工智能的發展提出了一些新的看法。他表示,深度學習可能需要一種比 Python 更靈活,更易於使用的新編程語言:

“在谷歌、Facebook 和其他地方有幾個項目旨在設計這樣一種編譯語言,這種語言可以有效地進行深度學習,但社區是否會跟進還不清楚,因為人們只想使用 Python。但現在的問題是:Python 真的是最好的解決方案嗎?”

LeCun 認為,深度學習可能需要一種比 Python 更靈活,更易於使用的新編程語言

。目前尚不清楚這種語言是否必要,但 LeCun 表示,這種可能性與研究人員和工程師非常根深蒂固的願望背道而馳,很有可能帶來顛覆性的變革。

根據 GitHub 最近的一份報告顯示:Python 目前是機器學習項目的開發人員最常使用的語言,該語言同時也是構成 Facebook 的 PyTorch 和 Google 的 TensorFlow 框架的基礎。

但是,隨著代碼越來越複雜,開發人員對於編程語言的要求也更高了,就連圖靈獎得主大衛·帕特森也曾表示:是時候創造新的編程語言了。

與此同時,一些之前名不見經傳的小眾編程語言也逐漸成為一些開發者的新寵。最能說明問題的就是去年 8 月才正式發佈 1.0 版本的 Julia,從 2012 年到現在,Julia 1.0 在編程界已經打出了自己的一片“小天地”,在 Github 上已經獲得了 12293 顆星星。

與其他語言相比,Julia 易於使用,大幅減少了需要寫的代碼行數;並且能夠很容易地部署於雲容器,有更多的工具包和庫,並且結合了多種語言的優勢。據 Julia Computing 的宣傳,在七項基礎算法的測試中,Julia 比 Python 快 20 倍,比 R 快 100 倍,比 Matlab 快 93 倍。

除了 Julia,Swift 也成為了數據科學家們的新朋友,感興趣的讀者可以在文章底部的“

拓展閱讀”查看相關文章。

“未來十年,硬件將左右 AI 的發展方向”

在演講中,Yann LeCun 還專門談到自己對於芯片和硬件發展的看法。

人工智能已有 50 多年的歷史,但它目前的崛起與計算機芯片和其他硬件提供的計算能力的增長密切相關。

“更好的硬件催生出更好的算法以及更好的性能,更多的人才可以製造出更好的硬件,這樣的良性循環只有幾年的歷史了。”LeCun 表示,20 世紀 80 年代他在貝爾實驗室工作,並已經能夠使用 ConvNet (CNN) AI 讀取郵政信封和銀行支票上的郵政編碼。

21 世紀初,在離開貝爾實驗室加入紐約大學後,LeCun 與該領域的其他知名人士合作,比如 Yoshu Bengio 和 Geoffrey Hinton,開展了一項研究,以恢復人們對神經網絡的興趣,並讓深度學習變得更受歡迎。

近年來,硬件方面的進步——如現場可編程門陣列 (FPGA)、谷歌的張量處理單元 (TPU) 和圖形處理單元 (GPU) 等,在該行業的增長中發揮了重要作用。據瞭解,Facebook 也在開發自己的半導體。

LeCun 在演講中說:“現有的硬件對人們所做的研究有很大的影響,因此

未來十年左右,人工智能的發展方向將很大程度上受到現有硬件的影響。這對計算機科學家來說是件很丟臉的事,因為我們喜歡抽象地認為,我們的發展不受硬件限制的限制,但實際上我們是很受限制的。”

LeCun 強調了未來幾年硬件製造商應該考慮的一些 AI 趨勢,並就近期所需的架構提出了建議,建議考慮不斷增長的深度學習系統的規模。

他還談到需要專門為深度學習設計的硬件,以及能夠處理一批訓練樣本的硬件,而不是像現行標準那樣,需要批量處理多個訓練樣本才能有效運行神經網絡,他說:“如果你運行一個單一的圖像,不可能利用所有的算力,這樣的行為會造成資源浪費,所以批量生產迫使人們思考訓練神經網絡的新方法。”

他還建議使用動態網絡和硬件,這些網絡和硬件可以靈活調整,只利用完成任務所需的神經元。

在這篇論文中,LeCun 重申了他的理念:即自監督學習將在推進人工智能的發展中發揮重要作用

LeCun 在論文中寫道:“如果自監督的學習最終允許機器通過觀察學習關於世界如何運作的大量背景知識,那麼可以假設某種形式的機器常識可能出現。”

LeCun 認為,未來的深度學習系統將在很大程度上使用自監督學習進行訓練,並且需要新的高性能硬件來支持這種自監督學習。他表示,Facebook 正致力於盡其所能做的一切,降低功耗並改善延遲問題,以加快處理速度。LeCun 補充說,實時監控網站上的視頻所帶來的巨大需求,使得研發團隊需要進行新的神經網絡設計。

Facebook 還在尋找新的神經網絡架構,以模仿人類智能的更多方面,並使其系統更自然地進行交互。

“就新用途而言,Facebook 感興趣的一件事是提供智能助理——這是一種有一定常識的東西,他們有背景知識,你可以和他們就任何話題進行討論。”

在演講中,LeCun 也表達出對於智能助理研發以及應用的執念。向計算機灌輸常識的想法還處於非常早期的階段,LeCun 表示,這種更深層次的智能“不會在明天就發生”。

他說:“研發人員希望一臺機器像人類或動物一樣,當世界與它互動時,它能夠做出正確的反應。”LeCun 補充說,Facebook 已經在這一方面進行了不少嘗試,最近的一項研究就是通過調整神經網絡的設計,使其在面對現實世界的變化時反應能更加靈活。

此外,Facebook 目前的研究工作還包括在神經網絡中增加計算機記憶,這樣當機器與人“交談”時,神經網絡就能記住更多的信息,並形成更強的語境感。

神經網絡功能方面的進步可能會對驅動芯片的設計產生連鎖反應,這可能會為製造當今領先 AI 芯片的公司帶來更多競爭。

參考鏈接:

https://venturebeat.com/2019/02/18/facebooks-chief-ai-scientist-deep-learning-may-need-a-new-programming-language/

https://www.zdnet.com/article/facebooks-yann-lecun-says-internal-activity-proceeds-on-ai-chips/

https://www.ft.com/content/1c2aab18-3337-11e9-bd3a-8b2a211d90d5


分享到:


相關文章: