AI大師丨Yoshua Bengio:純粹與理想,深度學習的30年

AI大师丨Yoshua Bengio:纯粹与理想,深度学习的30年

編者按:在人工智能領域,Yoshua Bengio是一個無人不知的名字。他在上世紀末漫長的“AI寒冬”裡依然全身心地投入深度學習研究,為我們今天的深度學習浪潮奠定了基石。11月7日,Yoshua Bengio將作為演講嘉賓,參加微軟亞洲研究院舉辦的“二十一世紀的計算”學術研討會暨微軟教育峰會,在與Bengio大神面對面之前,先來看看他的研究故事吧!(文末附大會報名鏈接)

AI大师丨Yoshua Bengio:纯粹与理想,深度学习的30年

蒙特利爾大學計算機科學系教授 Yoshua Bengio

從法國來到加拿大的時候,Yoshua Bengio只有12歲。他在加拿大度過了學生時代的大部分時光,在麥吉爾大學的校園中接受了從本科到博士的完整高等教育,隨後又前往麻省理工學院和貝爾實驗室做博士後。1993年,他重回蒙特利爾,加入離麥吉爾大學不遠的蒙特利爾大學擔任計算機科學與運籌學系教授,繼續潛心進行深度學習的研究。

從80年代到今天,深度學習從不被大多數人看好的“痴心妄想”,到席捲包括自然語言處理、計算機視覺、語音識別在內的幾乎所有人工智能領域,其影響力已經全面覆蓋了學術界、產業界以及人們的日常生活。Yoshua Bengio幾十年如一日的堅守,證明了深度學習所蘊含的、足以影響我們每個人生活的巨大價值。

深度學習的元老超過137,000次學術引用“AI聖經”《Deep Learning》等一系列教科書級著作的作者笑起來極富表現力的眉毛,這些是Yoshua Bengio大神給人們留下的標誌性印象。

深度學習的先驅

上世紀八九十年代的AI唱衰者們不會預料到深度學習在二十一世紀的成功。作為早期開拓者中的一員,Yoshua Bengio也歷經了漫長的“AI寒冬”,在上世紀末的三十年中,人工智能曾兩度陷入歷史的最低谷。

在Yoshua Bengio上大學的八十年代,深度學習在計算機科學中屬於非常冷門的理論,符號主義的經典學派佔據著學界與大學課堂的主流,但Yoshua Bengio這位獨樹一幟的學生卻偏偏對深度學習產生了強烈的興趣。用神經網絡模擬人腦,用機器學習去揭開人類智慧誕生的奧秘,這對Bengio來說有著巨大的吸引力。就這樣,Bengio找到了他在接下來的30餘年中始終鍾情的研究方向。

但是在當時,幾乎沒有人看好深度學習的工作。因為對同一項任務來說,既然用傳統方法能更輕鬆地達到更好的效果,為什麼要費勁去訓練神經網絡呢?因此,大多數研究者都不願意從事這一方向。上世界九十年代人們也曾短暫地看到神經網絡的希望,但由於數據量和計算能力的限制,希望很快破滅了,神經網絡仍然是痴心妄想。但即使人工智能處於低谷,Bengio仍然全身心地投入深度學習研究,不斷貢獻了許多新的研究成果。

直到2010到2012年,轉機才真正出現。隨著大數據的崛起計算能力的大幅增長,突然之間,人們終於看到了深度學習所蘊藏的真正力量,這使得深度學習一下子被推向人們目光的中心。Yoshua Bengio在過去20年中原本問津者寥寥的諸多科研積累,也迅速成為了人工智能界討論的焦點,包括深度學習架構、循環神經網絡(RNN)、對抗算法、表徵學習等等。這些研究成果影響和啟發了後來的大量研究者,將深度學習應用到自然語言處理、計算機視覺等人工智能的各個主要領域,對近年來深度學習的崛起和發展起到了巨大的推動作用。

1994年,在Yoshua Bengio與另一位深度學習元老級人物Yann LeCun共同完成的《Gradient-based learning applied to document recognition》論文中,首次提出了用反向傳播算法訓練的多層神經網絡LeNet5,它是世界上最早的也是最著名的卷積神經網絡之一。

在2003年發表的《A neural probabilistic language model》中,Yoshua Bengio第一次提出用神經網絡結構來建立自然語言模型,這一思路和方法廣泛地影響了後人用神經網絡做自然語言處理的研究。這一網絡結構也被迅速引入自然語言處理的應用實踐中並取得了良好的成效,比如最經典的用於生成詞向量的word2vec模型,以及近年大熱的神經網絡機器翻譯。Yoshua Bengio的另一篇著作《Learning Deep Architectures for AI》則提綱挈領地總結了深度學習架構中學習算法的動機和原理,為相關的研究提供了理論指導。

Yoshua Bengio發表的300多篇學術文章累計的學術引用次數已經超過了驚人的137,000次

2016年,Yoshua Bengio與Ian Goodfellow和Aaron Courville共同撰寫了《Deep Learning》,這本因封面被人們親切地稱為“花書”的深度學習奠基之作,也成為了人工智能領域不可不讀的“聖經”級教材。

包括Yoshua Bengio在內的深度學習先驅者們讓我們看到了支持長期研究的重要性,他們可貴的研究精神也值得人們敬佩。

雖然眼下深度學習風頭正勁,但在幾年後甚至幾十年後,深度學習還會一直存在嗎?在Yoshua Bengio看來,人工智能研究者要不斷地提出和發展新的想法,這些新想法可能是受到現有技術和概念的啟發而誕生的,也將在未來成為新一輪想法的啟蒙。他也坦言,雖然人工智能現在已經對社會和人類生活產生了巨大的影響,但在大多數情況下,人工智能表現出的智力還遠遠不及哺乳動物,人工智能還有太多潛能留待我們去發掘。

無論如何,Yoshua Bengio的研究興趣將始終圍繞對智力生成機制的探索,並

致力於讓人工智能的發展為所有人的利益服務

教書育人,孵化技術

無論產業界的浪潮多麼洶湧,在人工智能的研究大牛紛紛入夥科技公司的時候,Yoshua Bengio始終沒有離開他位於蒙特利爾大學校園中的三樓辦公室。

在這裡,他繼續潛心科研和教學工作,為人工智能培養了許多傑出的下一代人才。在剛剛進入蒙特利爾大學任教的時候,全校只有Yoshua Bengio一位教授從事深度學習算法的研究,他欣然接收所有對深度學習感興趣的學生,漸漸在蒙特利爾大學組織起研究團隊,與學術界建立聯繫並開展合作。他建立了蒙特利爾學習算法研究所(Montreal Institute For Learning Algorithms, MILA)並擔任科學主任,並作為聯合主席共同進行CIFAR機器與大腦學習項目的研究,也擔任著數據評估研究所(The institute for data valorization,IVADO)的科學聯合主任。

AI大师丨Yoshua Bengio:纯粹与理想,深度学习的30年

Yoshua Bengio長達15年的實驗室組織與管理經驗也讓他形成了一套自己的方法論,“不要將每個學生束縛在他們自己的項目中,而要讓他們靈活合作。學生們與教授也不是一對一的關係,應該將整個實驗室的人組成一個大的網絡。

對高校人才培養的執著投入,不代表Yoshua Bengio對產業動向毫不關心,Yoshua Bengio希望現有的人工智能技術能更快地進入人們的生活,真正幫助人們去完成各種各樣的任務。

在2016年底,Yoshua Bengio開始為深度學習的產業孵化助力。他作為聯合創始人創建了人工智能創業孵化器Element AI,鼓勵研究員和企業家們一同創立人工智能公司,將人工智能技術融入各行各業,讓人工智能的商業化前景變為現實。在成立後的兩年中,Element AI已經幫助數百位來自蒙特利爾大學和麥吉爾大學的研究人員完成了從科研技術到應用產品的轉化,也幫助初創公司的企業家在這個飛速崛起的熱門領域中保持正確的前進方向。

可以說,Yoshua Bengio不僅在人工智能研究上推動蒙特利爾成為了世界深度學習的一大重鎮,也為他所期待的人工智能生態系統添磚加瓦,促成了蒙特利爾如今在人工智能領域的良好學術和創業氛圍。

現年54歲的Yoshua Bengio不僅學術著作等身,在大多數學術權威會議中,你都可以看到這張熟悉的面孔。他不僅是加拿大統計學習算法研究主席,在2009年擔任了機器學習頂級會議NIPS的主席,還在2013年牽頭創辦國際學習表徵會議(ICLR),讓ICLR在短短几年內迅速躋身頂會行列,成為首屈一指的專注深度學習領域的頂級會議。

Yoshua Bengio也獲得了許多重量級的名譽和獎項,他是加拿大皇家學院(RSC)及加拿大高等研究院(CIFAR)院士,且在2017年獲得了代表加拿大公民最高榮譽的“加拿大總督功勳獎”。儘管如此,Bengio在生活中一直保持著低調,除了演講之外,很少出現在媒體和大眾的視線中。

Yoshua Bengio的微軟時刻

Yoshua Bengio與微軟的緣分始於2017年初,在微軟收購深度學習初創公司Maluuba時,時任Maluuba公司顧問的Yoshua Bengio也成為了微軟的人工智能研究顧問

作為人工智能時代的領跑者,微軟擁有高質量的資源、數據和人才,堅持公平、可靠、安全、負責任的理念與價值觀,在探索科學邊界的同時,加速推動研究成果到產品的轉化。Yoshua Bengio與微軟的願景不謀而合,我們希望能讓廣大消費者更快地享受到人工智能帶來的便捷生活。

Yoshua Bengio的下一個微軟時刻,屏幕面前的你將有機會親臨現場參加!

在11月7日,Yoshua Bengio將來到北京,作為主題演講嘉賓,在微軟亞洲研究院舉辦的“二十一世紀的計算”學術研討會暨微軟教育峰會上分享他最新的研究成果與前沿洞見。

如果你想獲得與這位深度學習大神面對面的機會,就快來報名參加這場群星閃耀的AI大會吧!

https://microsoft21ccc.event.com.cn/

更多詳細信息請訪問大會官網:

https://www.msra.cn/zh-cn/event/21ccc-2018

1. Yoshua Bengio個人主頁

http://www.iro.umontreal.ca/~bengioy/yoshua_en/

2. "Yoshua Bengio", Wikipedia.

https://en.wikipedia.org/wiki/Yoshua_Bengio

3. Microsoft AI Blog

https://blogs.microsoft.com/ai/

4. 對話Yoshua Bengio | 深度學習的昨天、今天和明天

https://www.msra.cn/zh-cn/news/features/faculty-summit-2017-yoshua-bengio-20170831

5. Yoshua Bengio經驗分享:如何做好學術研究?如何管好實驗室?

https://www.leiphone.com/news/201808/IELI9Rpqa9p1wzSK.html

6. 深度學習三駕馬車首次同臺,“打情罵俏”展望未來

https://blog.csdn.net/gh13uy2ql0N5/article/details/78238215

你也許還想看

AI大师丨Yoshua Bengio:纯粹与理想,深度学习的30年

感謝你關注“微軟研究院AI頭條”,我們期待你的留言和投稿,共建交流平臺。來稿請寄:[email protected]


分享到:


相關文章: