AI教父Geoff Hinton和深度學習的40年

為什麼是AI教父?

今天,混AI圈的人鮮有人沒聽過Geoff Hinton。他是谷歌大腦研究小組的負責人,多倫多大學的榮譽教授。而奠定了他在今天人工智能圈“教父”地位的,是他在多層神經網絡技術的貢獻。

Hinton對AI的貢獻有多大呢?

學術點說,Hinton在1986年提出的通過反向傳播來訓練深度網絡理論,標誌著深度學習發展的一大轉機,為近年來人工智能的發展奠定了基礎

更實際點說,今天谷歌中通過語音識別進行圖片檢索、在手機上把語音轉化為文字的技術的實現,大部分功勞要歸於Hinton博士的研究。

他的研究,徹底改變了人工智能,乃至整個人類發展的軌跡。

從研究大腦,到嘗試製作一個

AI教父Geoff Hinton和深度學習的40年

Geoff Hinton出生在英國一家“書香門第”,家人多是數學家和經濟學家,這樣的“學霸爸媽”顯然讓Hinton的童年不太好過,正如他自己所說:“我大概在7歲的時候就意識到,不讀博是不行了(微笑臉)。”

而最初把Hinton引上人工智能這條路的,是他對人腦的好奇

Hinton很早就沉迷於大腦如何工作的問題。於是,他開始進入生理學,解剖大腦以瞭解其工作方式。

不滿足於此,他又開始學習心理學。最後,他決定更多地使用計算機科學的方法來模擬大腦,並進入人工智能領域,開始了他近40年的研究生涯。

“我認為,如果你真的想了解一個非常複雜的裝置,比如大腦,那你就製作一個。”

堅信神經網絡:“其他人都錯了”

AI教父Geoff Hinton和深度學習的40年

儘管現在已經成為了人工智能的主流研究方法,神經網絡在最初問世時,命途多舛。

1956年,美國認知心理學家弗蘭克·羅森布拉特(Frank Rosenblatt)基於神經元的理論發明了一種模擬神經元的方法。它的基本點是一個被稱為神經元的小單位的集合。 這些集合都是小的計算單元,但可以模擬人腦計算的方式。和我們從感官中獲取數據一樣,這些神經元可以獲取傳入數據並進行學習,所以神經網絡可以隨著時間的推移做出決定。

但是,Rosenblatt的學習算法當時對於多層結構的神經網絡不起作用。人工智能學者們也因此放棄了學習式軟件的想法。他們轉而使用邏輯來產生智能——比如下棋的能力。

幾乎沒人再相信神經網絡的前景,也沒人再研究神經網絡。

除了Hinton。

“大腦是一個巨大的神經網絡,因此,神經網絡必須也是可以工作的,因為它在我們的大腦中起作用。”Hinton說。

“那是什麼支持著你不放棄?”

“其他人都錯了(everyone else is wrong)。”

離開五角大樓,成為“加拿大之光”

AI教父Geoff Hinton和深度學習的40年

為了找到一個支持他研究神經網絡的棲身之處,Hinton在美國輾轉多地。但是,當時大部分的學術研究都是受到國防部支持。

而Hinton對於這樣拿到自己的研究經費並不滿意

:“我不希望我的研究成果被用在一些不善意的目標上。”

的確,深度學習從誕生之日起,就與國防部的一些軍事目的有著不可分割的淵源。

甚至直至今天依然如此——今年3月谷歌被曝光正參與Maven項目,向美國軍方提供TensorFlow APIs和無人機圖像識別技術,引起巨大爭議和眾多抗議,6月谷歌不得不承諾不將AI用於武器。這場聲勢浩大的爭論甚至將戰火燃到了李飛飛身上。

而關於AI倫理和技術人員責任的爭論也從來沒有停止過。

近兩年,將算法用來自動識別一起犯罪是否屬於團伙犯罪,或識別一個人是否是同性戀的研究屢見不鮮,算法的締造者是否應該在研究之外分出心力,瞭解自己研究背後更深的影響呢?

在40年前,Hinton的選擇或許已經給出了他的答案。

為了避免為五角大樓服務,Hinton最終落腳在加拿大的多倫多大學。這個國家歡迎他,也支持他的神經網絡研究。“去這個文明的小鎮繼續研究對我來說非常有吸引力。”

而HIinton也沒有讓加拿大失望。

正因為Hinton和他的學生的研究,加拿大現在已經成為人工智能研究的重要力量之一,多家人工智能巨頭都將他們的研究中心開在了多倫多,各種前沿人才為了追隨Hinton的腳步,絡繹不絕地來到這座北方國度:“Hinton將加拿大拉入了AI超級大國的版圖。”

堅持你認為對的,直到世界追上你的腳步

在多倫多,Hinton和他的團隊研究出了更深度的神經網絡,以解決更復雜的問題。他們共同開發了一個多層神經網絡,這個深度神經網絡也被應用於多個方面。

比如有人用它在80年代就打造了一輛無人車並且開上了路。

AI教父Geoff Hinton和深度學習的40年

而現在已經是深度學習的另一位領袖人物、Facebook的AI實驗室負責人Yann LeCun則利用深度神經網絡建立了一個可以識別手寫數字的系統。這一系統最終實現了商用。

AI教父Geoff Hinton和深度學習的40年

在當時,深度神經網絡的前景似乎一片大好,但是,現實中的故事往往沒有這麼簡單。

Hinton的研究再次遇到了瓶頸。

“我們當時並沒有足夠的數據,也沒有足夠的計算機運行能力,AI和計算機科學的從業者認為神經網絡是一廂情願的想法。”

但Hinton始終堅持著,儘管完全不被重視

他坐在房間的最角落裡參加學術會議,在大牛雲集的人工智能會議上完全不被重視。甚至他自己也開始產生了懷疑:“有很多次我都覺得我不會繼續這項工作了”。

直到這個世界開始慢慢追上他的腳步。

2006年,計算機的運行速度有了巨大的提高,超快速芯片的到來以及互聯網上產生的大量數據使得Hinton的算法變得非常神奇。突然之間,計算機開始可以識別圖像中的內容,可以識別語音,可以將一種語言翻譯成另一種語言。

2012年,Geoffry Hinton和他的團隊帶著 AlexNet參加了那一年的 ImageNet ILSVRC 挑戰賽,以驚人的優勢獲勝(錯誤率比第二名低了足足 10%)。這篇被 NIPS 2012 收錄的論文被認為是深度學習熱的開啟。

同年,“神經網絡”和“機器學習”等詞彙也開始在紐約時報的頭版出現。

“人們終於理解了這個概念,我感到很欣慰。”Hinton這樣說。

AI教父Geoff Hinton和深度學習的40年

推翻自己,膠囊網絡的提出

儘管已經成為了深度學習的領袖人物,Hinton的腳步卻從沒有停歇。2017年10月26日,Hinton發表了一篇在AI圈掀起軒然大波的論文——Capsule Networks(膠囊網絡)。

Hinton高喊,“卷積神經網絡(CNN)的時代已經過去了!”,將他過去幾十年的研究翻了過去。

AI教父Geoff Hinton和深度學習的40年

感興趣的讀者可以查看論文。

論文鏈接:

https://arxiv.org/pdf/1710.09829v1.pdf

儘管膠囊網絡現在仍然處在嬰兒期,在訓練龐大的數據集時,仍可能會遇到問題,但在未來,Hinton相信它還有發展的巨大潛力。

也許,這位深度學習教父還將再次改寫深度學習的發展歷程。


分享到:


相關文章: