05.09 機器學習的構建應該自頂向下還是自底向上?也許從孩子的世界可以找到答案

機器學習的構建應該自頂向下還是自底向上?也許從孩子的世界可以找到答案

人類對於學習具有無可比擬的優秀能力,我們可以從一個簡單的樣本中學習到整類事物的抽象特徵,而算法卻需要成千上萬的樣本來習得認知;我們可以利用已有的概念創造出新的事物。隨著人工智能的發展,人們逐漸將研究的重點轉移到算法的學習過程和學習的本質上來。科學家認為機器學習的過程和兒童學習的過程十分相似,都是通過對外界的觀察和理解來是實現學習的過程。人工智能專家們正在嘗試瞭解借鑑兒童的思維方式,以便更深入地理解機器認識世界的過程。通過對兒童行為的仔細觀察和分析,科學家們似乎從中找到了一些可以指導未來研究的啟發。

在與孩子們長期接觸的過程中,我們一定會驚歎於人類快速高效的學習能力。從柏拉圖開始,哲學家們就對此問題長期求索而鬱郁不得。你一定記得鄰家五歲的小朋友已經對植物、動物、時間、甚至恐龍,宇宙等概念有了初步的瞭解。在與人的相處過程中,他也學會了揣測別人的心思,意圖,和情感。他還會用自己看到和聽到的知識來做出新的發現和判斷。

通過接受透過視網膜的光子,振動耳膜的聲音,小朋友便利用他迷人的大眼睛後的“中央神經處理器”判斷出是食草的雷龍只是紙老虎。這個看似簡單的問題卻困擾著計算機科學家們:如何讓電腦也能如人腦般自由流暢的工作?孩子們只需要老師或家長稍稍指導便可收穫儲量巨大的知識。儘管近些年來機器學習突飛猛進,但是即使最強大的計算機也無法與一個五歲孩子的學習能力相媲美。

計算機科學家們近十年來努力求索的終極目標便是:解密大腦運轉的奧秘,然後創造出一個同樣可以有效運轉的數字版本的“電腦”。與此同時,他們也在利用已有的知識,在現有的基礎上來幫助人工智能更好的運轉。

由此開始

在1950到1960之間,人工智能技術經歷一輪短暫的爆發式發展後,一直停滯不前。過去幾年中,人工智能領域產生了驚人的進步,尤其是把機器學習推向了研究的風口浪尖之中。

許多烏托邦式的預言開始湧現在人們的視野之中,它們設想著人工智能將對世界帶來的不朽影響,徹底摧毀或者兼而有之的後果。人工智能的發展引起如此巨大恐慌的原因,也許來源於人類根深蒂固對於“類人”生物的恐懼。從中世紀的傀儡,到科幻小說中的科學怪人Frankenstein,再到2015年電影Ex Machina中的戀愛機器人Ava,無一不反映了對於人造生物會打破人與其他生物之間隔閡的深深恐懼。但是機器真的可以像人一樣學習嗎?從人類的想象到徹底的變革之間的距離有多遠?腳踏實地的回到解決技術問題中來,讓機器準確識別一隻貓,一段語言或者一些日本文字這些看似微不足道的任務卻也有一定難度。

解決辦法之一便是通過使機器能夠像孩子一樣通過接受透過視網膜的光子、振動耳膜的聲音來識別圖像和聲音一樣,來識別計算機所能分辨的數字輸入:圖像象素點或者聲音信號。然後通過某種算法來提取周圍環境中的有效信息。

机器学习的构建应该自顶向下还是自底向上?也许从孩子的世界可以找到答案

神經網絡這種方法的再次復興來源於深度學習這種新方法的蓬勃發展。現在像Google, Facebook 或者其他科技巨頭公司都在產品中廣泛應用響應的技術。正如摩爾定律所述的一樣:計算機的力量也隨著計算能力的發展而呈指數型增長。快速增長的計算能力,巨大的數據集,對於深度學習的發展有著功不可沒的作用。豐富的數據信息,更好的數據處理能力使得計算機系統以超乎我們想象的方式高速發展。

近些年來,人工智能領域在使用“由底向上”或是“由頂向下”兩種架構而實現機器學習的矛盾中螺旋前進。“由頂向下”的方法利用系統已知的只是來推論新的知識。柏拉圖,或者諸如René Descartes這樣理性學派的哲學家們相信,而“由頂向下”的學習方法更加高效適用。在2000年左右,人工智能行業的概率論:貝葉斯模型也經歷了重生。“由頂向下”的算法如同科學家們的思考方式一樣:基於對客觀世界的抽象和假設,來預測數據的正確性。並且根據返回的結論來修正假設的正確性。

如何區分垃圾郵件

自底向上的方法比較容易理解。試想你正試圖使電腦自動區分收件箱中的垃圾郵件和正常郵件,你也許會注意到,垃圾郵件有以下特徵:一長串收件人,發件地址來自尼日利亞或者保加利亞,提及到超過1百萬金額的中獎信息,關鍵字還有各種廣告。但是也許正常郵件中也會包含類似的信息,你可不想錯過一次獲得升值或者學術獎勵的機會。

如果你比較足夠多的垃圾郵件和正常郵件,也許你會發現只有垃圾郵件會有以下特點:來自尼日利亞並且提及百萬金額的獎金。但是對於垃圾郵件的攔截,也許有更加高級的區分方式:比如錯誤的拼寫加上壓根不存在的IP地址。如果你能發現它們,那麼你便可以準確的攔截這些垃圾郵件並且不錯過你的偉哥訂購郵件。

机器学习的构建应该自顶向下还是自底向上?也许从孩子的世界可以找到答案

自底向上的方法可以找出有用信息並且解決諸如垃圾郵件攔截這類的任務。為了達到這樣的目的,神經網絡系統需要進行它的自學習過程。他對一個巨大的數據庫進行評估,對其中的樣本進行標記,區分垃圾郵件和正常郵件。最後,電腦提取出區分垃圾郵件和正常郵件的一系列特徵。

通過相同的方式,神經網絡可以區分標記為“貓”或“房子”“劍龍”之類的圖片。通過提取相同類別圖片的共同屬性,來識別從未見到過的新的圖片。

另外一種稱之為非監督學習的算法也是自底向上方法中的一個分支。但是這種方法並不對數據進行標記,它通過尋找不同聚類中的屬性來進行學習。通過對不同的網絡節點分配不同的任務,來達到這種深度學習。比如眼睛和鼻子,總是在臉上彼此相鄰,而不是以樹或者山為背景。

一篇2015年發表於Nature上的文章顯示了自底向上方法的優越性。Google持股的DeepMind公司的研究員使用了深度學習與強化學習兩種自底向上的手段相結合,開發出了一款能熟練掌握Atari 2600遊戲的電腦程序。

机器学习的构建应该自顶向下还是自底向上?也许从孩子的世界可以找到答案

該程序一開始對這款遊戲一無所知,它進行隨機的嘗試並根據反饋信息來決定最佳的移動策略。深度學習幫助該系統識別屏幕中的特徵,當它獲得高分時,強化學習給出正反饋。通過此種方法,電腦快速的掌握了幾款遊戲,甚至比專業的人類玩家表現更優秀。對於其他人類易於掌握的遊戲來說,人工智能的表現也十分出眾.

人工智能從數以百萬計的例如ins照片,郵件,或是錄音中獲取信息,並進一步學習的能力,使得原本看似不可能由機器來完成的問題現在變得易於解決。即便如此,如果我們再回頭看看鄰居家的小朋友就會驚訝於人類更強大的能力,他可以從極有限的信息和訓練中,輕而易舉的獲得識別動物或是對問題給出回答的能力。對於五歲的孩子來說的簡單問題,有些時候對於機器來說依舊是難以解決的。甚至比讓它們學會下國際象棋還難。

計算機需要通過大量的數據訓練,才能識別出一張長了鬍子的大毛臉,而完成此項任務對人類而言不費吹灰之力。雖然計算機可以通過大量的訓練識別出一個它從未見過的貓咪圖案,但是由於計算機與人類的思維方式不同,依舊有些本是貓咪的圖片沒有被標記,而另外一些圖片被進行了誤標記。而這種錯誤對人類而言基本不可能發生

飛流直下

近些年來,在人工智能領域,另一條解決方法是向著相反的路線而進行的,既:自頂而下。該種方法基於這樣一個假設:我們可以從如我們的大腦的工作方式一樣,從具體的信息中抽象提取出我們所要的信息,是一種從一般到特殊的過程。我們可以像科學家們一樣,運用這些概念與假設來預測未知事物。

為了更好地理解這個概念,我們回到一開始提出的垃圾郵件判別問題中來。我收到了一封來自一個名稱奇怪的雜誌社編輯的郵件,郵件中提到了我寫過的一篇文章並且希望我為該雜誌再寫一篇文章發表。沒有提到:尼日利亞,廣告或者百萬美金這些概念。似乎與垃圾郵件的特徵一點也不吻合。但是通過自頂而下的思考方式,我卻很可能把該郵件定性為一封垃圾郵件。

垃圾郵件試圖利用人們的貪婪來賺錢,學者們對於發表文章的貪婪和贏得壹佰萬元或者獲更好的體驗的渴望是一樣的。合法的開架雜誌已經開始從作者方面收錢而不是從讀者方面收錢,而且我的工作與這個期刊所覆蓋的內容也並沒有什麼關聯。綜上所述,我得出了該郵件是為了騙取學者們自掏腰包發表一個山寨期刊的垃圾郵件,通過在搜索引擎中檢查該編輯的通訊地址,可以進一步驗證推斷的正確性。

机器学习的构建应该自顶向下还是自底向上?也许从孩子的世界可以找到答案

計算機科學家們會把我的思考過程稱為“生成模型”。一種能夠代表諸如貪婪,欺騙等抽象概念的模型。用此種模型,同樣可以推斷出一封郵件是否是垃圾郵件。通過該模型,我可以瞭解到垃圾郵件是如何工作的,也可以使我能夠有能力區分其他種類的垃圾郵件。當我收到來自雜誌社的郵件時,這個模型讓我能一步步推斷出某郵件之為垃圾郵件的原因。

在20世紀五六十年代興起的第一波人工智能浪潮中,生成模型具有不可替代的作用,但是它們也有其限制。首先,大部分模式可以用不止一種假設來解釋。比如拿前面我給出的郵件為例,可能那封關於在開架雜誌上發表文章的郵件是合法的。所以,生成模型必須與“概率”相伴。概率理論也是最近該領域中的重要研究方法。其次,關於這些概念的來源是未知的,儘管諸如Descartes ,Noam Chomsky 這些思想家們認為這些是我們與生俱來的,但是我們真的生來就明白貪婪或者欺騙會倒置欺詐嗎?

以十八世紀的統計學家和哲學家Thomas Bayes而命名的貝葉斯模型,是自頂而下方法中的一個重要分支。試圖去彌補生成模型中提到的兩個缺點。通過貝葉斯推理的手段結合了生成模型和概率論。概率生成模型可以告訴你在某假設前提成立的條件下,某件事情發生的可能性,舉例來說,如果那封郵件是一封騙局那麼它可能會吸引貪婪的讀者,但是,一個能吸引貪婪讀者的消息並不一定都是騙局。貝葉斯模型能夠使你在現有假設的基礎之上進行精確的計算。

自頂向下的方法更適合我們運用於瞭解孩子們的學習過程,在過去的十五年中,研究人員們致力於用貝葉斯理論來研究孩子們學習原因和結果關係的發展,預測孩子們在何時何種情況下會形成對於世界的新認知,又是在何種情況下打破這個認知的。

貝葉斯方法也是教會機器像人類一樣思考的好方法。識別不熟悉手寫字母這項任務對於人來說輕而易舉,對於計算機來說卻很困難。2015年MIT的Joshua B和紐約大學的Brenden M. Lake以及他們的同事們在Science上面發表了一篇研究,他們設計出了一種可以達到此目的的人工智能系統。

机器学习的构建应该自顶向下还是自底向上?也许从孩子的世界可以找到答案
圖:學習事物的抽象,並從已有的概念創造新的概念

當我們在日本卷軸畫上看到一個從見過的文字時,我們也可以較輕鬆的分辨出它們與另外一個卷軸上的文字是否是一個體系。你也許能臨摹幾筆,甚至創造出一個假的日本字。也能非常明確地分辨出它們與韓國文字或俄羅斯文字的不同。Tenenbaum的團隊可以利用軟件來實現此功能。

對於自底而上的方法而言,計算機需要輸入成千上萬的歷程來學習分辨一種新文字。而使用貝葉斯理論,我們給定機器一種該文字的基本模型;比如:筆畫是向左還是向右,當軟件識別完其中一個時,它會自動開始識別下一個。當特定的文字被程序識別時,程序推斷書寫該文字的筆畫順序,並且在內部建立一系列筆畫。正如我推斷一封郵件是否是詐騙郵件的過程相似。Tenenbaum的這種自頂向下的模型比機器學習模型工作的更好,並且與人類思考的行為契合度更高。

完美的結合

自底向上與自頂向下的兩種機器學習的方法,有其各自的優勢和劣勢。對於自底向上的方法而言,計算機不需要理解什麼是貓這個概念,但是卻需要大量的信息輸入。自頂向下的貝葉斯體系可以從幾個例子中總結歸納出經驗,但是卻需要大量的前期工作,從而做出合理的抽象和假設。兩種方法都只能工作在相對較窄的有限領域之內,例如前面提到的識別文字,圖片(貓)或是Atari遊戲。

孩子們卻不會受制於這些約束。發展心理學家們發現,孩子們善於尋找每種方法的優點,並且把它們發揚光大。他們可以從一兩個例子中學習提取,如同自頂向下的方法那樣,同時他還可以從例子中總結歸納,如同自底下上的方法。

孩子們擁有的能力遠不僅限於此,他可以創造出在他的背景知識和經歷之外的東西。有的孩子甚至提出,如果一個成年人想返老還童,就應該拒絕食用任何健康的蔬菜,因為孩子們吃了這些而長大變成熟了。我們根本不知道這些新奇的想法是從哪裡冒出來的!

當我們面對人工智能也許帶來的挑戰時,也應該想想人類大腦偉大而神秘的力量。人工智能和機器學習的概念聽上去十分嚇人,在某種程度上也許確實如此,軍隊裡面甚至已經開始了研製於此相關的武器。無知的愚昧可能會引起比人工智能更加令人恐慌的災難性後果,人類也需要擁有比過去更高的智慧來應對這些新科技的挑戰。相比於對於人類思考方式的認識的顛覆性提高,摩爾法則在現階段更加具有影響力。隨著計算能力的飛速提高,我們不應當新技術視為洪水猛獸,而是要善加利用不斷地造福人類。

本文轉自將門創投,作者 Alison Gopnik,文章為作者獨立觀點,不代表芥末堆立場。


分享到:


相關文章: