斯坦福教授駱利群:為何人腦比計算機慢1000萬倍,卻如此高效?

斯坦福教授駱利群:為何人腦比計算機慢1000萬倍,卻如此高效?

大數據文摘出品

編譯:王一丁、Shan Liu、小魚

AI源於人類大腦的結構,並嘗試達到與大腦相當的能力。那麼二者的差異究竟在哪裡?斯坦福大學神經生物學教授駱利群(Liqun Luo)認為,大腦性能高於AI是因為大腦可以大規模並行處理任務。

一起來看李飛飛教授推薦的這篇文章,深入瞭解大腦與計算機相似性和差異性。

斯坦福教授駱利群:為何人腦比計算機慢1000萬倍,卻如此高效?

人類大腦的構造十分複雜,它由大約1千億個神經元組成,並由約100萬億個神經突觸連接。人們經常將人腦與計算機——這一有超強計算能力的複雜系統相比較。

大腦和計算機都由大量的基本單元組成。神經元和晶體管,這些基本單元互相連接構成複雜的網絡,處理由電信號傳導的信息。宏觀來看,大腦和計算機的體系結構非常類似,由輸入、輸出、中央處理和內存等獨立的單元組成[1]。

大腦和計算機,哪一種系統解決問題的能力更強呢?鑑於過去幾十年計算機技術的迅速發展,你可能會認為計算機更具優勢。的確,在一些特定領域,通過編寫程序可以使計算機在複雜的競賽中擊敗人類大師,遠至上世紀90年代國際象棋比賽,近及與AlphaGo的圍棋對決,以及參加知識競賽類電視節目(例如Jeopardy)。

然而,計算機在面對許多現實世界的任務時遠不及人類——比如在擁擠的城市街道上識別自行車或特定行人,或伸手端起一杯茶並穩穩地送到嘴邊,更不用說那些需要概念化和創造力的工作。

那麼,為什麼計算機擅長某些任務,而大腦在其他方面表現更優呢?對計算機和大腦進行比較,將為計算機工程師和神經科學家的工作提供指導意義。

在現代計算機時代的開端,一本短小而精深的著作《計算機與人腦》開展了這種比較。該書作者是著名的博學家馮·諾伊曼,他在20世紀40年代首次設計了計算機的體系結構,仍是現代大多數計算機的體系結構的基礎[2]。讓我們看看下圖中的數字。

斯坦福教授駱利群:為何人腦比計算機慢1000萬倍,卻如此高效?

就基本操作的速度而言,計算機有巨大優勢[3]。目前,個人計算機能以每秒100億次操作的速度執行基本算術運算(如加法運算)。

大腦的速度可以通過神經元相互通信的過程來估算。

例如,神經元激發動作電位——在神經元細胞體附近釋放脈衝電流,並沿著軸突傳遞,軸突連接著下游神經元。在上述過程中,信息按脈衝電流的頻率和時間進行編碼,且神經元放電的頻率最高約為每秒1000次。

又如,神經元主要通過突觸釋放神經遞質來將信息傳遞給其他神經元,接收到信息的神經元在突觸傳遞的過程中將神經遞質結合轉換回電信號。最快的突觸傳遞大約需要1毫秒。因此無論在脈衝電流還是突觸傳遞方面,大腦每秒最多可執行大約1000次基本運算,比計算機慢1000萬倍。

注:假設算術運算必須將輸入轉換為輸出,所以大腦運算的速度受到神經元信息傳遞的基本操作的限制,如動作電位和突觸傳遞。當然也有例外情況,例如,具有電突觸的無動作電位神經元(神經元之間的連接不存在神經遞質)原則上傳輸信息的時間要快於1毫秒;同一神經元的樹突傳遞信息的速度也比較快。

計算機在基本操作的精確度方面有巨大優勢。計算機可以根據位數(二進制數字,即0和1)來表示不同精確度的數字。例如,用32位二進制數表示數字精度可以達到1/(2^32)或1/42億。實驗表明,神經系統中的大部分數量(例如,神經元的發射頻率,通常用於表示刺激的強度),由於生物噪聲可能會上下浮動幾個百分點,精度最高可以達到1/100,比計算機低幾百萬倍。

注:噪聲反映了神經生物學的多個過程,例如神經遞質釋放具有概率性。例如,在重複試驗中,相同的神經元可能會產生不相同的脈衝電流以響應相同的刺激。

專業的網球運動員可以計算出網球以160英里/小時飛行的軌跡

斯坦福教授駱利群:為何人腦比計算機慢1000萬倍,卻如此高效?

大腦進行計算時,同時兼顧了速度和準確性。例如,當網球以每小時160英里的速度飛出後,職業網球運動員可以計算網球的運動軌跡,移動到球場上的最佳位置,將手臂放到適當的位置上,並在幾百毫秒內揮動球拍,將球擊回給對方。

此外,大腦在控制身體並完成擊球動作的過程中,其能耗大約只有個人計算機的十分之一。大腦如何實現這一過程?計算機和大腦之間的一個重要區別在於兩個系統內處理信息的方式。

計算機主要以串行步驟執行任務,工程師也是通過創建順序指令流來進行計算機的程序設計。因為串行步驟中的產生的誤差會累積和放大,所以對於這種串行操作的級聯,對每個步驟的精度要求都特別高。

大腦也使用串行步驟進行信息處理,在將網球擊回這一實例中,信息從眼睛流向大腦,然後流向脊髓,以控制腿部,軀幹,手臂和手腕的肌肉收縮。

但同時,大腦也利用數量眾多的神經元和神經元之間的突觸連接來大規模並行處理任務

。例如,視網膜中的感光細胞捕捉到移動的網球,並將光信號轉換為電信號。這些信號被並行傳遞到視網膜中的許多不同類型的神經元。

當源自感光細胞的信號傳遞至視網膜中的2~3個突觸連接時,並行神經元網絡已經提取了網球的位置,方向和速度的信息,並將這些信息在同一時間傳輸至大腦。同樣,運動皮層(大腦皮層中負責意志運動控制的部分)並行發送命令以控制腿部,軀幹,手臂和手腕的肌肉收縮,從而使身體和手臂同時運動,準備好回擊飛來的網球。

更多詳細內容請戳:

http://nautil.us/issue/5/Fame/the-brain-on-trial

大腦之所以可以執行大規模並行任務處理,是因為每個神經元都從許多神經元接收信息,並將信息發送到其他神經元。哺乳動物輸入和輸出神經元的平均數量級為1000(相比之下,每個晶體管全部的輸入和輸出僅靠三個引腳)。單個神經元的信息可以傳遞到許多平行的下游網絡。

同時,處理相同信息的神經元可以將它們的輸入信息整合到相同的下游神經元,這種整合特性對於提高信息處理的精度特別有用。例如,由單個神經元表示的信息可能含有噪聲(比如說,精確度可以達到1/100),通過求取100個攜帶相同信息的神經元的輸入信息的平均值,

共同的下游神經元能以更高的精度提取信息(精度約為1/1000)。

注:假設每個輸入的平均方差σ約等於噪聲的方差σ(σ反映了分佈的寬度,單位與平均值相同)。對於n個獨立輸入的平均值,平均期望方差為σ=σ/√•n。在本文示例中,σ=0.01,n=100,因此平均方差σ=0.001。

計算機和大腦的基本單元的信號模式既有相同點又有差異性。晶體管採用數字信號,它使用離散值(0和1)來表示信息。神經元軸突中的脈衝電流也是一種數字信號,因為任何時刻,神經元要麼在釋放脈衝電流,要麼處於靜默狀態。當神經元釋放脈衝電流時,其信號的大小和形狀大致相同,這些屬性有助於脈衝電流的遠距離傳播。

此外,神經元也釋放模擬信號,即使用連續的值來表示信息。一些神經元(像視網膜中的多數神經元)並不釋放脈衝電流,它們的輸出信號通過分級電信號進行傳遞(與脈衝電流不同,它的大小可以不斷變化),這種信號比脈衝電流能承載更多信息。神經元的接收端(信號通常由樹突進行接收)也使用模擬信號來集成數以千計的輸入,使樹突能夠執行復雜的計算。

注:例如,樹突可以作為重合檢測器對不同上游神經元的同步興奮輸入進行求和。樹突也可以從興奮輸入中減去抑制輸入。樹突中電壓門控性離子通道能夠使其表現出“非線性”,例如將簡單信號中的電信號進行放大。

你的大腦比計算機慢1000萬倍

斯坦福教授駱利群:為何人腦比計算機慢1000萬倍,卻如此高效?

大腦的另一個顯著特點是神經元之間的連接強度可以根據活動和經驗進行修改,這一點可以在回擊網球的例子中得以體現,神經科學家普遍認為,這種特點也是學習和記憶的基礎。重複訓練使得神經元網絡可以更好地執行任務,從而大大提高速度和精度。

在過去的幾十年裡,工程師們通過研究大腦獲得的靈感來改進計算機的設計。並行處理策略和根據實際情況來修改連接強度,已經在現代計算機設計中得以體現。例如,增加並行性,在計算機中使用多核處理器,已經是現代計算機設計的趨勢。又如,機器學習和人工智能領域的“深度學習”近年來取得了巨大的成功,並且促進了計算機和移動設備中的目標和語音識別方面的快速發展,這都得益於對哺乳動物視覺系統的研究[4]。

與哺乳動物視覺系統一樣,深度學習採用多層結構來表示越來越抽象的特徵(例如視覺對象或語音),並且通過機器學習來調整不同層之間的連接權重,不再依賴工程師的設計。這些最新進展已經擴展到了計算機執行任務的指令表中。當然,大腦依然比先進的計算機具有更高的靈活性,泛化和學習能力。

藉助於計算機,神經科學家將逐步發掘大腦的工作機理,也有助於激發工程師們的靈感,進一步改善計算機的體系結構和性能。無論誰在特定任務中勝出,跨學科的相互影響將推動神經科學和計算機工程的發展。

本文發表於《智庫:四十位科學家探索人類經驗的生物根源》(Think Tank: Forty Scientists Explore the Biological Roots of Human Experience),耶魯大學出版社出版。

References

[1]Luo, L. Principles of Neurobiology (Garland Science, New York, NY, 2015)

[2]von Neumann, J. The Computer and the Brain (Yale University Press, New Haven, CT, 2012), 3rd ed

[3]Patterson, D.A. & Hennessy, J.L. Computer Organization and Design (Elsevier, Amsterdam, 2012), 4th ed.

[4]LeCun, Y. Bengio, Y., & Hinton, G. Deep learning. Nature 521, 436–444 (2015)


分享到:


相關文章: