本文來源AI新媒體量子位（公眾號ID:qbitai ）。
本文共1789字，建議閱讀5分鐘。
本文介紹了人工智能、機器學習界的泰斗Hinton提出反向傳播理念，如今反向傳播已經成為推動深度學習爆發的核心技術。
32年前，人工智能、機器學習界的泰斗Hinton提出反向傳播理念，如今反向傳播已經成為推動深度學習爆發的核心技術。
然而反向傳播自誕生起，也受到了無數質疑。這些質疑來自各路科學家，也來自Hinton自己。
主要是因為，反向傳播機制實在是不像大腦。
去年九月，Hinton站在眾人面前，親口說出他對反向傳播“深感懷疑”，並且振臂一呼的號召：“我的觀點是把它全部拋掉，重頭再來。”
他不止這麼說，也在親自踐行。
這些年來，科學家們也為反向傳播尋找了不少“生物學上更合理”、也就是更像大腦工作機制的替代品。但這些是通往未來的道路麼？
Hinton決定親自嘗試一下。他集結了來自DeepMind和多倫多大學的強大力量，對這些替代品進行了一次評估。結論是：
在比較複雜的分類任務 (如ImageNet) 裡，那些更像大腦機制的算法，都遠不及反向傳播。
對比測試
在Hinton參與的新論文Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures裡，反向傳播的挑戰者包括：
- 1號選手，目標傳播 (Target-Propagation，TP) 。
- 2號選手，反饋對比 (Feedback Alignment，FA) 。
- 3號選手，目標差傳播 (Difference Target Propagation，DTP) 。
三位選手，還各自擁有幾種變體。
加上守擂方反向傳播，四者挑戰的有MNIST、CIFAR以及最難的ImageNet這幾個分類數據集。
誰的學習能力，能更好地推廣到複雜的數據集裡，就代表它更有潛力，去解釋大腦的運作。
先來看MNIST和CIFAR兩項比賽的成績。
△下劃線加粗為最佳
無論是在全連接 (Fully-Connected) 還是局部連接 (Locally-Connected) 的神經網絡中，反向傳播的表現都是最好的。
除此之外，用BP訓練的CNN，擁有共享權重 (Shared Weights) ，也能有效提升模型的表現。
這一點值得注意，是因為CNN在生物學意義上，有一個“不太可取”的特性，就是權重共享。
因為，每個神經元的權值，都需要非常精確地傳遞開來，這個操作在自然界裡太不現實。
不過，數據證明，權重共享並不是“不可取”。它的存在，大大減少了自由參數，讓模型的學習能力更容易向複雜任務中推廣。於是，BP ConvNet擊敗了親近自然的方法，和它們更加自然的變體。
說到更加複雜的任務，下一個比賽場地，就是ImageNet數據集了。
遺憾的是，在ImageNet這座大山面前，所有的方法成績都不理想。
但在所有的不理想中間，反向傳播的表現依然優於其他選手，且以卷積網絡的版本為最優。
也就是說，即便無法像人類一樣輕取複雜問題，反向傳播依然離這個目標更近，加上共享權重就更近。
研究團隊在論文中說，如果想從生物學上，找到學習效果更好的算法，反向傳播的挑戰者們還有很長的路要走。
不論是現有的“生物學合理”的算法，還是大家要找的新方法。
是啊，路還長，這次的比賽成績也只是階段性結果。
未來，翹首以待。
論文
為了完成這個研究，來自多家著名機構的學者，組成了一個特混戰隊。
其中Hinton來自多倫多大學和Google Brain，Sergey Bartunov（一作）和Adam Santoro來自DeepMind，Blake A. Richards來自多倫多大學。Timothy P. Lillicrap來自DeepMind和UCL。
外界對這篇論文也有一些很強烈的讚譽之聲。
譬如，有人說這是一個偉大的研究，隨著時間的推移，這些討論會變得越來越有意思；也有人說被這個研究驚到了。
當然，也有人持保留意見。
不知道你會怎麼認為，去讀Paper吧。
這篇評估了反向傳播各路替代品的論文是：
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
作者：Sergey Bartunov, Adam Santoro, Blake A. Richards, Geoffrey E. Hinton, Timothy Lillicrap
最近這篇論文也發到了arXiv上，大家有空可以看一看。
傳送門：
https://arxiv.org/pdf/1807.04587.pdf
特立獨行
Hinton從來都不是一個跟隨主流的人。他聲名煊赫的整個家族都瀰漫著這樣的一種氣質。
1972年，25歲的Hinton在愛丁堡大學攻讀博士學位，並把神經網絡作為研究重點。導師幾乎每週都會提醒他在浪費時間。然而Hinton不為所動。
實際上幾十年來，Hinton一直徘徊在人工智能研究的邊緣地帶。他像一個局外人一樣堅守著一個簡單的觀點：計算機可以像人類一樣思考，依靠直覺而不是規則。
一直到大約2009年前後，神經網絡才又引發更多人的關注。談到那些灰暗的日子，Hinton給出了這樣的回答：
“是什麼支持著你不放棄？”
“其他人都錯了。”
“我們本來在體制之外，力圖證明傳統路線是錯的，然而有趣的是，轉眼間我們成了正統。”Hinton的學生、OpenAI創始人Ilya Sutskever說。
作為機器學習的先鋒，Hinton從中開闢了“深度學習”這個子領域，這讓計算機可以自動建立起一層層的智慧。
得益於近年來計算力的猛增，深度學習成為主流方法，從我們智能手機裡的語音識別、圖像探測到亞馬遜為你推薦的圖書，都離不開它。
因為患有腰間盤突出，坐下變成一種痛苦，從2005年開始，Hinton就不再坐著了，工作時就一直站著。而現在站立工作，似乎也是一種風潮。
“我領先於潮流，”Hinton說。
閱讀更多 THU數據派 的文章
