768顆芯片、1億個神經元!迄今最強神經擬態系統誕生


768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

芯東西(ID:aichip001)文 | 心緣

更智能的計算系統已經出現!

芯東西3月19日報道,今天,英特爾公佈其迄今為止最大規模神經擬態計算系統Pohoiki Springs,包含1億個神經元!這一大小,堪比小型哺乳動物的大腦容量。

英特爾神經擬態計算實驗室主任Mike Davies表示:“Pohoiki Springs將我們的Loihi神經擬態研究芯片擴展了750倍以上,同時可在低於500W的功率水平下工作。”

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

Loihi,一座夏威夷海底不斷噴發的活火山,每一次噴發都會擴大夏威夷島的範圍。

三年前,英特爾以這座火山命名了其模擬大腦運行機制的新型神經擬態芯片。

這寄寓了英特爾對神經擬態計算的深切期望,希望它能像火山般通過不斷自我學習拓展疆域,以超低功耗提供更強的人工智能能力。

如今,神經擬態計算已被普遍看作是解決人工智能等計算難題的重要路徑。著名研究機構Gartner預測,到2025年,神經擬態芯片有望取代GPU,成為先進人工智能部署的主要計算架構。

與傳統處理器相比,英特爾Loihi芯片速度快1000倍,能效高10000倍。

英特爾今天公佈的Pohoiki Springs進一步擴展,將768顆Loihi神經擬態研究芯片集成在5臺標準服務器大小的機箱中,形成了一個更強大的機架式數據中心繫統。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

▲數據中心機架式系統Pohoiki Springs

這一系統將提供給英特爾神經擬態研究社區(INRC)的成員,以擴展其神經擬態工作來解決更大規模且更復雜的問題。

從第一顆Loihi芯片誕生到如今發佈最大神經擬態系統,英特爾神經擬態計算研究如何起步?

如今各種計算架構百家爭鳴,英特爾神經擬態計算的技術特點是什麼?它致力於解決哪些核心問題,又克服了哪些技術挑戰?

同樣是支持大規模運算任務的前沿計算技術,神經擬態系統與量子系統有哪些不同?

隨著1億個神經元的Pohoiki Springs系統問世,神經擬態計算發展到什麼階段?英特爾是否已有明確的商業計劃?

今天早上,英特爾神經擬態計算實驗室主任Mike Davies接受芯東西等媒體的線上採訪,對上述問題進行一一解答。Mike全面解讀了英特爾神經擬態計算的研究進展、技術特性、應用示例與所面臨的商業化挑戰

Mike告訴我們,英特爾不打算做面向特定應用的專用芯片,而是希望能讓神經擬態計算實現和馮·諾依曼架構相似的通用性。

“就我們而言,距離將產品推向市場,我們還將等待數年。”Mike說。

一、像大腦一樣聰明的自主學習芯片,靈感來自交換機和搖頭娃娃?

想想你是怎麼認知事物的?大腦神經網絡通過脈衝傳遞信息,根據脈衝時間調節突觸強度或突觸連接的權重,並把這些變化存儲在突觸連接處。

大腦神經網絡與其環境中多區域之間相互作用,就產生了種種智能行為。它能同時學習語音任務、視覺任務、決策任務、操作控制等許多任務,並且僅僅消耗非常低的能量。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

在自然界,很多昆蟲大腦的神經元遠低於100萬個,就能做到實時視覺跟蹤物體、導航和躲避障礙物。

那麼在硬件層面上,能不能複製大腦神經元組織、通信和學習方式,打造出一種更智能的系統呢?

這種顛覆傳統計算機架構的新型計算模式,就是神經擬態計算

知易行難,要實現這一設想,需要經歷漫長的研究。

英特爾在神經擬態計算領域的工作是基於幾十年來的研究與合作。這項研究是由加州理工學院Carver Mead教授最先開始的,他以半導體設計的基礎性工作而聞名。芯片專業知識、物理學和生物學的結合,為這一創想提供了可行的土壤。

Mike Davies是英特爾神經擬態計算實驗室主任,他曾任職於Fulcrum Microsystems研發以太網交換機。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

▲英特爾神經擬態計算實驗室主任Mike Davies

近十年的工作令Mike獲益頗豐,不過隨著在工作中愈發遊刃有餘,一向酷愛登山、漂流、潛水、馬拉松長跑等極限挑戰的Mike,愈發渴望去探索與挑戰新的科技極限。

轉機發生在2011年,Fulcrum因實現了以太網交換機芯片異步設計研究的商業化而被英特爾收購,Mike因此加入英特爾。

“事實證明,異步設計真的非常適合神經擬態芯片。”英特爾研究院立即讓Mike和團隊開始相關工作,研究神經擬態原型架構、算法、軟件和系統。

2017年,英特爾第一款自主學習神經擬態芯片Loihi問世。它採用14nm工藝,管芯尺寸60mm,包含超過20億個晶體管、13萬個神經元和1.28億個突觸。

“我們試圖觀察、學習和理解大腦的運行,並在計算機芯片上進行復制。”Mike這樣解釋自己的工作。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

▲英特爾神經擬態芯片Loihi

和大腦相似,Loihi芯片將訓練和推理整合到一個芯片上,實現了存儲與計算的融合,擁有超級並行性能和異步信號傳輸能力,並支持多種學習模式的可擴展片上學習能力,即能夠一邊運作一邊學習。

它採用一種新穎的“異步脈衝”方式來計算,就像大腦一樣根據環境的反饋來自動學習如何操作,隨著時間的推理,變得越來越智能、快速和高效。

同時,它也具有大腦般低功耗的特性,與訓練人工智能系統的通用計算芯片相比,Loihi芯片的能效提升了1000倍。

怎麼讓Loihi芯片模擬大腦進行學習呢?Mike曾展示這樣一個有趣的實驗。

在Loihi芯片上運行簡單的圖像識別神經網絡,就如幼兒探索未知事物一樣,Loihi先通過“眼睛”看到物體,再輸入物體的名稱,這樣它就能快速準確地辨別出這是什麼東西。

研究人員將著名科學家羅莎琳·富蘭克林造型的搖頭娃娃作為訓練工具,360度旋轉,讓Loihi全方位記住羅莎琳。訓練一次後,Loihi便能在4秒內在一些有橡膠鴨子、玩具大象和搖頭娃娃的圖片中,快速辨別出羅莎琳搖頭娃娃。

而這個實驗只用了Loihi不到1%的芯片資源。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

▲Mike Davies手持科學家羅莎林·富蘭克林造型的搖頭娃娃,讓Loihi芯片能快速學會識別它

這只是令人興奮的小例子之一。隨後,英特爾和INRC的研究人員還將Loihi芯片成功應用在實時識別手勢、使用新型人造皮膚讀取盲文、使用學習到的視覺地標來確定方向等多種任務中,所有這些功能僅僅消耗數十毫瓦的能量。

二、超低延時、超低功耗,比量子系統先落地

Mike告訴我們,神經擬態計算相較傳統計算架構的一大優勢不在於吞吐量,而在於超低延時。

儘管傳統計算架構非常擅長調用大量數據並行,但它們得先積累所有數據樣本,然後才能做計算處理。

神經擬態計算架構則不然,它可以幾乎實時地從數據中學習、計算和產生答案,最終做出的預測可能比傳統機器學習模型的預測更為準確。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

數據中心就對低延時的需求非常大,例如一家購物網站的推薦系統,就要求在顧客購物時儘可能無延時的瞬間生成推薦。

此外,超低功耗也是神經擬態計算的亮點。“功率限制會影響計算系統的運營成本,因此降低功耗非常必要。”Mike說。

能耗是能源消耗是大規模AI部署的障礙,馬薩諸塞大學大學的研究人員表示,開發一個單一的AI模型,可以產生相當於五輛美國普通汽車的終身碳排放量

而神經擬態計算之所以能帶來能效的提升,關鍵在於實現存儲和計算的完全融合。這種存算一體的結構,最小化了數據傳輸的距離,節約了傳統計算架構中處理單元和存儲器間通信所消耗的時間和功耗。

那麼同樣都支持大規模運算任務,神經擬態系統和量子系統有怎樣的區別?

Mike認為,兩者的不同點在於正式使用的大體時間範圍。

英特爾現在已經有了可使用的支持1億神經元的神經擬態系統,但距離擁有1億量子比特的計算系統還很遙遠。

建立在疊加性質的量子系統擁有獨特的優勢,Mike表示,在某些任務中,它的理論可擴展性要超過神經擬態系統。

“但我們的特有優勢是現在就可以用上,這是因為神經擬態系統和傳統計算系統很像,都用到了硅,但量子系統需要本質上的創新和突破。”Mike說。

三、三年磨礪,從單芯片到最強類腦系統

單芯片實驗成功後,英特爾神經擬態研究持續產生新的研究進展。

一方面,英特爾在2018年3月建立英特爾神經擬態研究社區(INRC),彙集產學政界頂尖研究人員,使用Loihi芯片為研發活動的架構焦點,推動神經擬態算法、軟件和應用程序的研發。

過去兩年間,INRC的規模擴大逾兩倍,現有超過90家組織,包括全球領先的大學、政府實驗室、神經擬態類初創公司,埃森哲、空中客車、通用電氣、日立等知名企業均已加入INRC。

有很多算法示例引起INRC成員們的興趣,比如空中客車正在研究如何實現快速、低延時的惡意軟件檢測。

另一方面,英特爾在擴展神經擬態系統的道路上一往無前。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

2018年12月,英特爾USB形狀的神經擬態系統Kapoho Bay出場。該系統由2顆Loihi芯片、26.2萬個神經元

組成,並支持各種實時邊緣工作負載。

2019年7月,英特爾推出神經擬態計算機Pohoiki Beach,包含64個Loihi芯片、800萬個神經元,以解決複雜的計算密集型問題,包括在稀疏編碼、圖搜索、同步定位和建圖(SLAM)、路徑規劃、約束滿足問題等等。

今日公佈的Pohoiki Springs,是迄今為止最大規模的神經擬態計算系統,由24個Nahuku主板組成,每個主板32顆芯片,總共集成了768顆Loihi芯片、1億個神經元,將Loihi的神經容量增加到小型哺乳動物大腦的大小。

這是在向支持更大、更復雜的神經擬態工作負載的道路上邁出的重要一步,為需要實時、動態的數據處理新方法的自主、互聯的未來奠定了基礎。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

▲英特爾Nahuku主板

“如果我說從800萬(個神經元)增加到1億相對簡單,我想我的團隊不會同意。”Mike回憶道,從調試、測試大量芯片,到解決芯片製造和軟件等方面的問題,這其中有很多令人頭痛的事情。

即便是現在,常規計算與編譯系統仍然是一個瓶頸。“我們沒法用傳統計算架構的相關軟件工具,因此更實際的問題是,必須從晶體管重建整個軟件系統堆棧。”Mike說。

接下來,Mike和他的團隊將在研究中投入更多的時間和想法,以探索更有效的方式來創造更接近人腦規模的神經擬態計算系統。

四、前景極佳的三大算法示例

INRC成員將使用英特爾Nx SDK和社區提供的軟件組件,通過雲在Pohoiki Springs上訪問和構建應用程序。

Mike向我們展示了一些前景極佳且高度可擴展、正為Loihi開發的算法示例:

1、限制條件滿足

數獨遊戲、航班調度、快遞配送規劃……限制條件滿足問題在現實世界中幾乎無處不在。

這需要對大量潛在的解決方案進行評估,以找到能滿足特定限制條件的解決方案。

Loihi可以通過高速並行探索多個不同的解決方案,加快此類問題的解決。

2、搜索圖形和模式

每天,人們都會在基於圖形的數據結構中進行搜索,以找到最佳路徑和密切匹配的模式,例如獲取駕駛方向或識別人臉。

Loihi已展示出快速識別圖形中的最短路徑和執行搜索類似圖像的能力。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

3、優化問題

可對神經擬態架構進行編程,使其動態行為能夠隨時間的推移對特定目標進行數學優化。

此行為可應用於解決現實場景下的優化問題,例如最大限度提升無線通信信道的帶寬,或分配股票投資組合,以在風險最小化的情況下達到目標收益率。

五、商業化挑戰:通用性不足

“英特爾在商業化上面臨的挑戰是,我們確實需要看到大量或有效解決的問題。”Mike說,相比專用芯片,他們更希望實現更通用的計算。

比如神經擬態芯片可以用作支持人工智能“聞出”有害物體的氣味來檢測危險物品,但這種商業應用非常專業,需要針對特定應用目標的專用芯片進行固化。

Mike說:“我們真正感興趣的,是找到一種像馮·諾依曼架構那樣相對通用的新型計算架構。反之亦然,馮·諾依曼架構總是比神經擬態學能夠更有效地解決架構問題,但這才是真正擴展可應用通用計算產品組合的開始。”

儘管英特爾已經展示出很多有趣的神經擬態計算示例,但Mike認為:“我們還沒有足夠廣泛的示例,使我們有信心將其稱為具有通用性的處理器。”

Mike還提到,當前有些初創公司實際上比英特爾更早地商業化了其中的一些應用想法。

六、危品檢測、新藥研發,應用潛力很豐富

雖說英特爾Loihi神經擬態芯片還在走向通用化的道路上,不過迄今為止,它已經在展現出在很多智能領域的應用價值。

就在前幾天,英特爾和美國康奈爾大學在《自然-機器智能》期刊上聯合發表一篇論文,展示Loihi芯片能在有明顯噪聲和遮蓋的情況下,“聞出”10種危險化學品。

論文稱,Loihi僅需單一樣本便可學會識別每一種氣味,且不會破壞它對先前所學氣味的記憶,要達到與Loihi相近的識別準確率,傳統深度學習解決方案需要的訓練樣本,至少是Loihi所需樣本的3000倍。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

除了危險物質檢測外,神經擬態芯片在智能監控、圖片搜索、新藥研發、資產分配、環境監測、工廠質控等方面均頗具應用潛力。

Mike曾預測,機器人將是神經擬態計算的殺手級應用。

加州理工學院AMBER實驗室的Rachel Gehlhar和加拿大國家研究委員會的Terry Stewart,曾使用英特爾Kapoho Bay Loihi設備控制AMPRO3假肢,以使該假肢能夠更好地適應行走時無法預料的運動學障礙。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

▲Terry Stewart用英特爾Kapoho Bay設備控制AMPRO3假肢

在智能家庭應用中,想要入室搶劫的小偷,在進入房間時就可能被智能監控攝像頭中的Loihi芯片所識別,併發出警報。

在消費應用中,Loihi能幫助消費者更準確地找到與特定產品的圖片相似或相符的商品。

在醫藥場景中,Loihi可以通過模擬蛋白質摺疊來幫助發現新藥。

在金融場景中,Loihi可以快速做出股票投資組合等資產分配決策。

768顆芯片、1億個神經元!迄今最強神經擬態系統誕生

在交通場景中,Loihi還可能扮演“交警”的角色,通過優化交通信號燈的時間來緩解城市交通,或是識別汽車、自行車的運動。

在基建領域,例如遇到停電情況時,Loihi能自動確定最需要電力的某些區域。

在工業領域,Loihi也許會化身為一絲不苟的“監工”,既能精準識別有害化學物質,也能監測小到滾珠軸承、大到修建路橋的一切工業應用。

此外在國防安全方面,Loihi還可以內置到機場、邊境、軍事基地等的偵查設備中,更好地偵查化學武器、炸彈、毒品等安全威脅。

結語:神經擬態系統仍處研究階段

我們從英特爾得知,Pohoiki Springs等神經擬態系統仍處於研究階段,其設計目的並非取代傳統的計算系統,而是為研究人員提供一個工具,來開發和描繪新的受神經啟發的算法,用於實時處理、解決問題、適應和學習。

隨著基礎算法和SDK組件日趨成熟,英特爾希望終有一日,神經擬態芯片能像大腦一樣,快速高效地學習並適應不斷演變的應用,最終讓這項前景廣闊的技術實現商業化。

除了英特爾,IBM、惠普、麻省理工學院、普渡大學、斯坦福大學等頂尖科研機構,均在推進類腦計算的相關研究。

前路依然漫長,研究人員們的終極目標是接近當今性能最強大的計算機——人類的大腦。


分享到:


相關文章: