來源：內容由半導體行業觀察（icbank）編譯自「IEEE」，謝謝。
人工智能計算機初創公司Cerebras Systems的首席執行官兼聯合創始人安德魯·費爾德曼（Andrew Feldman）表示，如今的人工智能遠遠沒有實現。
正如他和他的Cerebras創始人所看到的那樣，問題在於當今的人工神經網絡過於耗時且計算密集，無法進行訓練。例如，對於要識別道路上將遇到的所有重要物體的自動駕駛汽車，它們必須向汽車的神經網絡顯示所有這些東西的許多很多圖像。但該過程通常發生在數據中心，而在那裡需要耗電數十甚至數百千瓦的計算機專用於執行通常為期數週的任務。假設最終的網絡可以以所需的精度執行任務，然後我們將定義網絡中連接強度的許多係數下載到汽車的計算機，該計算機執行深度學習的另一半——推理。
Cerebras的客戶（儘管僅在去年夏天才從隱身模式中脫穎而出，但已經有了一些客戶）抱怨說，當今計算機上針對大型神經網絡進行的訓練可能需要長達六個星期的時間。以這樣的速度，他們一年只能訓練六個神經網絡。“想法是測試更多想法，”費爾德曼說。“如果您可以在2或3個小時內[訓練網絡]，則可以運行數千個想法。”
當IEEE Spectrum訪問位於加利福尼亞州Los Altos的Cerebras總部時，這些客戶和一些潛在的新客戶已經在通過橘皮外套的光纜將他們的培訓數據注入到四臺CS-1計算機中。而其消耗的20千瓦的熱量通過牆上的一個洞吹到了硅谷的街道上。
從外面看，CS-1計算機的冷卻系統本身並不多。但實際上每個機箱的大約四分之三都被冷卻系統佔用。而它裡面的芯片則是真正的革命：這臺功能強大的計算機幾乎完全由一個芯片組成。該芯片的尺寸超過46,255平方毫米，是您可以購買的任何其他處理器芯片的50倍以上。Cerebras的晶圓級縮放引擎（WSE）擁有1.2萬億個晶體管，400,000個處理器內核，18 GB的SRAM以及能夠每秒移動1億億位數據的互連，因此很難與其他系統進行比較。
Cerebras的統計數據令人震驚。據該公司稱，一個10機架的TPU2集群（現在是三代Google AI計算機的第二個集群）所消耗的電量是其的五倍，佔用的空間是其的三倍，但僅提供了三倍的性能。具有WSE的單臺計算機，它們的大芯片是否真的是AI行業一直在等待的答案，這一點應該在今年開始變得清晰起來。“ [神經網絡]模型變得越來越複雜，” 位於加利福尼亞山景城的Linley Group的高級分析師Mike Demler說，“能夠快速訓練或重新訓練確實非常重要。”
諸如芝加哥附近的超級計算巨頭阿貢國家實驗室（Argonne National Laboratory）之類的客戶已經在他們的機房中安裝了這些機器，如果塞雷布拉斯的猜想是真的，那麼做神奇事情的神經網絡的數量將會激增。
當Cerebras-的創始人，被AMD收購的服務器業務Sea Micro的老兵從2015年開始探討，他們想建立一個計算機，完美契合現代人AI工作負載的性質，費爾德曼解析。這些工作負載由以下幾項定義：它們需要快速移動大量數據，它們需要有接近處理核心的內存，而這些核心不需要處理其他核心正在處理的數據。
為此他們即向該公司的資深計算機架構師，包括其首席技術官Gary Lauterbach提出了一些建議。首先，他們可以使用成千上萬個設計用於進行相關神經網絡計算的小核，而不是更少的通用核。其次，這些內核應通過互連方案鏈接在一起，該方案可以快速，低能耗地移動數據。最後，所有需要的數據應該在處理器芯片上，而不是在單獨的存儲芯片上。
在這些核心之間來回移動數據的需求在很大程度上決定了WSE的獨特性。在兩個內核之間移動數據的最快，最低能耗的方法是將它們放在同一硅基板上。當數據必須從一個芯片傳輸到另一個芯片時，由於距離更長並且承載信號的“電線”必須更寬且包裝密度不高，因此在速度和功耗上都付出了巨大的代價。
將所有通信保持在硅上的驅動力，以及對小核芯和本地存儲器的渴望，都表明要製造儘可能大的芯片，也許是整個硅片的最大尺寸。費爾德曼說：“可以肯定的是，我們不能做到這一點。” 但是“顯然有很大的好處。”
幾十年來，工程師一直以為晶圓級芯片是死衚衕。畢竟，IBM System / 360大型機的首席架構師Gene Amdahl曾在一家名為Trilogy Systems的公司嘗試過並失敗了，但它的確令人讚歎不已。但是Lauterbach和Feldman說，與阿姆達爾的嘗試進行的任何比較都是可笑的、過時的。Amdahl正在使用的晶片的尺寸是當今尺寸的十分之一，而構成這些晶片上的器件的功能是當今尺寸的30倍。
更重要的是，Trilogy無法處理芯片製造中不可避免的錯誤。在其他所有條件都相同的情況下，隨著芯片變大，出現缺陷的可能性也會增加。
但是Lauterbach看到了一種架構解決方案：因為他們的工作負載傾向於擁有數千個相同的小型內核，所以有可能將足夠多的冗餘將內核安裝進去，以解決甚至百分之一的缺陷導致的故障。
當然，Cerebras仍必須解決許多製造問題才能構建其容錯的giganto芯片。例如，光刻工具被設計為將其特徵定義圖案投射到相對較小的矩形上，並一遍又一遍地進行。由於在芯片的不同位置上刻不同圖案的成本和困難，僅憑此限制將使很多系統無法在單個晶片上構建。
但是WSE並不需要這樣做。正如您通常製造的那樣，它類似於充滿完全相同芯片的典型晶圓。為此其面對的最大的挑戰是找到一種將這些偽芯片鏈接在一起的方法。芯片製造商在每個芯片周圍留下了稱為劃線的空白硅的狹窄邊緣。晶片通常沿著這些線切成小塊。Cerebras與臺積電（TSMC）合作開發了一種跨劃片線建立互連的方法，以便每個芯片中的內核都可以通信。
現在，所有通信和內存都在一塊硅片上，數據可以暢通無阻地揮動，從而產生每秒1,000 PB的核心到核心帶寬和每秒9 PB的SRAM到核心帶寬。費爾德曼說：“帶寬要高出四個數量級，因為我們停留在硅片上。”
劃線互連並不是唯一需要的發明。芯片製造硬件必須進行修改。即使是用於電子設計自動化的軟件也必須進行定製才能在如此大的芯片上工作。費爾德曼說：“每條規則，每種工具和製造設備都旨在拾取普通大小的巧克力曲奇餅乾，並且[我們]交付的東西相當於整個曲奇餅乾的大小。” “這些方法的每一步，我們都必須重新發明。”
他說，晶圓級集成“在過去的40年中已被取消，但當然會在某個時候發生。” 既然tCerebras已經做到了，那扇門可能會向其他人敞開。“我們認為其他人將尋求與我們合作解決AI以外的問題。”
確實，伊利諾伊大學和加利福尼亞大學洛杉磯分校的工程師將Cerebras的芯片視為一種使用硅互連結構技術的晶圓級計算工作的推動力。2019年10月]。伊利諾伊大學的Rakesh Kumar說：“這是對我們一直在進行的研究的巨大驗證。” “我們喜歡這樣的事實，這對商業有興趣。”
當然，CS-1不僅僅是 WSE芯片，但還不止如此。這既是設計又是必要。傳遞給主板的是位於芯片上方的供電系統，在芯片下方是水冷式冷卻板。令人驚訝的是，電源傳輸系統是計算機開發中的最大挑戰。
WSE的1.2萬億個晶體管的設計工作電壓約為0.8伏，這是處理器的標準配置。但是，它們太多了，總共需要20,000安培的電流。勞特巴赫說：“在沒有明顯壓降的情況下將20,000 A電流運入晶圓是一個工程上的挑戰，這比冷卻或解決良率問題要困難得多。”
無法從WSE的邊緣傳送功率，因為互連中的電阻會在電壓到達芯片中間很長時間之前就將電壓降至零。為此他們提供的答案是從上方垂直傳送。Cerebras設計了一個玻璃纖維電路板，其中裝有數百個用於功率控制的專用芯片。一百萬個銅柱從玻璃纖維板到WSE上的點之間的距離約為一毫米。
以這種方式提供“動力”似乎很簡單，但事實並非如此。在操作中，芯片，電路板和冷卻板都預熱到相同的溫度，但是這樣做時它們的膨脹量不同。銅膨脹最大，硅膨脹最小，而玻璃纖維介於兩者之間。此類不匹配在正常尺寸的芯片中令人頭疼，因為這種變化足以切斷它們與印刷電路板的連接，或者產生足夠的壓力來破壞芯片。對於WSE大小的芯片，即使很小的百分比變化也可以轉換為毫米。
勞特巴赫說：“ [熱膨脹係數]與主板不匹配的挑戰是一個殘酷的問題。” Cerebras尋找一種具有適當中間熱膨脹係數的材料，該材料介於硅和玻璃纖維之間。只有這樣才能使數以百萬計的供電崗位保持聯繫。但是最後，工程師們不得不自己發明一種方法，這項工作花了一年半的時間才能完成。
WSE顯然比通常用於神經網絡計算的競爭芯片要大，例如Nvidia Tesla V100圖形處理單元或Google的Tensor處理單元。但是更好嗎？
Cerebras尚未發佈MLPerf結果或任何其他可獨立核實的比較結果。相反，該公司更喜歡讓客戶使用他們自己的神經網絡和數據來嘗試CS-1。
分析師認為，這種方法並不罕見。“每個人都運行自己為自己的業務開發的模型，” Moor Insights的AI分析師Karl Freund說。“那是唯一對買家重要的事情。”
早期客戶Argonne National Labs的需求非常強烈。在訓練神經網絡以實時識別不同類型的引力波事件時，科學家們最近使用了Argonne耗電量達兆瓦的Theta超級計算機（全球排名第28的最強大系統）的資源的四分之一。
將功耗降低到僅幾千瓦似乎是超級計算的主要優勢。不幸的是，勞特巴赫懷疑此功能是否會成為數據中心的一大賣點。他說：“雖然很多數據中心都在談論[節能]功耗，但是當他們想到這時……他們不在乎。” “他們想要性能。”這肯定是可以提供與餐盤差不多大小的處理器的功能。
*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯繫半導體行業觀察。
今天是《半導體行業觀察》為您分享的第2177期內容，歡迎關注。
閱讀更多 半導體行業觀察 的文章
