來源：內容由半導體行業觀察（ID：icbank）翻譯自「searchenterprisea」，作者：George Lawton，謝謝。
諸如Cerebras WSE之類的巨型AI芯片令人眼花繚亂，並且可以改變AI模型，採用不同的組織內存，計算和網絡方式的新型AI芯片可能會重塑領先企業設計和部署AI算法的方式。供應商Cerebras Systems已開始測試與iPad大小相同的單個芯片，該芯片的數據傳輸速度比現有AI芯片快數千倍。這可能為開發人員提供嘗試新型AI算法的機會。
風險投資公司Engineering Capital的首席工程師Ashmeet Sidana說：“這是一個巨大的市場機會，我看到正在對計算機體系結構進行全面的重新思考。”
Ashmeet Sidana
Sidana指出，早就應該進行重新思考了。從歷史上看，該行業一直專注於在傳統計算機體系結構之上擴展簡單的機器學習工作負載，而不是考慮構建AI特定計算機的最合適方法。
但是，隨著Cerebras和Graphcore等初創企業以及像Intel這樣的老牌企業（通過收購Habana Labs）競相建造新一代的AI芯片，情況正在迅速改變。
在短期內，這些進步將對擁有大量AI的公司產生最大的影響。從長遠來看，各種規模的企業將不得不重新考慮其IT，數據工程和數據科學流程，以保持領先地位。
解決傳統AI硬件中的帶寬瓶頸
Cerebras在推出晶圓級引擎（Wafer Scale Engine，WSE）芯片時震驚了整個行業：WSE芯片的尺寸相當於整個硅晶圓的大小，比最大的GPU大56倍，擁有的內核多78倍。但是其真正的優勢在於它可以以多快的速度移動數據-快10,000倍。
研究公司Omdia的高級首席分析師兼處理器副總監Tom Hackenberg表示：“我在此解決方案中發現的最大創新就是將如此高的帶寬集成到內存中。”
Tom Hackenberg
他說：“內存訪問和配置是許多新創公司正在解決的技術之一，因為傳統的大規模內存地址沒有針對神經網絡算法進行優化。”
傳統的AI硬件架構的一個主要瓶頸在於在不同的處理內核，內存和其他芯片上的處理內核之間進行轉換所花費的時間。因此，需要對AI算法進行優化，以最大程度地減少內核之間通信的需求。無論算法是在多個CPU上還是在多個GPU上運行，這都適用。
WSE上的內核比傳統芯片上的互連更加緊密。這樣可以加快內核之間以及內核與板載RAM（稱為SRAM）之間的通信速度。而且，在與處理核心相同的基板上存儲著更多的SRAM。WSE具有32 GB的SRAM，而傳統芯片只有幾十兆的SRAM。密集互連允許數據在內存和處理器之間以每秒9 PB的速度移動，在內核之間以每秒100 PB的速度移動。
在典型的計算機中，計算的中間步驟存儲在主板上的DRAM中，該DRAM比SRAM慢得多，但比外部存儲快。
Cerebras首席執行官Andrew Feldman說：“ DRAM就像雜貨店的故事，而SRAM就像冰箱。” 他說，如果您想快速得到一些東西，最好把它放在冰箱裡。雜貨店有多大都沒關係，因為如果您必須去雜貨店買啤酒，就會錯過一些足球比賽。
Andrew Feldman
相比之下，最先進的GPU（例如Tesla V100）具有每秒900 GB的GPU內存帶寬。
其他AI芯片提供商也正在緩解帶寬瓶頸。例如，Graphcore的智能處理單元具有 300 MB的SRAM和每秒45 TB的內存帶寬。
重新思考內存和計算的組織方式的工作最終可以解決傳統系統的某些內存訪問障礙。Hackenberg說，這還可以大大降低功率需求。這將吸引已經開始涉足AI加速器協處理器的雲服務超標量 -阿里巴巴，Alphabet，亞馬遜和微軟都是設計自己的ASIC解決方案的公司。
生態系統支持是新AI芯片的關鍵
像所有新的芯片供應商一樣，Cerebras必須投資使其大型AI芯片與TensorFlow和PyTorch等現有的AI開發框架協同工作。但是，關於WSE和類似的大型AI芯片在AI開發工作流程中如何發揮作用尚無定論。
Omdia的Hackenberg警告說：“這不僅需要每瓦性能，而且還需要大量的生態系統支持，服務和定價激勵措施，才能搶奪AMD，英特爾，Nvidia或Xilinx等領導者的市場份額。”
Hackenberg說，這個市場上最大的供應商不僅提供規模經濟，還提供多年的生態系統支持。為了從Beta測試過渡到商業可行性，這一領域的初創企業將需要提供大量激勵措施，以促使買家放棄其傳統供應商-包括明顯的性能提升，成本節省或兩者兼而有之。
Hackenberg說：“長期關係和生態系統支持經常被初創公司低估。”
其他人則對巨型AI芯片和更新的架構證明其價值的潛力充滿希望。
IT諮詢公司Globant的技術副總裁Agustin Huerta表示，芯片提供商正在使公司更容易使用更大的AI芯片。
Agustin Huerta
Globant的AI和流程自動化工作室負責人Huerta說：“以我個人的經驗，與傳統的CPU供應商不同，芯片供應商也願意比以往更接近企業，並提供大量的投入。”
他說，芯片提供商正在直接與最終用戶合作，以針對不同的用例和架構優化其芯片。該支持使AI團隊不必進行這項工作。這也意味著AI團隊可以編寫一次算法，然後針對各種不同的目標生產環境重新編譯該算法。
稱讚解決問題的小芯片
也就是說，Huerta希望更大的芯片將主要用於以AI應用程序為業務核心的企業或提供AI開發服務的公司。巨型AI芯片將使他們能夠投入更多時間來微調模型或在其他培訓無法返回預期結果的情況下確定案例。但是，對於其他許多公司而言，這些芯片將不再適用-至少在不久的將來不會。
他說：“大多數企業，如銀行或零售商，幾乎都不會使用這些解決方案，因為太多的計算能力使他們無法真正利用它。” “對於更主流的企業使用而言，更大的芯片可能會浪費資源。”
確實，哈肯伯格警告說，在現階段，只有更大的籌碼才能吸引人們的觀點。通過採用更小的購買和運行成本更低的芯片，許多企業將看到更高的投資回報率。實際上，市場趨勢是朝著較小的芯片發展。他說：“ Smaller傾向於提高每瓦性能，並提高生產良率。”
傳統的處理器供應商正在嘗試開發成本更低的AI硬件，例如小芯片（可集成到更大的異構處理器中以增加帶寬並運行專門算法的模塊化芯片）。
Huerta認為，這些較小的低功耗芯片可以使AI在無法可靠連接到網絡的設備上使用AI，例如機器人手臂，交付機器人和遠程設備自動化。
巨型AI芯片具有不同的功能。Cerebras的Feldman認為，更大的芯片有望開闢AI研究的新途徑。
他說：“當您擁有允許不同功能的新硬件時，可以編寫不同的模型。” 到目前為止，數據科學家僅研究了針對GPU特性的一部分算法。他們正在編寫相同類型的算法以更快地運行。
但是，Feldman說，他希望研究人員能夠探索新的模型，這些模型可能包括更大的網絡，更深的網絡或極為稀疏的網絡。
重新思考AI的IT：首先要做的事
新硬件-包括iPad大小的AI芯片-不會為大多數企業提供主要的競爭優勢。
相反，Engineering Capital的Sidana表示，首席信息官應著重於基礎知識，首先要建立能夠將新模型持續投入生產的機器學習管道。對於許多CIO來說，生產數量將是個位數，而AI強國將生產數千個模型。
不管是哪種情況，負責監督AI計劃的CIO都需要重新評估他們購買硬件和服務的方式，Capital Engineering的Huerta說。
他說：“許多公司的失誤之一就是購買了不足的硬件來滿足AI領域的當前需求。” 許多IT部門依靠自己對傳統服務器需求的瞭解，並根據過去使用的相同因素做出投資決策，而沒有意識到部署AI的特定基礎架構要求。
他說，CIO必須確保其團隊準確地預測其AI需求，以避免過度使用從未真正使用過的功能。該分析還可以幫助您確定AI基礎設施不足的地方，例如，在運行關鍵任務應用程序時會導致長時間的延遲。
根據Huerta的經驗，公司面臨的主要挑戰是確定哪種硬件或雲解決方案適合其特定的計算需求。在許多情況下，與購買和運行自己的服務器相比，從雲提供商那裡租用AI處理功能可能給公司帶來更大的投資回報率。他說，關鍵是要從軟件開發，雲和硬件的角度與合作伙伴合作，以全面瞭解需求和成本。
Sidana說，成功的AI也需要保持警惕。AI團隊在失去準確性時必須能夠重新訓練模型。傳統企業可能要花費數月的時間來重新訓練模型，而最老練的公司則每天或每分鐘都這樣做。
Sidana說：“大多數企業仍需改進幾個數量級。”
Sidana說，CIO也不應低估保持高性能AI系統正常運行所需的數據工程。“隨著我們建造更快的設備並且公司收集更多的數據，大規模管理，操縱和交付AI計算的能力經常被忽視。”
*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯繫半導體行業觀察。
今天是《半導體行業觀察》為您分享的第2300期內容，歡迎關注。
★從財報看2019年的國產集成電路
★AI芯片的一些科普
★Arm芯片三十五年
中國半導體｜蘋果｜封測｜藍牙｜設備｜晶圓｜英偉達｜射頻｜臺積電
閱讀更多 半導體行業觀察 的文章
