本文轉載自 StarryHeavensAbove，作者唐杉。
我最近受邀在ASPDAC會議上做了一個報告，介紹了一下我對AI芯片和相關產業的觀察和對未來的一點點猜測，在這裡整理了一下分享給大家。
兩年多以前，我在github上開始了一個業餘項目：AI Chip (ICs and IPs)，主要是用於記錄AI芯片領域的公司和重要事件。隨著時間的推移，這個列表不斷的增長。後來我做了這個AI芯片全景圖，作為AI芯片列表的一個可視化總結，得到很多關注和傳播。這個圖不僅僅是一個Logo的集合，如果我們仔細觀察，可以發現很多有趣的現象。
第一個最重要的趨勢是很多非傳統芯片玩家進入芯片設計，特別是AI芯片領域，並且表現很好。Google 2017年公佈TPU可以看作AI芯片爆發的關鍵點。AWS已經在實際業務裡部署了多款自研芯片，不僅是AI。特斯拉也自己研發了FSD芯片，用於加速自動駕駛算法，取得了相當好的效果。其它中美科技巨頭雖然路徑各有不同，也都有自研定製芯片或FPGA的動作。這些新的玩家有很多優勢，有大量需求，最熟悉業務和芯片部署場景，有豐富的資源；有非常豐富的系統經驗，技術上可以從系統角度進行優化，可能減輕芯片本身的負擔，等等。他們的成功也帶動了更多之前不做芯片的公司開始考慮和動手自研芯片。但是，有的非傳統玩家也有一個問題，即對芯片設計，開發和生產的規律不熟悉，往往低估芯片研發的投入而做出盲從但並不經濟的選擇；或者低估過程的艱辛，以軟件和互聯網產業的KPI來要求芯片研發，這些都可能最終導致爛尾工程。而對於傳統芯片廠商來說，如何適應這個趨勢也是很大挑戰。不管怎樣，自研定製的趨勢已經逐漸形成，這對整個芯片產業和產業中所有從業人員都會產生深遠的影響。
第二個大家都看得到的現象就是大量的AI芯片初創企業。在我的AI芯片列表中有大約70家左右，還有很多是沒有公開或者我不知道的。這種初創企業大量出現的情況在半導體產業應該是前所未有的。所以大家問的最多的問題就是“最後誰能生存下來？”老實說，我不知道答案。但我們看到，Habana剛剛被Intel以20億美金收購。希望大家都能和他們一樣幸運吧。
如果我們仔細觀察AI芯片初創公司的發展，我們可以看到他們面臨的最大挑戰往往不在硬件而是在軟件，能夠在芯片硬件投片成功後快速實現相應的軟件工具的鳳毛麟角。這裡面有幾方面的原因，第一的是這些公司的芯片架構比較特殊，開發相應的編譯工具和優化庫的工作量不小。而有的公司為了保證投片的時間，降低硬件研發的難度和風險，往往選擇最大程度簡化硬件的編程性和靈活性，導致最後編程的困難。即便能夠做到比較好的軟硬件平衡，提供一套完整好用的軟件工具鏈和開發環境本身就是很大的挑戰，也是現在大家很難對Nvidia形成威脅的原因。一個好消息是現在大家對機器學習編譯器的重視程度普遍提高，在開源社區也有一些不錯的編譯器項目在積極推進，比如TVM，MLIR，GLOW等等。這些項目都希望能夠給大家提供一個好的編譯器框架，支持多個層次的IR，從而可以比較方便在不同層次進行優化。在我看來，ML Compiler相比傳統編譯器來說可能玩出新的花樣，比如實現軟硬件的協同設計，靜態優化和Autotuner的結合，等等。大家可以多關注這方面的工作。
另一個比較活躍的領域是基準測試Benchmark。和傳統的處理器的基準測試一樣，AI芯片的Benchmark是讓所有設計者能夠對目標應用和workload有清楚和統一的認識的關鍵。但AI芯片的Benchmark設計和部署有相當的難度。目前我們還需要用多個神經網絡模型來覆蓋不同的應用，同時還需要對不同場景的支持；而各種AI芯片架構和軟件棧的成熟程度差異很大，即便讓Benchmark跑出結果都要消耗很多精力。如之前Cerebras就明確說，他們寧願把時間花在對客戶應用的優化上，而不會為了取得一個漂亮的Benchmark結果上花一點時間。目前這方面的工作中，MLPerf應該是最紮實的一個，但即使是MLPerf，要想成為大家公認的標準也還有很多問題要解決。
總的來說，AI芯片對於整個芯片產業也起到了一個巨大的推動作用。相關的EDA工具，IP，設計服務，Foundry等等部門都有針對AI芯片的需求改進和發展。而在一些相關的基礎技術上，比如新型存儲，封裝技術，片上網絡，片間互聯等等，我們都看到技術加速進步現象。
具體到芯片架構，從2016年開始，我們就看到了很多非常有趣的設計。Google的TPU是基於脈動陣列；Nvidia在GPU中加入了Tensor core；Habana採用VLIW/SIMD加GEMM Engine的架構，雖然中規中矩，但取得了很好的效果；Graphcore實現了一個由上千個核組成的多核架構，並且集成了300MB的片上存儲；而Cerebras的Wafer Scale Engine可以說是一個工程奇蹟。此外我們還在談論和期待更多的可能性，CGRA/SDH（軟件定義硬件），類腦，存內計算，光計算，圖處理器等等，真的是“Golden Age of Computer Architecture”。
這些架構中有很多並不是新的發明，在幾十年前剛出現的時候也並不成功，在今天重新煥發青春完全是因為應用需求發生的變化。如果我們看看AI芯片外的更大的背景，我們今天要處理的workload在近十年發生了巨大的變化，已經從以處理（processing）為核心的通用計算變為以數據為核心的領域專用計算。因此，
我們必須，也有機會重新思考整個計算系統的設計（參考下圖）。比如目前很多的嘗試就是把運算放到更合理的地方，比如數據產生和存儲的地方，而不是統一用“距離遙遠”的CPU進行處理。
計算系統的功能描述和分層抽象
在這種re-think和re-design的過程中，巨大的挑戰（機會）是跨越邊界（包括功能模塊的邊界和抽象層次的邊界）的優化和全棧的實現 。相信，能夠解決相應問題的設計，工具和方法學都有很多機會。
上述很多內容在之前的文章中有更詳細的討論，感興趣的話，大家不妨翻翻歷史文章，也歡迎大家轉發和傳播。
本文為個人興趣之作，僅代表本人觀點，與就職單位無關
免責聲明：本文系網絡轉載，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請第一時間告知，我們將立即刪除內容！本文內容為原作者觀點，並不代表本公眾號贊同其觀點和對其真實性負責。
END
閱讀更多 王樹一 的文章
