美光入局AI處理器

來源：內容由半導體行業觀察（ID：icbank）編譯自「venturebeta」，謝謝。

早前，全球最大的存儲芯片製造商之一的美光科技（Micron Technology）收購了人工智能硬件和軟件初創公司Fwdnxt時，此舉可能非常有趣。如果能取得成果，Fwdnxt可以使美光科技與英特爾和英偉達等合作伙伴進行直接競爭，因為美光科技認為內存和AI計算正在融合到同一個架構中。

美光這個項目的負責人人之一是史蒂夫·帕洛夫斯基（Steve Pawlowski），這是前英特爾芯片架構師，他擁有數十項專利。Pawlowski現在是美光公司高級計算解決方案副總裁。

與美光的存儲芯片結合使用時，Fwdnxt（發音為“ forward next”）將使美光能夠具備探索數據分析所需的深度學習AI解決方案的能力，尤其是物聯網和邊緣計算。也許它將製造基於AI的存儲芯片，或者包括AI的存儲芯片。

美光公司首席執行官Sanjay Mehrotra說，美光公司正在從事這項工作，因為“昨天的計算體系結構不適用於明天……從長遠來看，我們認為計算最好在內存中完成。”

下面是我們對美光的一個採訪剪輯：

Steve Pawlowski：2014年，我離開英特爾時來到了美光，當時他們說：“您想做什麼？”我說：“我堅信計算和內存的融合對於提高性能和降低延遲至關重要。而你們是一家記憶公司。你們擁有技術，我想在這裡解決這個問題。”他們說，“好。”

我有一個小組，專注於發現計算和內存的問題。我們先可以開始測試，開始將概念引入產品中，但不會增加成本。我在英特爾學到了一件事，這是我永遠不會忘記這個故事：我們曾經擁有數學協處理器。80287，80387。我們在387上賺了可觀的錢。我們有一個聰明的主意，那就是如果將協處理器集成到486中，我們可以更快更好地做到。我們做到了，突然之間我們沒有了足夠的足跡（footprint.）。不需要它的人說：“您不需要為此死區向我收費。”而需要它的人說，“您將與其他人一樣付給我，因為我是一個有利的客戶。”實際上，整個業務歸於零。

我在當中獲取的教訓是：直到有絕大多數人從中獲得真正價值之前，您不能增加更多的複雜性和成本，並希望人們立即支付費用。因此我們關注的重點是找到人們今天可以從中獲得價值的關鍵事物，然後看看您是否可以隨著時間的推移擴大泡沫。我將其視為八到十年的旅程。在那些年末，我可能回頭一看，意識到我耗費了他們。或者我可以回頭說：“哇，我們可能還沒到這裡，但是我們做得很好。”

Pawlowski: 有一件事，你在這裡已經聽過很多次了，那就是AI在邊緣。我們關注這個問題的原因是，沒有一個現成的編程模型或現成的架構可以讓你與市場競爭。可以說，每個人都在爭著進入同一個市場。尋找機會去那裡做點什麼。人們不會看著你說:“美光是一家內存公司。你為什麼要談這個?“他們是這樣看的——我們在FPGA上有這種能力，我們的高性能內存和架構映射在FPGA上。我們負責處理所有的抽象，所以你不必成為一個VHDL程序員。您願意開始處理數據集的問題嗎?

有趣的是，我並不需要去推動它。我們一直在參加FPGA會議之類的活動。主要是政府機構來說，“我們這裡有個問題。我們想在這方面多做些嘗試。“政府的問題是，他們很早就興奮起來了，但如果你想做什麼事，那就得花很長時間。”採購週期很長。合同是長期的，還有其他一切。

我們決定著眼於一般市場。有一家汽車公司來了，他們說，“我們還沒有達到Level 5，但我們肯定可以生產達到Level 3，Level 4的自動駕駛汽車，我們希望能夠利用網絡告訴我們正在發生什麼。這看起來是有趣的。你願意和我們一起工作嗎?內部很多人說:“他們為什麼對與你合作感興趣?”“這是因為我不會進來告訴他們需要做什麼。我說，“這就是我們所擁有的。我們能為您做些什麼?他們說:“好吧，你願意聽我們的。這是我們的問題。”

信不信由你，我從2005年AMD推出的Opteron中吸取了教訓。當時我們仍在推廣7千兆位處理器、33級流水線，並且沒有人去那裡。我們去了華爾街，那是 您想要爬進貝殼的一刻，因為它們確實被照亮了。但我說:“你能再給我們一次機會嗎?”我們能坐下來了解一下我們的工作量嗎，和你一起工作，然後我收回那句話，我們可以創造更好的產品嗎?我們做到了。

瑞銀(UBS)，我記得他們在一篇專欄文章中寫道，“你可能造不出最大的芯片，也造不出最好的芯片，但你來了，就理解了我的問題。”“這是真正理解客戶和他們的問題，以及你能做什麼。如果你這麼做了，卻沒有幫助他們，嘿，你學到了一些東西。

VentureBeat:那是不是以為著你們在開發一種新的記憶體，還是弄清楚了在哪裡進行處理?

Pawlowski：答案是肯定的。但它是真正理解動態的。順便說一下，這取決於模型。我剛才和下面的人聊了聊有些語言模型需要100 GB的參數。當你看到有人說，“嘿，我有2 GB，4 GB時，”這適用於大多數型號，但不是所有型號。模型真的在進化。

這也取決於解決方案的延遲。我不知道你們是否看過下面OHSU的視頻那位女士患了乳腺癌。他們需要大量的數據，因為他們想把所有的電子顯微鏡圖像放在一起，建立一個3D卷積模型，即腫瘤的3D表示。他們沒有足夠的時間進行討論，因為他們想要在一天甚至一個小時內獲得可操作的見解。我們與CERN的合作，現在需要數據。我們必須在微秒內做出決定。這是有趣的事情還是我們將其放在地板上？

不同的解決方案需要不同類型的存儲。英特爾的經歷讓我清楚知道程序中的指令是什麼。我也知道他們是如何在機器中執行的，然後進入系統。所以當我來到美光時，我唯一看到的就是地址和命令。讀/寫命令和地址。我完全不理解，這個東西是把15個不同的東西複製到不同的元素（elements）上，還是覆蓋，還是什麼?有了我們在6月合作和收購的公司，我們就可以構建這些算法，運行它們，看看整體效果如何。

我們的首要目標是，我們可以在內存存儲中做什麼以縮短解決方案的時間？我們總是可以建立更高的帶寬，但那不一定能讓你達到目的。有什麼可以做的，例如散射張量陣列（scatter tensor arrays）？如果我們可以建立一個可以引入矩陣的緩衝區，並且讓我們能夠一口氣將矩陣轉移過來，而不只是隨便找東西去尋找，這可能會有很大的好處。

最終，我們還要看到的是-其中大多數是乘法和累加架構，非常簡單。它們只是被複制了數千次。實際上，一旦晶體管變得更好一點，您就可以建立一個相當好的乘法並在存儲設備中進行累加。最終，您能否採用該架構，然後將其放入存儲設備本身？這是長遠的願景。

我想做的是，無論我們做什麼，我們都要建立一個編程基礎設施和一個範例，這樣人們就不必每次遷移時都重寫他們的代碼。在我看來，這就是英特爾的巨大成功。當我們做386的時候，還沒有32位的軟件。但它確實能很好地運行16位代碼。人們買它就是為了這個。你有很多平臺，然後人們說，“好吧，現在我們去優化32位。“486在六到八年後問世時，就有軟件可以利用它，它變成了一臺永不回頭的機器。

從內存開始，首先是存儲，我們能做什麼。然後我們就會看到，隨著時間的推移，什麼可以真正遷移。答案可能是什麼都不是。答案可能是一切。我想是在中間的某個地方。這取決於你把“針”移到哪裡。

VentureBeat：您門已經和Fwdnxt攜手。他們能統共一個相當全面的作品，那麼您還需要找到很多合作伙伴嗎？

Pawlowski：我們將需要大量的合作伙伴和數據科學家。Fwdnxt擁有一批已經開發了五年，十年，十二年，具備資深推理引擎架構經驗的人。同時他們也有不同公司和不同的學術背景。創建它的人是普渡大學的教授。他們一直在優化該架構。他們有一個相當不錯的編譯器，可以使用Open Network Exchange前端，然後將其映射到其硬件。

後面我需要的是數據科學家，我需要應用。我還認為我們將需要動態的運行時/調度程序（runtime/scheduler）。如果您真的有這樣的模型——如果今天我在硬件上，在Intel處理器上寫了一個網絡，那麼三年以後，您仍然可以運行相同的程序。這一切都是通過指令集來抽象的。我在這裡要做的是抽象網絡，這意味著我們將需要某種類型的動態運行時。這就是說，“好吧，這東西有8,000個乘法和累加單元。這有1,000個。我可以把那東西擴散一點。或者說，哦，這

有一些實體正在研究解決動態運行時（dynamic runtime ）問題，我認為這將非常重要。特別是。我曾經從一個在Intel負責Litho的人那裡聽到，他們相信當達到5nm以下時，他們認為30％的設備在製造時將會超出規格。

VentureBeat：這是否意味著和Intel和Nvidia有更多的競爭？

Pawlowski：其實是將有更加合作。任何人在數據中心很難與英特爾和英偉達競爭。Nvidia的訓練時長也已經坐穩。即使人們提出了很多新的解決方案。但不止一家初創公司告訴過我，哪些做超大規模訓練的人告訴他們：“將我們的訓練算法從GPU移出是如此困難。他們也做得很好了，但他們仍然在給我們帶來性能提升。所以不要再花時間做這樣的事了。”而且，我聽到的最後一個，我聽到的最後一個統計數據是，推理的很大一部分仍在至強處理器上進行。

我們一直在聚焦，如果我們要在數據中心中做任何事情，這將為Nvidia和Intel之類的客戶提供幫助。但是，如果從內存存儲的角度來看有可能發生任何創新，那麼讓我們從邊緣進行研究。這就是我們將獲得最大效率和規模經濟的地方。

VentureBeat：摩爾定律部分還好嗎？你按計劃嗎？

Pawlowski：這是一個挑戰，但這並沒有阻止我們繼續微縮。老實說，我必須永遠保持摩爾定律。您不可對摩爾定律說不好！因為那是第十一條誡命。當人們問我的時候，正是Dennard縮放的緩慢和停止才真正推動了創新。現在，我們可能不會每兩年獲得兩倍的晶體管增加。時間也許會增加到每三四年一次。但是，我們將在第三維度入手。所以這並沒有阻止我們。問題的關鍵是什麼才是最經濟的方法。而工程師正在尋找解決難題解決方案。

*點擊文末閱讀原文，可閱讀英文原文。

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯繫半導體行業觀察。

今天是《半導體行業觀察》為您分享的第2122期內容，歡迎關注。

半導體行業觀察

『半導體第一垂直媒體』

英文原文

！

閱讀更多 半導體行業觀察 的文章

關鍵字: 超微半導體 英特爾 人工智能