儘管當今的IBM硬件業務僅限於POWER和Mainframe芯片和系統，但該技術巨頭正在悄悄地建立自己在AI硬件方面的專業知識和能力。IBM對AI硬件的研究
IBM於2019年初成立了IBM Research AI硬件中心，與紐約州，紐約州立大學理工學院以及Mellanox，Samsung和Synopsys等技術公司合作進行AI Chip研究。該中心對AI硬件採取整體，端到端的方法，朝著其雄心勃勃的目標努力，即在未來10年內將AI性能提高1000倍。這始於我們將在這裡討論的降低精度的技術。同時，該中心還在開發新的數字和模擬AI內核，以實現這些創新。該路線圖最終以由目前尚未在半導體制造中使用的現存材料製成新內核。
IBM最近發表了兩篇論文，描述了其降低精度的方法，這些方法旨在提高AI處理效率，同時保留預測的準確性。基本上，在NVIDIA和Google的帶領下，人工智能研究在過去4-5年中一直在利用降低的精度數字和數學運算。如果“降低精度”聽起來像是一件壞事，請記住，更高的精度會帶來巨大的成本-使用數字的位長的平方會增加。因此，從32位加速到16位（或降低成本）的速度提高了4倍。Google最近提出了一種新的16位格式，稱為Bfloat，該格式使用的位數更多，指數尾數更少。高於IEEE 16位浮點標準。與傳統的32位格式相比，這可以在保留精度的同時使用更少的功率和芯片空間。英特爾就是其中之一。但是，研究人員在努力爭取8位浮點數的下一步時一直努力保持準確性。IBM本週提出了一種“混合8位浮點數”格式，該格式可以提高性能或將成本降低多達4倍。就是說，如果某人（IBM？）生產出可以執行這些計算以進行訓練的芯片，則該芯片將使用已經“量化”為那些8位格式的DNN。這些操作的“混合”性質來自於前向和後向傳播計算所需的不同精度要求。通過針對前向和後向傳遞計算量身定製用於指數和尾數的位數，IBM證明了確實可以僅使用8位權重和激活來訓練用於視覺，語音和語言處理的神經網絡。而且，它可以以與16位數學獲得的結果相當的精度執行此操作。另外，
如果所有這些數學運算聽起來都很複雜，則好處非常簡單。從理論上講，這種方法可以使某人構建用於訓練深度神經網絡的芯片，該芯片將使用1/4芯片面積，或者以相同的成本提供4倍的性能。
在AI的推理方面，出於相同的原因，芯片公司和模型開發人員正在轉向8位整數數學。但是，有人還能降得更低嗎？迄今為止，使用較低精度的努力未能達到8位模型提供的精度。但是，IBM最近發表了一篇論文，該論文提議使用稱為參數化限幅激活（PACT）和統計感知權重合並（SAWB）的兩種技術，當結合使用時，它們已經演示了2位推理處理，可提供與8位相當的準確性。量化模型。如果有人在CPU或AI芯片中使用這些技術，答案可能是“所有人”。IBM的路線圖肯定意味著該公司將做到這一點，但就目前而言，這一切都是在IBM Research而不是產品部門完成的。我在IBM工作了10年，經常有一些研究項目從未成為產品。這就是研究的本質。儘管如此，讓我們考慮一下IBM如何進行。
我看到了IBM通過AI硬件研究成果獲利的三種選擇。首先，它可以將該技術許可給其他半導體公司用於移動，邊緣和數據中心硅平臺。其次，IBM可以將該技術構建到IBM POWER和/或大型機處理器中，尤其是2位推理處理。第三，IBM可以生產用於數據中心培訓和推理處理的加速器，直接與NVIDIA，Intel等競爭。最後一個選項可能會解決更大的市場，但會帶來業務問題-IBM需要建立一個渠道，以覆蓋其POWER和Mainframe安裝基礎之外的數據中心客戶。例如，IBM可以通過Lenovo出售給正在構建數據中心服務器的ODM。
在新的AI硬件研究中心，IBM取得深刻的印象，而且僅用了一年的時間。從實現將效率提高1000倍的雄心勃勃的願景開始，它採用了從算法到芯片再到材料的整體方法。這使其在這個快速發展的市場中具有巨大的潛力。該中心很快將需要對其商業模式做出一些艱難的選擇，以便將這項研究貨幣化並達到其目標市場。管理層需要保持耐心並堅持到底，我認為下一任首席執行官Arvind Krishna將會做到這一點。也就是說，在過去十年中，IBM穩步擺脫了硬件業務。
閱讀更多 愛生活愛快樂愛自己 的文章
