NVIDIA:AI下一個突破關鍵不在算法 而是硬件設計

NVIDIA:AI下一個突破關鍵不在算法 而是硬件設計

算法通常被視為人工智能(AI)技術演進的關鍵,但硬件扮演著更重要的角色。近年來深度學習算法之所以突飛猛進,硬件的輔助功不可沒,未來硬件可能會進一步帶領AI展開重大的技術突破。

英偉達(NVIDIA)首席科學家Bill Dally近日參加《麻省理工學院科技評論》(MIT Technology Review)舉辦的AI座談會時表示,當前使用的許多算法事實上在1980年之後就已經存在,以大量標記的數據訓練神經網絡則始於2000年代初期,但直到2010年代繪圖處理器(GPU)應用於AI領域,深度學習革命才真正起飛。

Dally認為,硬件能力必須不斷地提升,否則AI進展會放慢。NVIDIA正從三方向著手,以便提供更強有力的硬件,其中之一是開發更專用的芯片。NVIDIA發現,專為特定運算工作設計的高度專用芯片,性能比起擅長處理許多不同類型運算的GPU,在達成同等級的性能效率時最高可提升20%。

其次,在訓練深度學習算法過程中減少運算的步驟。NVIDIA研究人員針對所謂模型「修剪」(prunning)的潛力進行研究和測試,發現此方法在訓練深度學習算法時省略90%的運算,卻能維持同樣的學習準確度。這意味同樣的學習工作,可以在更小的芯片架構上進行。

再者,嘗試使用模擬架構,而非數字架構。Dallay表示,計算機幾乎將所有信息,包括數字化以一系列的0或1儲存,模擬運算則可直接使用各種數值包括0.3或0.7編碼,由於數值能以更簡潔的方式呈現,運算效率將大幅提升。但目前研究人員尚不確定模擬運算如何融入未來的芯片設計。

同時也參與座談會的NVIDIA AI產品事業群(AI Products Group)副總裁Naveen Rao認為,AI硬件演進的重要性就如同生物學的進化,他表示老鼠和人類過去數億年的進化程度截然不同,但人類的能力雖然遠遠領先,基本上運算單位卻與囓齒動物相同。

芯片設計的原則也一樣,任何芯片,不管是專用、通用,數字或模擬,光學或其他的類型的芯片,都只是編碼和編排信息的基板,究竟要擁有人類或老鼠的能力,端看基板的設計方式。

昆蟲和老鼠一樣,也是由與人類相同的基本單位所構成,不同的是昆蟲有固定的結構,人類結構更為靈活,但不能就此判定孰優孰劣,因為兩者的結構是為了因應不同的目的而演進,雖然人類擁有複雜的能力,但昆蟲在核戰中倖存的機率可能更高。同樣地,這些原則也可以引用到芯片設計。

隨著越來越多智能設備連接網絡,把所有的資料送到雲端後,再經過深度學習模型處理將不再有意義,取而代之的將是在裝置上的小型深度學習模型進行。這樣的概念就是所謂的「邊緣AI」(AI on the edge),若能輔以專用、固定的芯片架構將有加乘的效果。另一方面,「雲端AI」(AI on the cloud)可由通用和可程序芯片支援,處理範圍更廣的學習任務。

Rao認為,不管英特爾(Intel)和NIVIDIA追求的芯片設計為何,對AI發展都將有舉足輕重的影響力。史上各種不同的文明都是受到特有的因素牽動,而有著截然不同的演進,同樣地英特爾和NVIDIA透過不同的芯片設計來簡化操作,對於AI領域追求的學習算法都會帶來重大的影響。


分享到:


相關文章: