AI 進入爆發期後，芯片對技術進步的影響愈發凸顯。深度學習對計算芯片提出了新需求，催生了 AI 加速芯片的問世。當 AI 芯片的功能日益複雜化、多樣化，一方面，芯片廠商紛紛給出不同的衡量標準，聲稱其產品在計算性能、單位能耗算力等方面處於行業領先水平；另一方面，需求方卻關心如何能從廠商給出的信息中判斷出芯片是否能實際滿足其真實場景的計算需求。針對這一現狀，一個與真實場景緊密相連的、同時跨產品可比的測試評估方案的出現，迫在眉睫。
如何構建與真實場景緊密相連的、面向不同產品形態、設備級別的AI加速器測試評估方案？2018 AIIA 人工智能開發者大會揭曉了答案。會上，《AIIA DNN benchmark——人工智能端側芯片基準測試評估方案 V0.5 版本》由中國信息通信研究院雲大所人工智能部副主任、中國人工智能產業發展聯盟 （AIIA） 總體組組長孫明俊代表中國人工智能產業發展聯盟發佈。
中國信息通信研究院雲大所人工智能部副主任、中國人工智能產業發展聯盟總體組組長 孫明俊
AIIA DNN benchmark 的工作目標為客觀反映當前以提升深度學習處理能力的 AI 加速器現狀，所有指標均旨在提供客觀比對維度。AIIA 希望，該方案能夠為芯片企業提供第三方評測結果，幫助產品市場宣傳；同時為應用企業提供選型參考，幫助產品找到合適其應用場景的芯片。V0.5版本首先給出了端側評估方案。
根據孫明俊介紹，AI 基準測試方案的制定面臨諸多挑戰。即便拋開優化程度、硬件架構等若干問題不談，延遲、帶寬、能耗都要納入考慮範圍。同時，各種神經網絡模型都有不同參數，不同設備在不同參數下有不同的輸出曲線。如何讓指標在不同級別的設備中橫向可比？而云端和終端的應用是否需要不同的基準測試？如何為不同測試項目分配權重，以獲得一個相對公正客觀、有代表性的評分？這些都是應用領域的差異性和實現選擇的多樣性導致的測評難題。
針對以上特點，AIIA 聯合 Arm 中國、阿里巴巴集團、百度、寒武紀科技、ChipIntelli、地平線、華為、華大半導體、Imagination、Synopsys，騰訊、雲之聲等 12 家企業，推出了 AIIA DNN benchmark——人工智能端側芯片基準測試評估方案。
AIIA DNN benchmark 將以「版本迭代、不斷豐富、不斷完善」的工作方式，為更多評測應用場景、評測指標等提供評估方案，最新公佈的 v0.5 版本提供了「通用芯片 AI 能力評估」和「定製化芯片的 AI 能力評估」2 種方案評測方案。方案覆蓋了時間、性能評價指標以及功耗 3 類測評指標和圖片分類、目標檢測、語音識別、超分辨率 4 大應用場景。其中通用芯片的 AI 能力評估限定在指定場景、數據集、網絡模型、框架下，而定製化芯片的 AI 能力評估將更加關注 AI 芯片對於特殊場景的優化能力，如安防、自動駕駛、智能音箱等。針對每一個具體變量，方案都提供了 check list 選項，供被測方選擇 。
目前AIIA DNN benchmark芯片基準測試評估方案是初級版本，預計會在10月底到11月初面向企業徵集首輪評估對象及方案，首輪測試對象主要為端側設備。AIIA DNN benchmark 將會從場景、指標、部署位置等角度不斷做版本更新，誠邀企業參與。
可以預見，AIIA DNN benchmark 的發佈，能夠促進芯片供給側與需求側的交流，讓需求方的意見能夠更快傳達到芯片企業，讓企業進行有針對性的改良，加快行業迭代速度，推動 AI 產業的快速進步。
閱讀更多 機器之心 的文章
