11月13日，美國防高級研究計劃局（DARPA）啟動“超維數據使能的神經網絡”（HyDDENN）項目，旨在開發新型超維數據表示方法和計算原語，以在淺層神經網絡中表示人工智能（AI），進而顯著降低AI硬件複雜性，為美國防部提供高效、高準確度的AI。該項目在DARPA“人工智能探索機會”下發布。
項目背景
為追求更高準確度，當前最先進的深層神經網絡變得更寬且更深，其複雜性在過去幾年由數百萬增長到數億個參數。深層神經網絡中執行訓練及推理功能的基本計算原語是“乘法與累加”（MAC）運算。隨著深層神經網絡參數數量的增加，當前最先進的網絡需要進行數百億次MAC運算來執行一次推理。因此，深層神經網絡的準確度在根本上受到可用MAC資源的限制。這導致當前最先進的高準確度深層神經網絡只能在擁有高耗能處理器集群的雲計算中心運行。該計算模式將不能滿足很多國防部具體應用，這些應用在尺寸、重量與功率高度限制情況下要求極低延遲、高準確度的AI。為解決上述情況，DARPA啟動了HyDDENN項目。
項目基礎
近期業界的若干創新為HyDDENN項目積累了一定技術基礎：
①在一些適度規模的應用中，超維數據表示方法已被證實在準確度方面優於標準的機器學習實現；
②在高效編碼與解碼具有線性可擴展性的高度複雜正交二進制矢量中，超維數據表示方法已被證實比其他主流方法更高效；
③新訓練方法已在淺層但較寬網絡中完成實現與模擬，如具有高準確度的受限玻爾茲曼機等，可導致較少的參數數量。
④具有高效原語邏輯運算的新型數據表示方法已在二進制位“異或”硬件上實現。在非馮·諾依曼架構中減少對MAC運算的依賴，已被證實能夠以數量級降低每次推理的能耗。
項目目標
HyDDENN項目尋求新型數據使能的神經網絡架構，以擺脫對基於MAC的大規模深層神經網絡的依賴。HyDDENN將探索並開發創新性數據表示方法，採用基於高效非MAC的數字計算原語的淺層神經網絡架構，為國防部邊緣系統提供高準確度、節能的AI。
HyDDENN尋求在網絡設計、訓練及推理中，探索維度與網絡複雜性對輸出準確度的影響。包括：①探索維度與網絡複雜性（以參數數量計）對淺層超維神經網絡最終訓練準確度的影響；②針對給定邊緣應用推理時，演示超維神經網絡對於嘈雜輸入的可靠處理。
HyDDENN的目標是，通過降低參數數量至少1個數量級，顯著降低AI硬件複雜性，並維持與當前最先進基於MAC的深層神經網絡相當的準確度。預計得到的計算神經網絡元素，將直接使用基於簡單整數或二進制計算原語的新型超維數據表示方法進行運算。配合高效數據計算硬件，這些創新將使計算能力與吞吐量至少降低至當前水平的1%，並維持與當前最先進深層神經網絡方法相當的高準確度輸出。
後續計劃
HyDDENN項目分為兩個階段：階段1，可行性研究，時間6個月，協議金額高達30萬美元；階段2，概念驗證，時間12個月，協議金額高達70萬美元。感興趣的參與者可提交非涉密建議書。根據參與者所提交建議書的評審情況，DARPA將以其他交易協議方式與選定參與者締約。
來源 ：美國聯邦商機網站/圖片來自互聯網
軍事科學院軍事科學信息研究中心 佘曉瓊
閱讀更多 國防科技要聞 的文章
