11月13日，美国防高级研究计划局（DARPA）启动“超维数据使能的神经网络”（HyDDENN）项目，旨在开发新型超维数据表示方法和计算原语，以在浅层神经网络中表示人工智能（AI），进而显著降低AI硬件复杂性，为美国防部提供高效、高准确度的AI。该项目在DARPA“人工智能探索机会”下发布。
项目背景
为追求更高准确度，当前最先进的深层神经网络变得更宽且更深，其复杂性在过去几年由数百万增长到数亿个参数。深层神经网络中执行训练及推理功能的基本计算原语是“乘法与累加”（MAC）运算。随着深层神经网络参数数量的增加，当前最先进的网络需要进行数百亿次MAC运算来执行一次推理。因此，深层神经网络的准确度在根本上受到可用MAC资源的限制。这导致当前最先进的高准确度深层神经网络只能在拥有高耗能处理器集群的云计算中心运行。该计算模式将不能满足很多国防部具体应用，这些应用在尺寸、重量与功率高度限制情况下要求极低延迟、高准确度的AI。为解决上述情况，DARPA启动了HyDDENN项目。
项目基础
近期业界的若干创新为HyDDENN项目积累了一定技术基础：
①在一些适度规模的应用中，超维数据表示方法已被证实在准确度方面优于标准的机器学习实现；
②在高效编码与解码具有线性可扩展性的高度复杂正交二进制矢量中，超维数据表示方法已被证实比其他主流方法更高效；
③新训练方法已在浅层但较宽网络中完成实现与模拟，如具有高准确度的受限玻尔兹曼机等，可导致较少的参数数量。
④具有高效原语逻辑运算的新型数据表示方法已在二进制位“异或”硬件上实现。在非冯·诺依曼架构中减少对MAC运算的依赖，已被证实能够以数量级降低每次推理的能耗。
项目目标
HyDDENN项目寻求新型数据使能的神经网络架构，以摆脱对基于MAC的大规模深层神经网络的依赖。HyDDENN将探索并开发创新性数据表示方法，采用基于高效非MAC的数字计算原语的浅层神经网络架构，为国防部边缘系统提供高准确度、节能的AI。
HyDDENN寻求在网络设计、训练及推理中，探索维度与网络复杂性对输出准确度的影响。包括：①探索维度与网络复杂性（以参数数量计）对浅层超维神经网络最终训练准确度的影响；②针对给定边缘应用推理时，演示超维神经网络对于嘈杂输入的可靠处理。
HyDDENN的目标是，通过降低参数数量至少1个数量级，显著降低AI硬件复杂性，并维持与当前最先进基于MAC的深层神经网络相当的准确度。预计得到的计算神经网络元素，将直接使用基于简单整数或二进制计算原语的新型超维数据表示方法进行运算。配合高效数据计算硬件，这些创新将使计算能力与吞吐量至少降低至当前水平的1%，并维持与当前最先进深层神经网络方法相当的高准确度输出。
后续计划
HyDDENN项目分为两个阶段：阶段1，可行性研究，时间6个月，协议金额高达30万美元；阶段2，概念验证，时间12个月，协议金额高达70万美元。感兴趣的参与者可提交非涉密建议书。根据参与者所提交建议书的评审情况，DARPA将以其他交易协议方式与选定参与者缔约。
来源 ：美国联邦商机网站/图片来自互联网
军事科学院军事科学信息研究中心 佘晓琼
閱讀更多 國防科技要聞 的文章
