---------- 获取更多信息，请关注我们
----------受美国陆军研究署和国防部资助，北卡罗来纳州立大学提出一种解决深度神经网络遗忘问题的方法，使人工智能系统可保留之前所学内容。
对人而言，新学习的知识通常不会对过去的知识产生负面影响，但深度神经网络在学习新任务时可能会忘记先前学习的内容。弹性权重合并、联合智能等方法可适当缓解这种遗忘问题，但当学习任务增加时仍难以完全避免。为此，研究人员提出了一种“学习成长”方法，将模型结构的学习和模型参数估计分离。该方法的核心思想是执行不同任务的深度神经网络仅与不同类型数据连接的底层基础部分结构不同，而上层结构功能相同，即每次学习新任务只需训练底层基础部分，而上层功能部分可保持不变。当学习新任务时，先采用神经架构搜索方法对神经网络结构进行优化，优化过程将考虑共享之前任务的神经网络结构参数、引入新参数等，确定需要重建、复用、微调和跳过的分别是哪些层，这样可保证之前学习的知识不遗忘；然后，通过训练估算神经网络的参数。置换MNIST和视域十项全能数据集验证结果表明，该方法确实产生了具有适当共享的神经网络结构。
图1： “从学习到成长”的架构
这种方法为开发通用深度神经网络算法提供了一种途径，有助于提升自主系统的学习能力，扩展其应用范围。
（蓝海星）
1
能自己学会走路的人工智能机器人
2
与抑郁相关的神经调控网络
3
人工智能技术在美国国家安全领域的应用
4
美国海军利用机器学习提高反舰巡航导弹防御教学演训水平
5
美军积极发展深度学习技术
分享到:
閱讀更多 藍海星智庫 的文章
