---------- 獲取更多信息，請關注我們
----------受美國陸軍研究署和國防部資助，北卡羅來納州立大學提出一種解決深度神經網絡遺忘問題的方法，使人工智能系統可保留之前所學內容。
對人而言，新學習的知識通常不會對過去的知識產生負面影響，但深度神經網絡在學習新任務時可能會忘記先前學習的內容。彈性權重合並、聯合智能等方法可適當緩解這種遺忘問題，但當學習任務增加時仍難以完全避免。為此，研究人員提出了一種“學習成長”方法，將模型結構的學習和模型參數估計分離。該方法的核心思想是執行不同任務的深度神經網絡僅與不同類型數據連接的底層基礎部分結構不同，而上層結構功能相同，即每次學習新任務只需訓練底層基礎部分，而上層功能部分可保持不變。當學習新任務時，先採用神經架構搜索方法對神經網絡結構進行優化，優化過程將考慮共享之前任務的神經網絡結構參數、引入新參數等，確定需要重建、複用、微調和跳過的分別是哪些層，這樣可保證之前學習的知識不遺忘；然後，通過訓練估算神經網絡的參數。置換MNIST和視域十項全能數據集驗證結果表明，該方法確實產生了具有適當共享的神經網絡結構。
圖1： “從學習到成長”的架構
這種方法為開發通用深度神經網絡算法提供了一種途徑，有助於提升自主系統的學習能力，擴展其應用範圍。
（藍海星）
1
能自己學會走路的人工智能機器人
2
與抑鬱相關的神經調控網絡
3
人工智能技術在美國國家安全領域的應用
4
美國海軍利用機器學習提高反艦巡航導彈防禦教學演訓水平
5
美軍積極發展深度學習技術
分享到:
閱讀更多 藍海星智庫 的文章
