近期，DARPA完成“可靠自主性”項目第一階段工作，為自主系統開發了多種安全保證方法並進行了測試，取得初步進展。
一、研究背景
近年來，由於計算、建模、傳感等技術進步，各行業領域開發的自主系統的複雜性顯著提高。但自主系統的安全保證仍然落後，這在很大程度上是由於其依賴數據驅動的機器學習技術，而這種技術在本質上是不可預測的，並且缺乏必要的數學框架來保證其正確性。這限制了人們對“基於機器學習的網絡物理系統”（LE-CPS）安全性和正確運行的信任，進而會阻礙這種系統在關鍵國防任務或能力中的廣泛部署和應用。
二、項目目標
為解決上述挑戰，DARPA於2017年啟動“可靠自主性”項目，並在近日完成項目第一階段。該項目尋求為LE-CPS在設計階段和運行階段的安全性和功能正確提供持續保證，目前正在開發可數學驗證的方法和工具，用於不同類型的數據驅動型機器學習算法及其應用，以增強系統的自主性並確保系統安全。為實現研究目標，該項目優先考慮國防領域空中、地面和水下自主平臺的挑戰性問題。
三、第一階段進展
項目第一階段對保證方法、工具和“機器學習使能能力”（LEC）進行了18個月的研究開發，多個研究團隊將開發的技術集成到自主系統上進行演示驗證。項目經理桑迪普·尼馬錶示，在空中、地面和水下平臺上進行的三次演示驗證取得重要進展，驗證了開發的技術既能在設計階段提供保證，又能在系統和環境不斷變化的運行階段提供保證。
（1）加州大學伯克利分校、柯林斯航空航天公司和SGT公司研發團隊與波音公司合作，驗證了開發的技術能在飛機地面運行期間提高系統安全性針對設計階段的安全保證，研究團隊開發了名為VerifAI的工具包，可在形式化模型和規範的驅動下對基於機器學習系統進行設計與分析，尋求通過將形式化方法應用於認知和機器學習組件來解決挑戰，並在存在環境不確定性的情況下對系統行為進行建模和分析。針對運行期間的安全保證，研究團隊還開發了一種安全內核方法，允許自主系統檢測異常輸入（如障礙物），然後確定適當、安全的響應行為。
試驗情況 研究人員將開發的工具集成到波音公司的評估平臺，包括“鐵鳥”X-Plane模擬機和一架小型試驗檯飛機，並針對地面運行相關的挑戰性問題進行測試，包括中心線跟蹤以及滑行過程中跑道上障礙物的探測與規避，這也是無人機在機場和航母甲板上運行所需的重要能力。測試期間，保證方法能檢測到滑行過程中存在的障礙物，然後觸發安全方法，識別並執行繞過障礙物的安全響應；還能檢測到攝像機信號出現噪聲或模糊，然後觸發安全方法，識別並執行安全響應——讓飛機停下直到安全恢復運行。此外，這些工具能檢測到可能導致“機器學習使能能力”行為失常的異常情況，並允許系統在這些異常情況下保持安全運行。形式化模型和規範的使用為設計階段和運行階段的系統安全性提供了保證。
（2）HRL實驗室研究團隊與美陸軍作戰能力發展司令部地面車輛系統中心合作，在“北極星”MRZR自主車輛上驗證了保證工具研究團隊開發了一種工具包，可利用數學推理來分析人工智能系統，通過計算可能導致不良結果的情況來發現和預防安全故障——本質上是確定神經網絡不能安全使用的情況。研究團隊使用了具有安全核驗證明的“機器學習使能能力”的數學模型，以及一個動態保證監控器來測量試驗系統偏離數學模型的情況。
試驗情況 為了評估工具的效用，研究人員首先使用其開發的工具識別人工智能系統出現意外操作或異常行為的潛在場景，然後將結果輸入到一個模擬系統中，以驗證所識別的場景確實會導致不安全行為。在模擬評估之後，研究人員與美陸軍地面車輛系統中心合作，在“北極星”MRZR上集成其工具包和“機器學習使能能力”，進行物理系統演示驗證，使用開發的工具控制自主車輛通過一條計劃的路徑，並繞過障礙行駛。試驗期間，研究人員驗證了用於激光雷達的機器學習方法能夠將目標點分為“地面”和“非地面”，或進行地面細分，從而使系統能夠識別車輛行駛路徑中需要規避的障礙。該方法能滿足數學上的正確性以及相對於基線系統的顯著性能提升。
（3）範德比爾特大學和賓夕法尼亞大學研究團隊與諾斯羅普·格魯曼公司合作，致力於解決機器學習技術如何提高自主水下潛航器在平臺控制和感知方面的任務效能研究團隊正在開發一種“機器學習使能能力”，使自主水下潛航器能夠現場監測運行條件，進行評估，然後實時規劃替代性行動方案，以安全實現任務目標。對此，範德比爾特大學研究人員開發了名為ALC的集成工具鏈，用於“機器學習使能能力”設計和安全保證。ALC可支持基於機器學習的網絡物理系統開發，包括架構建模、數據收集、系統軟件部署，以及“機器學習使能能力”訓練、評估和驗證。
試驗情況 所開發的“機器學習使能能力”和安全保證技術被集成到自主水下潛航器演示驗證平臺上並進行測試，目標是使用機器學習支持系統感知和控制。具體而言，挑戰性問題主要是確保自主水下潛航器在檢查海底基礎設施時，沿著設定的路徑航行，無需事先查看該區域的佈局或地圖。尼馬錶示，海底環境面臨獨特挑戰，由於惡劣的環境條件和物理限制，任務需要更長時間，導航/傳感/通信問題加劇了挑戰，先進的自主技術和保證方法可極大幫助水下運行。試驗中，自主水下潛航器完成測試任務所需的時間和能量大幅減少；相比以前需要詳細、多步驟的指令，“機器學習使能能力”使用關於測試任務的基本指令在水下環境中安全航行，並將通常需要的多個任務合併為一個任務，減少了對人工數據分析的需要，並實現了最佳傳感器分辨率。
四、後續計劃
尼馬錶示，項目第二階段將聚焦於技術成熟化和可擴展性，覆蓋更多危險場景，增強對環境變化的穩健性，並優化對突發事件的緩解能力。
來源：DARPA網站/圖片來自互聯網
軍事科學院軍事科學信息研究中心 馮雲皓
如需轉載請註明出處：“國防科技要聞”（ID：CDSTIC）
閱讀更多 國防科技要聞 的文章
