毫無疑問，未來機器人將在我們的生活中扮演越來越重要的角色，但是要達到一個真正有用的階段，仍然有許多挑戰需要克服，包括無需人工干預的導航。
雖然我們處於一個算法允許機器人學習如何移動的階段，但是該過程很複雜，需要大量人工輸入。近日，Google 的最新研究可能會使這種學習過程變得更加簡單。
AI 自學走路的四足機器人
谷歌，加州大學伯克利分校和佐治亞理工學院的研究人員聯合發表了一篇論文，構建了一個通過 AI 自學走路的四足機器人，並將它取名為“RainbowDash”。描述了一種統計 AI 技術，也是他們能用來產生這個成就的原因，即深度強化學習。
他們開發了一個系統，用於以最少的人力在現實世界中以深度 RL 學習腿式運動策略。機器人學習系統的主要困難是自動數據收集和安全性。通過開發多任務學習程序，自動重置控制器和受安全限制的 RL 框架，他們克服了這兩個挑戰。
在幾個小時內，僅僅依靠對當前最先進算法的微調，它們成功地讓一個四條腿的機器人學會了完全獨立的向前走和向後走，以及左右轉彎。
研究人員在學習如何在三種不同地形上行走的任務上測試了這個系統：平坦的地面，柔軟的床墊和帶有縫隙的門墊。
系統無需人工干預，即可在 Minitaur 機器人上自動高效地學習運動技能。
根據論文中的測試數據顯示，RainbowDash 在堅硬平坦的地面上學習走路需要1.5個小時，在由記憶海綿材質的床墊上大約需要5.5個小時，在鏤空的地毯上大約需要4.5個小時。
總結起來，Rainbow Dash 平均只需要大約3.5小時來學習向前、向後和左右轉彎等運動。而根據世界紀錄，嬰兒從爬行到學會行走的最快速度是6個月。
兩個小時內讓機器人站起來行走
此前，強化學習通常會這樣在模擬環境中進行：機器人的虛擬分身在模擬的環境中走來走去，直到算法足夠完善，可以使其安全運行為止,然後將其導入真正的機器人。
這種方法有助於避免機器人在反覆實驗過程中對周圍環境的損傷，但也需要一個易於建模的環境。在機器人腳下模擬自然散落的沙礫或者彈簧床墊需要很長時間，根本不值得。
基於這種狀況，研究人員從一開始就決定通過在真實世界中訓練來避免困難的環境建模。他們設計了一種更高效的算法，可以使學習的試驗次數變少一點，並在兩個小時內讓機器人站起來行走。由於實際環境中會有自然變化，機器人也能夠快速適應其他相似的環境，如斜坡、臺階以及有障礙的平地。
於是他們開始解決這個新問題。首先，他們限定了機器人可以探索的地形，並讓它一次性進行多重動作訓練。如果機器人在學習如何向前走的同時到達了限定地形的邊緣，它就會改變方向，開始學習如何向後走。
其次，研究人員還限制了機器人的訓練動作，讓它能夠謹慎一些，最大限度地減少反覆摔倒帶來的傷害。當機器人不可避免地摔倒時，他們還添加了另一個硬編碼算法來幫助它站起來。
通過這些調整，機器人學會了如何在幾個不同的環境中自主行走，包括平地、記憶泡沫床墊和有縫隙的門墊。這項實驗給未來的某些應用帶來了可能性，有些情況可能需要機器人在沒有人類的情況下在坎坷和未知的地形中行走。
具體來說，Rainbow Dash結合了深度學習和強化學習兩種不同類型的AI技術。通過深度學習，系統可以處理和評估來自其身處環境的原始輸入數據；通過強化學習，算法可以反覆試驗，以學習如何執行任務，並根據完成的程度來獲得獎勵和懲罰。
也就是說，通過上述的這種方式，機器人便可以在其不瞭解環境中實現自動控制策略。
儘管研究團隊將Rainbow Dash的學習能力歸功於它自己，但人為干預仍在實現該目標方面發揮了重要作用。
據悉，研究人員希望他們的算法能適用於不同種類的機器人，或適用於多個機器人在同一環境中同時進行學習。研究人員相信，破解機器人的運動能力將是解鎖更多實用機器人的關鍵。
接下來，研究人員希望他們的算法能適用於不同種類的機器人，或適用於多個機器人在同一環境中同時進行學習。
這確實是機器人自主行動的重要一步了，距離機器人自己自主行動也並不遙遠，到時候，我們到底是該恐懼還是興奮呢？
閱讀更多 RAVV 的文章
