上週，在機器學習國際會議上，研究人員展示了一隻3D打印的海龜。當會上的大多數人都認為它確實是一隻烏龜的時候，人工智能算法得到的答案卻是不同的。大多數的人工智能都認為這隻烏龜看上去像一支步槍。同樣，它也會錯把3D打印的棒球看作一種濃縮咖啡。
這些都是“對抗性攻擊”的例子。
“對抗性攻擊”是指通過改變一些不易察覺的元素（圖像、物體或是聲音）來欺騙人工智能識別算法，使其無法正確識別圖像或物體，而這種愚弄方式連人類也不能輕易察覺。
近幾年，人工智能取得了極大的進展，尤其是在消化訓練數據集之後能夠識別聲音或物體的機器學習算法，AI的進步同時也刺激了客廳語音助理和自動駕駛汽車的發展。
但令人驚訝的是，這些人工智能很容易被欺騙。在這次會議上，“對抗性攻擊”是一個熱門話題，研究人員們在會議上彙報了一些新穎的用來欺騙人工智能的算法以及防禦這種攻擊的有效手段。
這次會議的其中一個獎項頒給了一項消極研究，該研究表明受保護的人工智能並不像開發者想象的那麼安全。 劍橋麻省理工學院(MIT)的計算機科學家Anish Athalye表示:”在機器學習領域，我們只是不習慣從安全的角度來思考這個問題。”
研究對抗性攻擊的計算機科學家表示他們提供一種服務，就像黑客可以找出軟件安全漏洞一樣。“我們需要重新考慮我們所有的機器學習途徑，使其更加安全。” 麻省理工學院計算機科學家 Aleksander Madry 表示。研究人員認為這種類型的攻擊在科學上也是有用的，它為AI提供了一個罕見的窗口，也就是神經網絡。加利福尼亞大學伯克利分校的計算機科學家 Dawn Song 說：“這些攻擊就像是一面鏡子，通過它我們可以加深對機器學習的瞭解。”
這些攻擊嚴重在它們是不易被察覺的。去年，Song和他的同事在一個停車標誌上貼了一些小標籤，結果一個圖像識別AI算法系統把它當作一個每小時45英里的限速標識，這一結果無疑讓自動駕駛汽車公司不寒而慄。
其中一些對抗性攻擊利用對目標算法內部結構的瞭解進行攻擊，這就是所謂的白盒攻擊。例如，如果攻擊者研究出來某個人工智能的“梯度”（它描述了輸入圖像或聲音的輕微變化如何將輸出移動到預測的方向），那麼他就可以計算出如何一點一點地改變輸入以獲得所需的錯誤輸出—比如說一個”步槍”的標籤–而不需要以改變輸入圖像或聲音等顯眼的方式來迷惑AI。
人工智能開發者不斷地加強他們的防禦系統。其中一項技術是將圖像壓縮作為圖像識別AI的一個步驟。這就給算法中平滑的梯度增加了鋸齒效果，從而使攻擊者難以識別算法梯度。然而在這場貓捉老鼠的遊戲中，這種“梯度模糊處理”的方法已經被破解了。在ICML的一篇獲獎論文中，Carlini，Athalye 和一位同事分析了最近的人工智能會議中的九種圖像識別算法。 其中有7個算法將梯度模糊處理作為一種防禦機制，然而團隊通過避開圖像壓縮等方法成功破解了這7個算法。Carlini說，幾乎所有黑客都能在幾天內輕鬆破解這些算法。
一個更強有力的方法是訓練一種有某些約束的算法，以一種可檢驗的數學方法來防止它被對抗性攻擊侵害。 Deepmind 駐倫敦的計算機科學家Pushmeet Kohli表示:”如果你能找到這種方法，遊戲就結束了。” 但是這些可驗證的防禦系統到目前為止還沒有擴展到現代人工智能系統中的大型神經網絡。Kohli表示，這些系統有擴展的潛力，但是研究人員擔心它們將會受到現實世界的限制。 “例如行人是無法用數學方法來定義的,” Song說,”那麼我們如何證明自動駕駛汽車不會撞上行人呢？”
Carlini希望開發人員能夠更加努力地思考這些算法的防禦系統如何更有效以及它們為何會失敗，而不僅僅是關心它們在平常的基準測試中表現是否良好。他表示：“缺乏嚴謹性給我們的研究帶來很大的傷害。”
閱讀更多 奇笛網 的文章
