《麻省理工科技評論》曾將人臉識別技術評選為 2017 年的“十大突破性技術”。
但，“萬物有矛必有盾”。隨著人臉識別技術跨入成熟應用期，各式各樣的“人臉識別之矛”也在 2019 年頻繁出現在公眾視野之中。
現在，算法研究人員用一個面具、一張貼紙、一件衣服、甚至一個紋身，就能干擾機器的人臉識別。
近日，美國 AI 初創公司耐能（Kneron）的研究員，便成功利用特製的3D面具，通過包括微信支付、支付寶、鐵路刷臉進站在內的人臉識別完成支付。對此，支付寶團隊回應，此前試圖聯繫這家企業獲取詳細信息，但是對方將該新聞及視頻下架，沒有提供更多信息。而微信方面稱，目前已採用了多項技術，可以有效抵禦視頻、紙片、面具等攻擊。兩家均表示，如果出現刷臉支付導致盜刷可申請全額賠付。
圖 | 2017 年入選 “十大突破性技術” 的“刷臉支付”
這些現象背後，計算機視覺技術賦予越來越多的機器以識別能力，其對應的頗具代表性的一類“矛”——對抗樣本（adversarial example）——也在近兩年呈現出熱度急劇上升的趨勢。
現有計算機視覺基本上基於深度學習（尤其是人臉識別技術），而對抗樣本，正是通過給正常數據樣本引入細微特殊噪聲後、導致深度學習模型識別錯誤的樣本，產生所謂的 “對抗” 效果。
在即將過去的 2019 年，諸多跡象都在指向以對抗樣本研究為代表的 AI 安全研究正在成為一大熱門技術話題。
加州伯克利計算機安全專業博士生 Nicholas Carlini 就給出了一項不完全統計，全球最大的預印本網站 arXiv 上，對抗樣本相關的論文在 2019 年間數量暴漲。
無獨有偶，同樣在 2019 年，中國人臉識別第一案爆發、全球人臉識別標準啟動制定、多地爆發人臉識別抗議活動，人臉識別技術走向下一個發展階段，與用戶隱私問題相生相伴的，正是其安全性問題。
IEEE 於 12 月 10 日發佈的 “2020 年 12 大技術趨勢” 中，也將與對抗樣本息息相關的“對抗機器學習”（Adversarial Machine Learning ）列入其中，顯示這個方向將在 2020 年展現顛覆市場的潛力。
IEEE 認為：“機器學習算法通常假定在訓練和評估模型期間，不會遭遇外部的惡意操作。換句話說，大多數機器學習模型都沒有充分考慮被攻擊或者被操縱的可能性。但是，越來越多的安全研究人員已經證明，即使沒有關於目標模型參數的完整信息，惡意的輸入（例如對抗樣本）也可以操縱機器學習算法的輸出效果。
但隨著越來越多的機器學習算法被整合到各種各樣的現實系統中，對這些算法的惡意攻擊頻率將會上升。如此看來，針對對抗機器學習的安全性研究和探索偵測機器學習系統是否被惡意操縱的方法，將變得至關重要”。以計算機視覺首當其衝的一場 AI 攻防戰，已燃起烽火。
圖丨將圖像稍加干擾像素之後，熊貓便被錯誤分類成長臂猿（來源：medium）
計算機視覺的“阿喀琉斯之踵”：微小擾動，識別概率就可大幅下降
對抗樣本這一概念於 2013 年由學者 Szegedy C 提出。
當時，由他所著的名為《Intriguing properties of neural networks》的研究論文，首次揭示了深度神經網絡的一大弱點所在：其極易受到對抗性樣本的影響，只需通過對輸入樣本進行細微改動，深度神經網絡進行錯誤分類的概率就會大幅提升。
“對抗樣本的出現，使得原本準確率較高的深度學習模型出現了嚴重的正確率下降的現象，其對於現有模型的攻擊效果引起了很大的關注。對抗樣本通過添加微小擾動的方式，大多在人眼看不見的情況下，取得欺騙模型的成績，對於現有的深度模型提出了一定意義上的挑戰，也對攻防兩個方面提出了新的要求”，浙江大學計算機學院宋明黎教授說。
2013 年之後，Nguyen 等人提出，面對一些人類無法識別的樣本，深度學習模型也可以將其以高置信度進行分類。這意味著深度學習模型具有極大脆弱性，在理論上存在憑藉垃圾樣本通過識別分類系統的可能性。
而自 Szegedy C 提出對抗樣本以後，“GAN 之父” Ian GoodFellow 在 2014 年解釋了對抗樣本的基本原理，即高維網絡的線性狀態。自那之後，圍繞於生成對抗樣本的迭代算法開始湧現，出現了各類流派。
宋明黎教授表示，對抗樣本的現有研究思路，總體上可以分成全像素添加擾動和部分像素添加擾動兩類，每一類中又可以分成目標是否定向、是否黑盒（在無法獲取模型內部的所有信息和參數基礎上的攻擊）和是否肉眼可見。
“全像素添加擾動是指在原圖像的所有像素點均加上合適的擾動，部分像素擾動只對原圖像的部分像素進行修改。全像素擾動注重對抗性和適應性的提高，即，是否能產生更高的誤分類率和是否具有可遷移性等特性；部分像素擾動更加註重選擇的像素數量、代價和對抗性之間的關係。基此分類，可突出各自不同的期望目標，即尋求質量提高還是尋求擾動微小”。
例如，在更高的誤分類率上，2018 年多倫多大學教授 Parham Aarabi 和研究生 Avishek Bose 發明的一種算法中，通過對圖像進行光轉換，動態地破壞面部識別系統，人臉識別系統中被檢測到的人臉的比例就能降低到 0.5%。
圖丨人臉已經不被檢測到（來源：多倫多大學）
研究上用對抗樣本調戲 AI 分類器、或者干擾機器進行人臉識別，我們尚可一笑而過嘲笑機器之愚蠢。但是，如果部署到公共空間的機器，被對抗樣本所迷惑，將你錯誤識別成了老賴、潛逃犯，或者是一輛自動駕駛汽車無法正確識別路標，問題就大了。
伯克利、OpenAI 以及賓大聯合發表的論文《Adversarial Attacks on Neural Network Policies》，內華達大學《Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks》等多項研究也表明，廣為採用的強化學習算法（比如，DQN、TRPO 以及 A3C）都經不起對抗樣本的捉弄。
事實上，對抗樣本的研究，本質上屬於網絡信息安全的範疇，是為了確保視覺算法在現實應用中能夠有更高的安全性。因此，針對對抗樣本的研究，具有很高的產業價值。
已有國內廠商攻破手機人臉識別+特斯拉自動駕駛
在 2019 年，國內兩個團隊在今年分別實現了對手機和汽車的對抗攻擊（adversarial attack，基於對抗樣本的攻擊）。
2019 年 4 月初，專注於安全技術的騰訊科恩實驗室公佈了一項在特斯拉 Model S 上進行的安全性研究，併發布報告指出了三個缺陷，其中就包括雨刷、車道的兩項視覺識別，而兩者正是基於對抗攻擊。
在實驗中，團隊將特斯拉停在一個室內環境中，在車輛前播放特定的干擾畫面，使車輛得出了下雨的錯誤判斷，導致雨刷自動啟動。實驗室表示，這是利用 AI 對抗樣本生成技術生成特定圖像並實現了對汽車的干擾，而在隨機生成的畫面中則不會出現這種情況。
車道的實驗則更為驚險。在科恩實驗室發佈的視頻演示中，道路特定位置上擺放三張小紙片，一般情況下人類駕駛員都難以輕易察覺紙片的存在，然而特斯拉在 Autopilot 駕駛模式下行駛到該位置時，突然作出轉向決策進入到隔壁的逆行車道。
騰訊團隊在報告中指出，在天氣識別和車道識別上，特斯拉都是基於視覺識別技術感知環境，再作出決策。團隊研究了特斯拉車道識別過程，在實際的道路上擺放了數個紙片，實現了物理上的對抗圖像攻擊，讓汽車產生了錯誤的車道判斷。
而清華背景的 AI 安全初創公司 RealAI，則在今年成功攻破商用手機的人臉識別，這也是迄今唯一通過對抗樣本攻擊商用手機人臉識別成功的案例。這家公司正在打造安全、可靠、可解釋的第三代人工智能，提供工業檢測、預測性維護、金融風控、人工智能系統安全評測與防護等服務。
但需要指出，尚未出現成規模的攻破人臉識別系統的案例。
對此，宋明黎教授解釋道，對抗樣本可遷移性的侷限，導致其還無法做到大規模的攻擊。對抗樣本的遷移性，即基於一個深度模型構建的對抗樣本攻擊其他機器學習模型的能力，但現在的對抗樣本仍未具備很好的遷移性。
“應用在現實世界的對抗樣本必須是黑盒攻擊，不瞭解原模型的內部結構，這類對抗樣本的可遷移性並沒有達到可以普遍應用的效果”，他說。
AI 進入產業深水區，安全問題將成重中之重
隨著人工智能技術繼續“賦能百業”、與各行各業的核心業務場景結合得更加緊密，新興技術帶來新的產業攻防場景，將是一個重要話題。
現有的大量 AI 公司都集中在應用開發領域，而專注於 AI 安全研究的初創公司仍顯少見。
根據 Technavio 最新市場研究報告預測，全球基於人工智能的網絡安全市場將在 2018-2022 年期間實現超 29% 的複合年增長。作為 AI + 安全賽道玩家之一，RealAI 團隊認為，人工智能安全未來將會發展到和網絡安全同等的規模。
在一場業內峰會上，騰訊科恩實驗室總監呂一平接受 DeepTech 採訪時也表示：“AI 現在在各行各業應用場景較多，未來會出現新的對 AI 算法對抗的研究，這可能也會成為一個安全研究的新方向”。
據他介紹，在 AI 安全的方向上，科恩實驗室現正在從兩個角度開展研究：
1、AI 算法本身的安全。比如關於智能汽車視覺、AI 的對抗，不管是車道線的變換，研究算法，還是製造 AI、視覺的對抗樣本，最後都干擾了汽車的駕駛決策。
2、怎麼樣用 AI 的能力來輔助安全研究？安全研究仍是一個以人為主的領域，靠人的經驗和突發奇想的創造力得以推進。
圖丨目前還沒有強有力的防禦對抗樣本的工具出現（來源：GoodFellow）
具體到防禦對抗樣本上，這同樣是一個全新領域，儘管目前還沒有一招吃遍天下的防禦手段，但其中不乏一些重要的進展。
宋明黎介紹道，例如在黑盒攻擊和可遷移性上，MI-FGSM 算法有比較好的效果，其在借鑑了 I-FGSM 和 ILCM 兩種算法以後提出的。“MI-FGSM 在 CAAD 攻防賽中也使用了該模型，取得了第一的成績，“但整體而言，防禦對抗樣本還屬於需要突破的階段，在各大方面也有比較可觀的應用價值”，他說。
當然，AI 技術的安全問題並不止對抗樣本一個方面，但正如 Ian GoodFellow 在一篇對抗樣本的研究文章中所說：“我們認為對抗樣本是安全方面非常好的議題，因為它代表了 AI 安全裡的一種具體問題，可以在較短期裡去關注和解決，而且這個問題的難度也是足夠的，需要進行一些重要的研究工作”。
附：迄今出現的一些有趣的對抗樣本“時尚單品”
1、方形貼紙：
一種特別的貼紙交給左邊的人後，AI 瞬間就檢測不了左邊的人。
（來源：Fooling automated surveillance cameras: adversarial patches to attack person detection）
2、眼鏡貼片
一種眼鏡貼片能使人臉識別系統將你錯認為其他人
圖丨上為真人，下為系統錯誤識別出的人（來源：Adversarial Generative Nets: Neural Network Attacks on State-of-the-Art Face Recognition）
3、路標
將一種貼紙應用在真實的 “停止” 標誌上，YOLO 和 Faster-RCNN 兩種算法都無法在正常距離中識別“停止”。
圖丨 Faster R-CNN，為 YOLO 生成的真實對抗樣本對 Faster R-CNN 做黑盒遷移測試（來源：http://bair.berkeley.edu/blog/2017/12/30/yolo-attack/）
4、T-shirt
這件“對抗樣本” T 恤可以保證即使印刷圖像隨著穿著者的姿勢變化發生變形，也能干擾人臉檢測器。
（來源：https://arxiv.org/pdf/1910.11099.pdf）
5、帽子
在一頂帽子上貼上特殊的圖案之後，ArcFace 算法無法檢測到人臉。
（來源：AdvHat: Real-World Adversarial Attack on ArcFace Face ID system）
閱讀更多 DeepTech深科技 的文章
