乾明 十三 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
汽車越來越智能，越來越方便，但也帶來新安全隱患。
車道保持輔助系統，即LKAS，之前以L2自動駕駛核心功能為賣點，開長途、開高速環路，都能讓人類司機更輕鬆，現在成為各大智能車標配。
但就這樣一個智能駕駛系統，在攻擊下只需要1.3秒——稍一疏忽的時間，就會失控，從而在高速行駛中轉向其他車道。
該結論來自安全領域頂級會議NDSS上的新研究，得到了Best Poster Award（top 1/30），研究者裡有多位中國小哥。
而且在自動駕駛領域鮮有發聲的字節跳動，出現在作者機構和致謝名單中。
咦？難道？還是……？
不妨先一起深入看一看這項新研究，而且我們也找到了論文作者進行了答疑。
車道保持輔助系統秒秒鐘失控
論文主要由兩位加州大學歐文分校的作者領銜。
在論文中，他們使用不覆蓋車道線的“髒路補丁”作為攻擊載體，在最先進的開源車道保持輔助系統OpenPilot上測試：攻擊126公里時速的車輛，只需要0.9秒就能讓它失控；72公里時速行駛下的汽車，只需要1.3秒。
而通常情況下，人類司機發現車輛失控，並採取措施的時間是2.3秒。目前，一共有15個汽車品牌的52個車型支持OpenPilot，包括大眾高爾夫、豐田凱美瑞、本田CR-V等。
受到波及的並不僅僅只有使用了OpenPilot的車。研究團隊表示，這一攻擊適用於任何基於深度神經網絡的車道保持系統，比如特斯拉的Autopilot，也可能會受到影響。
除了攻擊方法具有廣泛性，攻擊效果也很明顯。
論文中在3個場景中試驗了攻擊有效性。前兩個場景採用的是comma2k19-1和comma2k19-1數據集，是真實世界高速公路場景。
第三個場景來自LGSVL-1數據集，模擬高速公路逼真度可達到工業級別，整體結果如下：
研究團隊只針對前兩個測試製作了演示視頻——由變換後的攝像機圖像，經過小車運動模型庫輸入生成。
換句話說，就是在BEV(俯視圖)圖像上放置了“髒路補丁”，從BEV生成攝像機輸入，然後根據汽車運動模型更新下一幀狀態。
首先看一下自動駕駛車輛在高速行駛 (126km/h)的情況。
在沒有攻擊的時候，車輛行進還非常平穩，能保持在自己原有的車道。但經過添加了髒路補丁後，車輛（我們在車裡的視角）就像“喝醉了酒”一樣，迅速駛出自己的車道。下面是正常情況和添加攻擊後的視角對比情況：
第二個場景，是自動駕駛車輛中速行駛 (105km/h)的情況。進行攻擊後，雖然沒有高速情況下“醉”得那麼誇張，但還是能夠看出行駛位置迅速發生了偏移。
對比情況如下：
在第三個模擬場景中，自動駕駛車輛行駛速度為72km/h，在相對較為低速的情況下，造成攻擊所用的時間為1.3s。
通常，LKAS被認為是專治走神打盹的輔助駕駛功能，但遇到這個“髒路補丁”，秒秒鐘失控、出事兒，反應都來不及。
到底是什麼樣的攻擊，可以讓自動駕駛LKAS變得如此不穩定？
道路上“打補丁”
先簡單科普下原理，基於深度神經網絡(DNN)的LKAS，屬於L2自動駕駛系統技術，最具代表性有OpenPilot和特斯拉的Autopilot，是當前使用最為廣泛的智能駕駛技術之一，並正被更加廣泛地使用。
但好用的同時，安全嗎？畢竟駕駛上路，每一個隱患都事關人身安全。
這就是研究者們展開課題的初衷，加州大學歐文分校的博士生、該研究共同一作沈駿傑說：“從這類系統的用戶角度考慮，我很想知道到底目前最好的車道保持系統是否足夠安全，以及如何確保它的安全。”
2019年3月，他們正式立項，開始了針對LKAS安全性的研究。核心的前提假設是：這些LKAS基於DNN，是不是直接攻擊DNN就能造成破壞？
並沒有那麼簡單。想要破壞這樣的LKAS，需要邁過“三座大山”：
- 第一，如何通過優化方法來系統，生成針對車道保持系統的惡意路面修復補丁(malicious road patch)。
- 第二，如何保證道路補丁的隱蔽性，避免引起駕駛員和行人懷疑。
- 第三，如何讓生成的道路補丁能攻擊連續多幀圖像，並在車道保持系統受攻擊改變車輛軌跡後還能保證攻擊的有效性。
這項工作設計並實現了首個可以翻過“三座大山”的攻擊方法，僅僅是一塊“髒路補丁”。
他們假設攻擊者擁有和被攻擊對象一樣的車道保持系統，並能通過逆向工程獲悉該系統的細節，例如神經網絡模型參數等。
如果被攻擊對象是基於類似OpenPilot這種開源車道保持系統，攻擊者很容易就能獲得所有的模型參數和源代碼。
如果被攻擊對象採用的是類似Tesla Autopilot這類閉源系統，攻擊者也能通過逆向工程獲得模型的結構和參數。
例如去年騰訊科恩實驗室就成功逆向出了Autopilot裡面的模型，併成功發動了攻擊。
不過， 這只是第一步。具體的攻擊中，還需要生成基於車輛運動模型的輸入。考慮到連續攝像機幀間攻擊的相互依賴性，需要根據補丁生成過程中驅動軌跡的變化，對攝像機輸入進行動態更新。
研究人員使用自行車模型，來模擬汽車軌跡的變化，然後通過對未受攻擊的原始攝像機輸入，應用透視變換，來更新攝像機輸入。
下圖中紅色方框，就是模型輸入區域。在透視變換後，雖然會造成一些失真和部分缺失，但位於中心的模型輸入區域，仍然完整可用。
接下來生成惡意路面修復補丁，他們採用了一種優化方法——*多幀路徑彎曲目標函數 (Multi-frame path bending objective function)。用它來替代目標函數，讓汽車儘可能地發生偏離。
基於這樣的目標函數，可以得到每個攝像機輸入的梯度。但梯度下降並不能直接適用於更新惡意路面修復補丁。
研究人員將所有相機輸入轉換為BEV，讓梯度對齊到相同的比例尺，並採取一個加權平均數，解決了這一問題。具體如下圖所示：
同時，他們還將更新方向限制在了灰度範圍內，假裝是一個正常(但骯髒的)道路補丁，這樣可以更加隱蔽地發起攻擊。
那麼問題來了，在現實世界中，發生這種攻擊性的可能性如何？該如何應對？
該如何應對攻擊？
研究團隊稱，這一攻擊適用於任何基於深度神經網絡的車道保持系統，接下來將會進一步完善攻擊的適用性，進一步研究車道保持輔助系統中的漏洞。
他們在論文中說，如果有人可以刻意為之，比如出於商業或者金融目的，或者是企業之間的競爭，在現實世界中惡意發起攻擊也不是不可能。
畢竟某社交平臺的運營合夥人，剛剛因為惡意舉報友商被抓，再次證明競爭無所不用其極……
既然如此，那麼這個問題又該如何應對呢？論文作者之一沈駿傑從研究者的角度，給出了可行的方案。
他說：“這幾年確實有很多研究者提出多種不同的防禦手段，例如對抗訓練，隨機改變輸入大小和填充等。”
但這些防禦手段只能對這個問題提供一定程度的緩解。“目前還沒有任何一種防禦手段能完全解決對抗樣本的問題。”他說。
一種可能的方向，是藉助車輛輔助系統裡面的其他信息，來交叉驗證車道檢測的結果。比如，用雷達對於周圍車的估計來判斷本車的橫向偏移。
所以，即便在現實中發生類似攻擊的情況可能性很小，但在安全性沒有辦法得到保證的時候，自動駕駛能否完全可依賴，還需要採取審慎態度。
在極端情況下，會要命。比如2016年5月，特斯拉的Autopilot因為卡車車體反光，攝像頭並未識別對向的卡車，從而導致處於自動駕駛狀態的Model S發生事故，導致駕駛員死亡。
道路千萬條，安全永遠是第一條。
加州大學歐文分校領銜，字節跳動參與
最後，解答下開頭提出的“字節跳動之疑”。字節跳動並非佈局自動駕駛，而是很前瞻性地把其中一名作者攬入麾下。
本次研究作者團隊，來自加州大學歐文分校、字節跳動和東北大學，一共有6名研究人員。其中任教於美國東北大學的Xue Lin，本科畢業於清華。
兩位同等貢獻第一作者來自加州大學歐文分校，分別是Takami Sato和沈駿傑。
沈駿傑，2013年本科畢業於杭州電子科技大學通信工程專業，2015年在北卡羅來納州立大學獲得計算機工程碩士學位。
2016年前往加州大學歐文分校攻讀博士學位，指導老師是陳齊——論文通訊作者。
陳齊於2012年畢業於南京大學計算機科學專業，之後前往密歇根大學讀書，師從
茅斫青教授，2018年在獲得系統和網絡安全博士學位，同年7月加入加州大學歐文分校，擔任助理教授。Takami Sato是沈駿傑的同門師弟，本科和碩士畢業於東京工業大學，於2019年在加州大學歐文分校攻讀博士學位。此外，作者中還有一位加州大學歐文分校博士生，名為Ningfei Wang。
據沈駿傑介紹，他們主要專注於計算機安全研究。從2018年以來，圍繞自動駕駛和智能交通系統的攻擊和防禦一共發佈10多篇相關論文，分別在ACM CCS、Usenix Security、ICLR、EuroSys、NDSS發佈。
這篇基於深度學習的車道保持輔助系統的安全性研究，是他們團隊的最新成果。陳齊團隊的研究人員之外，字節跳動的賈雲瀚參與了這項研究。
賈雲瀚2013年畢業於上海交通大學軟件工程專業，之後前往密歇根大學攻讀博士學位，師從茅斫青教授——和陳齊是同門師兄弟。
2018年博士畢業之後，他加入百度安全研究方向的X實驗室。2019年8月加入字節跳動人工智能實驗室擔任研究科學家。
賈雲瀚近年來的研究同樣集中在安全，特別是智能汽車安全領域。2015年以來，賈雲瀚在ACM CCS、NDSS等學術會議上發表15篇論文，獲得過3項專利。
據悉，他作為獨立研究者一作，與陳齊團隊合作的論文，研究針對自動駕駛系統裡面目標跟蹤的攻擊，已被ICLR 2020收錄。
所以做什麼業務可能不本質，有人才，真的可以為所欲為。
當然，有人才的前提，是得有錢……
傳送門
論文地址：
https://www.ndss-symposium.org/wp-content/uploads/2020/02/NDSS2020posters_paper_15.pdf
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
閱讀更多 量子位 的文章
關鍵字: 攝 伴隨成長的中國味品牌 人工智能
