2018年全國“兩會”政府工作報告中提到 “加強新一代人工智能研發應用”，表明國家對人工智能發展的重視。然而，任何新技術新應用都具有兩面性，人工智能技術及其應用為人們生產生活提供便利的同時，也帶來了安全隱患。2018年3月，優步（Uber）自動駕駛車輛在美國造成行人死亡事件，引發了公眾對人工智能安全的廣泛熱議和普遍擔憂。當前，亟需梳理人工智能發展現狀趨勢，分析其帶來的安全風險，提出應對措施建議，有效促進人工智能產業健康發展。
一、人工智能發展現狀與趨勢
（一） 人工智能發展現狀
一是各國政府高度重視，納入國家科技戰略核心。世界主要國家都高度重視人工智能（AI）發展。其中，美國和中國先後將AI提升為國家戰略，大力促進技術和產業發展；英國、日本、德國等憑藉其在AI專項領域的技術優勢推動人工智能發展，如英國和日本以機器人領域技術為突破點，德國以“工業4.0”為契機推進AI發展。
二是學術研究方興未艾，科技成果爆發式增長。近幾年，人工智能學術研究成果突飛猛進，為人工智能的發展奠定了良好的基礎。人工智能論文數量和專利申請數均爆炸式增長，其中，中國2016年提及“深度學習”和“深度神經網絡”的重要論文接近600篇，是2013年的12倍，已穩居全球首位； 2016年，中國專利年申請數為29023項，較2001年增長了40倍左右。
三是產業格局正在形成，科技巨頭引領人工智能發展。 在產業界，科技巨頭在AI產業環節積極卡位佈局。IBM圍繞Watson在芯片、計算平臺、行業解決方案和應用場景等進行全面產業佈局；谷歌憑藉TensorFlow平臺在智能家居、自動駕駛等重點領域佈局；國內以BAT為代表的科技企業，基於現有技術優勢和產品特點加速構建差異化的產業生態，成為國內AI領域引跑者。
（二） 人工智能發展趨勢
一是行業應用潛力巨大，“AI+”將成未來風向標。“AI+”是“互聯網+”的延續和升級，推動傳統行業向自動化和智能化轉型。目前AI在工業、金融、交通、醫療、保險、安防等領域應用潛力巨大，未來“AI+”將催生更多新業態，開拓更廣闊的市場空間。據麥肯錫預計，到2025年，AI應用市場總值將達到1270億美元。
二是創業投資漸趨理性，重新審視AI商業價值。AI投資正趨於理性，投資人更關注AI的商業和應用價值。《2017年中國人工智能產業數據報告》指出，AI領域投融資種子天使輪比重逐年下降，投資階段有後移趨勢。可以預見，隨著學術研究向產業應用轉化的趨勢愈發明顯，商業應用需求將是未來推動AI產業發展的主要因素。
三是認知智能尚未成熟，亟待新一輪技術革命。當前AI主要是依託數據驅動的感知智能，發展受限於算法效率和硬件性能等因素：一方面，深度學習算法嚴重依賴海量數據和超強算力，且存在不可解釋性；另一方面，隨著摩爾定律的失效，支持AI發展的硬件性能呈指數增長將不可持續。因此，依託深度學習的AI未來可能會遭遇發展瓶頸，以遷移學習、類腦學習等為代表的認知智能研究越發重要。
二、人工智能帶來的安全風險
一是人工智能可提升網絡攻擊效率，威脅網絡空間安全。AI技術用於網絡攻擊時，其自我學習能力和自組織能力可用於智能查找漏洞和識別關鍵目標，提高攻擊效率。例如，集成AI的惡意軟件可自動瞄準更具吸引力的目標，劫持工業設備、勒索贖金等犯罪將越來越常見，傳統網絡安全體系遭受威脅。
二是人工智能可加劇個人信息洩露，威脅個人隱私安全。AI技術的應用增強了個人信息採集力度和個人數據挖掘能力，加大了隱私洩露風險。例如，基於指紋、人臉、虹膜等生物特徵識別的智能系統會採集和掌握大量用戶隱私， AI系統則可根據其採集到的數據進行再學習和再推理，得到更多與用戶隱私相關的信息，甚至可能導致數據匿名化等安全保護措施無效。
三是人工智能系統尚存在決策偏差，威脅人身生命安全。AI系統（特別是高度自治的系統）具備一定的決策和行動能力，一旦出現感知、認知偏差或者受到網絡攻擊，系統就可能判斷失誤，進而採取錯誤行動，甚至危及人身安全。例如，今年3月，Uber自動駕駛汽車在美國亞利桑那州造成行人死亡的案例就是此類安全威脅的明證。
四是人工智能可替代傳統行業工種，威脅社會就業安全。AI應用會促進產業升級，引發結構性失業，例如，無人駕駛代替傳統司機，無人超市替代收銀員和導購員，未來警察機器人替代交警等。據Forrester Research預測，AI技術將在2025年之前取代美國7％的工作崗位，其中16％的美國工人將被AI系統取代。在新的社會分工建立之前，AI對就業的衝擊可能引發社會安全風險。
三、人工智能安全應對建議
一是加強技術應用研究，提升網絡空間安全防禦能力。人工智能技術對於網絡空間安全是一柄“雙刃劍”，既可增強網絡攻擊能力，也可提升安全防禦能力。應積極引導和推動研究機構和網絡安全公司，加大AI技術在網絡安全防護領域的應用研究，構建基於人工智能的網絡攻防演練平臺，研發成熟的人工智能網絡安全產品，涵蓋漏洞掃描、入侵檢測、態勢感知、攻擊預警以及應急處置等多類型應用，提升網絡安全防護的自動化和智能化水平。
二是立法和技術研究並重，促進個人隱私安全管理。在大數據和AI時代，隱私保護應從立法監管和技術能力提升兩方面入手：一方面，針對我國個人信息保護法律條款分散、不成體系的現狀，加快統一立法，特別是明確企業收集用戶信息的原則、程序、保密和保護義務以及不當使用、數據洩露等相關責任；另一方面，加強新技術在個人隱私保護方向應用，例如，區塊鏈技術具備加密、信任、點對點、難篡改等特徵，可加強用戶對個人隱私數據的掌控，防止數據在網絡傳輸和後臺存儲環節的洩露。
三是強化人工智能應用安全，規避人身安全風險。首先，要加強AI技術研究，提升核心算法和學習模型的成熟度，增強AI感知、認知能力和決策的透明度和可解釋性，保障智能應用決策行動的健壯性；其次，應主動構建AI應用安全評估評測體系，制定評估評測標準，建設AI應用安全測試驗證平臺，通過檢驗測試發掘AI系統安全漏洞，提升AI應用的安全可靠性能，努力規避人身安全風險。
四是優化學科專業設置和在職培訓，降低社會失業風險。 面向AI產業發展引發的社會就業變革，首先，應動態調整高校、職業學校等專業設置，增設AI相關交叉類學科，逐步降低乃至取消AI可替代職業的招生名額；其次，應引導在崗人員樹立終身學習理念，完善在職培訓和再就業培訓體系，通過培訓革新在崗人員就業技能，大力培育智能經濟新崗位，最大程度降低人員失業引發的社會安全風險。
劉婷婷，中國信息通信研究院安全研究所工程師，博士，主要研究方向為信息安全。
聯繫方式：[email protected]
牛金行，中國信息通信研究院安全研究所高級工程師，碩士，主要研究方向為人工智能安全。
聯繫方式：[email protected]
閱讀更多 中國信息通信研究院 的文章
