日前，由GeekPwn（极棒）联合谷歌大脑AlexeyKurakin、IanGoodfellow 以及美国加州大学伯克利分校计算机系教授宋晓冬共同发起的全球首个聚焦AI安全的CAAD对抗样本攻防赛登录全球顶级黑客大会DEFCON。来自京东安全的JD-Omega战队，与来自微软、谷歌、腾讯、清华大学等国际知名的高水平战队团队会师拉斯维加斯，在CAADCTF和CAADVillage展开技术切磋。
京东安全硅谷研发中心研究员郭文博在DEFCON CAAD Village上分享了全球首创的、可适用于不同深度学习网络结构的AI解析技术，该技术可应用于自动化黑产对抗。并介绍了AI解析技术在京东打击黑产上的具体应用。
缘起：深度学习的“杀手”
随着深度学习技术的崛起，AI似乎已成为无所不能的代名词。但事实并非如此，AI也会犯错。
早在2014 年，“生成式对抗网络”的发明者 Ian Goodfellow 发表论文显示：在不改变图像大形的情况下，只加入细微干扰像素，就能让机器将“熊猫”看成“长臂猿”。
而在最近生活的应用中，有研究者发现，只需用小贴纸在交通标识牌上进行一些微小的“装饰”，就能让图像识别系统 100% 产生错误判断。
别小看了这个“装饰”，这便是有深度学习“杀手”之称的对抗样本，肉眼看上去虽是同一个目标，但在深度学习分类器上便会把它分到错误的类别上。试想：如果这是一辆行驶中的自动驾驶汽车，那么别有用心的人随时都能制造一起车祸。
以上的一切，似乎都在告诉我们，AI并不那么可靠，但事实果真如此吗？
破局：从解释深度学习开始
事实上，对抗样本看似强大，但并非无法解决，只要调整深度学习的判断机制便可以了。但是，现实情况往往是程序只会给你一个结果，并不会向你解释判断过程，即便你想调整也无从下手。这时理解深度学习便显得尤为重要。
在 DEFCON CAAD village上，郭文博介绍，正是基于此，京东安全开创了一套AI解释系统，可以对深度学习模型的决定进行分析，并找到它做出判断的依据。这就好比它不光告诉你图片中是香蕉，还会告诉你因为它是黄的、弯的，掰开皮有白色的果肉，周围的环境还是热带丛林，所以我判定它是香蕉。
如此一来，除了可以得到深度学习模型的判断结果，工程师还能得到它做出判断的原因，如果发现判断逻辑有误，便能立马进行修复，从而实现重新训练深度学习模型的目的，使模型更安全。
据了解，在京东，这种修复功能也实现了自动化。因此，即便AI犯错了也会快速完成调整，确保让黑产无懈可击。
对抗：在博弈中不断精进
据了解，JD-Omega由京东安全团队的科研人员组成。团队成员的背景涵盖了计算机软件安全以及人工智能。在过去的几年里，该团队成员在世界顶级安全会议CCS，USENIX Security, IEEE S&P, blackhat USA/Europe, DEFCON 先后发表过10余篇科研论文。除此之外，该队成员也是世界顶级AI会议的常客。他们的科研成果曾被美国纽约时报、麻省理工技术杂志、新科学家杂志等广泛报道。
在互联网战场上从来没有绝对的防御，有的只是攻方和守方的反复博弈。防御方想要获得真正的安全，唯有在博弈中不断精进，比攻击方快人一步。或许这也正是京东安全JD-Omega战队参与CAAD对抗样本攻防赛的根本原因，与世界级顶尖黑客同台PK，获取更多蓝军视角，从而在实战中不断提升。
除了参战世界大赛，京东安全在日常对抗黑产中也在践行着这一原则。以登录图形验证为例，在对抗中京东发现黑产也会使用AI，便不断使用更高难度的对抗样本训练自身，始终保持技术领先，使黑产无法攻破。用京东集团首席信息安全专家Tony的话说，“我们要永远战斗在最激烈的战场。
閱讀更多 京東安全 的文章
