无所不能的人工智能也会被一张图片骗过?

无所不能的人工智能也会被一张图片骗过?

前言

在我们的现实生活中,摄像头是无处不在的,小到每家每户门口的小型摄像头,大到各个十字路口上的公安局天网摄像头,让我们的路径行踪时时刻刻都是暴露在信息网里面。再者,现在人工智能日渐发达,有着AI系统的配合,使得视频监控系统进一步强大了起来。

然而最新的研究发现,只要一张打印出来的贴纸,就能“欺骗”AI系统!下面让我们探讨这个发现吧。

一张图片就能“隐身”?

无所不能的人工智能也会被一张图片骗过?

来自比利时鲁汶大学 (KU Leuven) 几位研究人员最近的研究发现,借助一张简单打印出来的图案,就可以完美避开 AI 视频监控系统。

已小编之前的了解,两个人的任何动作都会被AI识别出来,但现在,他们在AI面前练成“隐身术”,只要在肚子上贴一张图片。虽然肉眼看得到你在挥手,目标检测算法已经当你不存在了。

当然要记住,这难道就是真正意义上的隐身?如果我们走在路上带着这张图片,AI不会把我们识别成其他物件,是全然忽视存在,只看到旁边的兄弟,这样想想岂不是很刺激。

那么把这张图片穿个旁边的兄弟呢?

无所不能的人工智能也会被一张图片骗过?

AI就能识别出身形了,但是旁边那位兄弟就“隐身”了。要知道 YOLOv2 可是目标检测界的翘楚者。如此一来,是不是就能逃过智能监控系统,潜入某个空间,做奇怪的事情也不被察觉……人类真危险。

其实对于AI 系统只能成功检测到左边的人,而右边的人却被忽略了,是因为右边的人身上挂着一块彩色纸板,在论文中被称为 “对抗性补丁”(adversarial patch),正是这块补丁 “欺骗” 了 AI 系统,让系统无法发现画面中还有一个人。

这种欺骗利用了一种称为对抗性机器学习的方法。大多数计算机视觉系统依赖训练 (卷积) 神经网络来识别不同的东西,方法是给它提供大量样本,调整它的参数,直到它能正确地分类对象。通过将样本输入一个训练好的深度神经网络并监控输出,可以推断出哪些类型的图像让系统感到困惑。

写出“对抗性补丁”,就可以“隐身”了:

他们是如何生成这块神奇的 “对抗性补丁” 的呢?

优化目标包括以下三个部分:

Lnps:非可打印性得分,这个因子表示贴纸中的颜色在多大程度上可由普通打印机打印出来。有下式:

无所不能的人工智能也会被一张图片骗过?

其中 ppatch 是贴纸中的一个像素,而 cprint 是一组可打印颜色 C 中的颜色。这种损失有利于确保图像中的颜色与可打印颜色集中的颜色密切相关。

Ltv:图像总变化。该损失函数损失确保优化器支持平滑颜色过渡的图像并防止图像噪声。可以由 P 计算 Ltv:

无所不能的人工智能也会被一张图片骗过?

如果相邻像素相似则得分较低,如果相邻像素不同则得分较高。

Lobj:图像中的最大对象分数。补丁的目标是隐藏图像中的人。所以训练的目标是对探测器输出的目标或类别分数实现最小化。将这三个部分相加得到总损失函数:

无所不能的人工智能也会被一张图片骗过?

采用由经验确定的因子 α 和 β 对三个部分进行按比例缩放,然后求和,并使用 Adam 算法进行优化。优化器的目标是总损失 L 的最小化。在优化过程中冻结网络中的所有权重,并仅更改 patch 中的值。在过程开始时,以随机值对 patch 进行初始化。

无所不能的人工智能也会被一张图片骗过?

实验结果:

事实证明这确实是一个很大的漏洞,使得报警几率明显降低,摄像头不在安全。那很多人就会问,如果做一件这样的衣服,那不就可以为所欲为了吗?小编也在想什么时候可以印一件卫衣啊。

无所不能的人工智能也会被一张图片骗过?

其实实验主要用了三步的优化,来解决这个问题:

·首先要保证,定制的纹理图打印出来还能被AI捕捉到。如果纹理用到了许多打印不出的颜色,就不太乐观了。所以,要测量一个“不可打印”的分值。

·第二要保证,定制纹理图上的颜色过度平滑,避免噪点过多。所以,需要测量一张图像的总变化值 (Total Variation) ,任意两个像素的色彩越相近,这个值就越小。

·第三最重要,就是让YOLOv2看不出人来。也就是让AI给出的分类结果,分值降低,变成不太确定的分类。

最后:

小编很是佩服外国人的脑洞和他们的创新能力,也打破了很多人之前对于智能监控系统的了解。但是今天我们人类发现了AI的致命缺陷,明天它就会进一步完善,变得更加强大。参考文献:K码农-http://kmanong.top/kmn/qxw/form/home?top_cate=28


分享到:


相關文章: