引用本文

陈晋音, 沈诗婧, 苏蒙蒙, 郑海斌, 熊晖. 车牌识别系统的黑盒对抗攻击. 自动化学报, 2021, 47(1): 121−135 doi: 10.16383/j.aas.c190488

Chen Jin-Yin, Shen Shi-Jing, Su Meng-Meng, Zheng Hai-Bin, Xiong Hui. Black-box adversarial attack on license plate recognition system. Acta Automatica Sinica, 2021, 47(1): 121−135 doi: 10.16383/j.aas.c190488

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190488

关键词

深度学习，车牌识别，对抗攻击，黑盒攻击，物理攻击 

摘要

深度神经网络(Deep neural network, DNN)作为最常用的深度学习方法之一, 广泛应用于各个领域. 然而, DNN容易受到对抗攻击的威胁, 因此通过对抗攻击来检测应用系统中DNN的漏洞至关重要. 针对车牌识别系统进行漏洞检测, 在完全未知模型内部结构信息的前提下展开黑盒攻击, 发现商用车牌识别系统存在安全漏洞. 提出基于精英策略的非支配排序遗传算法(NSGA-II)的车牌识别黑盒攻击方法, 仅获得输出类标及对应置信度, 即可产生对环境变化较为鲁棒的对抗样本, 而且该算法将扰动控制为纯黑色块, 可用淤泥块代替, 具有较强的迷惑性. 为验证本方法在真实场景的攻击可复现性, 分别在实验室和真实环境中对车牌识别系统展开攻击, 并且将对抗样本用于开源的商业软件中进行测试, 验证了攻击的迁移性.

文章导读

深度学习因其强大的特征提取和建模能力为人工智能的发展提供了巨大的机遇[1]. 其中, 深度神经网络(Deep neural network, DNN)作为最常用的深度学习方法之一, 在计算机视觉[2]、自然语言处理[3]、工业控制[4]、生物信息[5]等众多研究领域获得成功. 同时DNN广泛应用于实际生活中, 如面部识别[6]、语音识别[7]、车牌识别等, 与我们的日常生活密不可分.

随着DNN的应用普及, 其安全问题也日益凸显, 已有研究表明DNN容易受到对抗样本的攻击[8], 即在正常样本上添加精心设计的微小对抗扰动后, DNN将以较高的置信度输出错误类标. 更糟糕的是, 对抗样本可同时欺骗多种不同的DNN模型[9]. 根据攻击者是否已知目标模型的内部结构, 攻击可分为白盒攻击和黑盒攻击; 根据实施攻击的应用场景不同, 攻击可分为数字空间攻击和物理空间攻击[10]. 虽然数字空间中的白盒攻击产生的对抗扰动是人眼不可见的, 但是攻击时需要获取模型内部结构信息且对抗扰动难以精确打印, 因此难以应用于实际系统[11].

基于DNN的车牌识别系统已广泛应用于生活, 如不停车收费系统(ETC)、停车场自动收费管理、道路电子警察等. 本文首次提出了物理空间中车牌识别系统的黑盒攻击方法, 即在未知模型内部结构信息的前提下生成有效的对抗样本, 实现对商业车牌识别系统的物理攻击. 本文通过对抗攻击发现系统漏洞, 为进一步提高车牌识别系统的鲁棒性提供研究基础.

在物理空间中对车牌识别系统展开攻击, 除了需要考虑扰动尽可能小的限制条件外, 还需要克服以下几个困难: 1)物理空间中的攻击成功率易受拍摄环境的影响(如角度、距离、光线等); 2)添加的扰动应具有迷惑性, 即人眼虽然能观测到, 但不认为是一种攻击手段; 3)制作扰动时受现实条件制约, 例如打印出来的扰动存在色差, 导致对抗样本在物理空间中失效.

针对以上物理空间攻击存在的困难, 本文提出基于精英策略的非支配排序遗传算法(NSGA-II)[12]的黑盒攻击, 通过模型的输出类标及对应置信度生成对抗样本. 此外, 本文对样本进行角度、距离、光线等模拟变换, 并将变换后的攻击效果作为优化目标之一, 提高了对抗样本对环境因素的鲁棒性. 本文将扰动控制为纯黑色块, 可用车子行驶过程中飞溅的淤泥块代替. 扰动可被摄像头捕获导致系统错误识别, 但人将其视为正常污渍.

为验证本方法在物理环境中的可实现性, 分别在实验室和真实环境中对车牌识别系统展开攻击. 在实验室环境中, 通过改变角度、距离、光线等环境因素, 验证本文攻击具有较强的鲁棒性; 在真实环境中, 分别对三种车牌识别场景(躲避公路上探头抓拍、躲避车牌尾号限行措施、冒充出入库车辆)进行攻击. 此外, 本文还将对抗样本用于开源的商业软件中进行测试, 验证了攻击方法的迁移性.

综上所述, 本文的主要创新点包括:

1)首次提出物理空间中车牌识别系统的黑盒攻击方法, 仅通过模型的输出类标和对应置信度即可造成有效攻击, 并成功攻击商用车牌识别系统.

2)提出基于NSGA-II多目标优化的黑盒攻击方法, 在对抗样本生成过程中引入角度、距离、光线等环境因素, 提高了对抗样本的鲁棒性.

3)提出多种真实场景中的车牌识别攻击方案, 实现了对商用车牌识别系统的漏洞检测.

图1 车牌识别系统的黑盒攻击方法整体框图

图2 模拟场景变换效果图

图3 车牌对抗样本

本文针对车牌识别系统提出了基于NSGA-II进化计算的黑盒物理攻击方法. 只需知道输出类标及对应置信度, 就能产生对环境变化因素具有较强鲁棒性的扰动, 而且本文算法将扰动控制为纯黑色块, 可用车子行驶过程中飞溅上来的淤泥块代替. 本文分别在实验室环境和真实环境中对生成的对抗样本进行检验, 验证了本文算法的物理可实现性以及对抗样本对真实环境因素的鲁棒性和迁移性.

除上述优点外, 本文算法也存在两个缺陷: 1)生成的车牌扰动较大, 攻击可能会被外界因素所阻止(如被交警拦下). 所以在之后的研究中, 设想用透明反光材料代替泥土, 大大降低人眼可见度. 2)本文需要知道车牌模型输出的分类置信度, 在某些场合, 这个条件可能不被满足. 所以在之后的研究中, 尝试只用最终的分类类标进行攻击, 但是这可能会大大增加对模型的访问次数.

作者简介

陈晋音

浙江工业大学信息工程学院副教授. 分别于2004年, 2009年获得浙江工业大学学士, 博士学位. 2005年和2006年, 在日本足利工业大学学习进化计算. 主要研究方向为进化计算, 数据挖掘和深度学习算法. 本文通信作者.E-mail: chenjinyin@zjut.edu.cn

沈诗婧

浙江工业大学信息工程学院硕士研究生. 主要研究方向为深度学习, 计算机视觉.E-mail: 201407760128@zjut.edu.cn

苏蒙蒙

浙江工业大学信息工程学院硕士研究生. 2017年获得浙江工业大学学士学位. 主要研究方向为智能计算, 人工免疫和工业安全.E-mail: sumengmeng1994@163.com

郑海斌

浙江工业大学信息工程学院硕士研究生. 2017年获得浙江工业大学学士学位. 主要研究方向为数据挖掘与应用, 生物信息学.E-mail: haibinzheng320@gmail.com

熊晖

浙江工业大学信息工程学院硕士研究生. 主要研究方向为图像处理, 人工智能.E-mail: bearlight080329@gmail.com