引用本文

燕庆龙, 向昕宇, 张浩, 马佳义. 针对目标检测的可迁移性对抗补丁生成方法. 自动化学报, 2026, 52(4): 693−708 doi: 10.16383/j.aas.c250300

Yan Qing-Long, Xiang Xin-Yu, Zhang Hao, Ma Jia-Yi. A transferable adversarial patch generation method for object detection. Acta Automatica Sinica, 2026, 52(4): 693−708 doi: 10.16383/j.aas.c250300

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250300

关键词

目标检测，对抗攻击，跨模型攻击，动态重加权，攻击迁移性

摘要

随着目标检测模型在实际应用中的广泛部署, 其安全性问题日益成为研究热点. 对抗攻击技术通过精心设计对抗补丁, 能够有效诱导模型产生错误预测, 揭示深度神经网络在决策过程中存在的内在脆弱性. 为提升对抗补丁在不同检测器上的攻击迁移性, 现有方法大多依赖静态权重融合策略进行联合优化, 难以充分协调不同检测器在脆弱性分布及优化动态上的差异, 导致攻击效果无法在各模型间兼顾, 迁移性受到显著限制. 针对这一挑战, 提出一种基于多任务动态重加权机制的可迁移性对抗补丁生成框架. 该框架设计全局校正因子和局部校正因子, 分别从任务间整体优化进度及单任务细粒度收敛行为两个层面动态调整任务权重, 实现多模型联合优化过程中的协调与鲁棒性提升. 通过系统性的数字域与物理域实验验证, 所提方法显著增强了对抗补丁在不同目标检测器上的对抗攻击迁移性, 并且在真实物理域的部署中表现出优秀的攻击效果.

文章导读

近年来, 深度神经网络通过其卓越的非线性建模能力, 促进了各类计算机视觉任务的发展, 例如图像分类[1]、目标检测[2]、语义分割[3]. 这种以数据驱动为核心的技术演进显著提升了机器对物理世界的解析能力, 促进了智能安防、自动驾驶、人脸检测等一系列关键安全任务在实际生活中的部署应用, 使复杂场景的智能认知达到实用化水平[4−10].

然而, 研究表明通过设计特定范式的扰动或补丁生成算法, 在原始数据中添加对抗性扰动或补丁, 能够误导深度神经网络产生巨大的预测置信度偏移, 从而做出错误的决策[11−16], 该类技术被称为对抗攻击技术; 而生成扰动或补丁的过程则称为对抗样本生成技术, 其能够构造高拟真的虚假人脸以欺骗生物识别系统[17]、误导交通标志识别模型将标识错误分类为禁止通行标志[18], 或在医学影像中注入微小扰动以导致疾病漏检等各种安全隐患[19]. 因此, 对抗攻击作为深度学习模型安全性的严峻挑战, 其攻击机制揭示了各类模型可被恶意利用或者攻击的固有脆弱性. 随着智能检测系统在各类实际场景中的广泛部署与应用, 系统性地研究针对目标检测模型的对抗样本生成方法对于提升其安全性与鲁棒性具有重要的理论意义与现实应用价值.

根据攻击域的不同, 可以将对抗样本生成技术分为针对数字域和物理域的攻击. 数字域攻击直接在数字图像上修改其像素值, 通过添加人眼难以察觉的扰动误导模型决策[20−23]. 相较于数字域攻击, 物理域对抗攻击则强调将对抗性扰动具象化为现实世界中的物理媒介, 通过在物理世界对象或环境中添加对抗补丁构成对抗样本, 然后经过传感器成像, 实现对智能决策模型的误导[24−27]. 与数字域攻击相比, 物理域攻击对社会安全保障构成更大的威胁, 引发人们的严重担忧.

在面向实际环境部署的对抗补丁生成任务中, 提升补丁在多种目标检测器间的迁移攻击能力具有重要研究意义. 现实应用中往往难以获知所采用的具体检测模型, 因而对抗补丁需具备良好的跨模型迁移能力, 能够在不同架构的检测器上均有效诱导错误预测, 从而提高其实用性与攻击鲁棒性. 如图1(a)所示, 传统方法通常基于单一模型独立优化攻击损失, 生成模型专属的对抗补丁. 尽管此类策略可在目标模型上取得显著的攻击效果, 但其生成的补丁往往高度依赖特定模型结构, 难以在未知或未参与训练的检测器上保持有效性, 迁移能力受限. 为提升补丁的跨模型适应性, 部分研究(如NAP[28]、AdvBulb[29]等)提出如图1(b)所示的联合优化策略. 该策略通过对多个检测模型的攻击损失进行加权求和, 构建统一的优化目标, 以训练一个在多个模型间具有迁移性的共享补丁. 该策略在一定程度上突破传统单模型定向优化的局限, 向更具迁移性的对抗攻击方式迈进. 然而, 不同目标检测模型在网络结构、训练范式及推理机制等方面存在一定差异, 导致其对对抗扰动的敏感性不一致. 这种差异进一步反映在联合训练过程中的收敛速度与优化动态上, 造成优化难以在各模型之间实现有效协调. 因此, 直接采用静态加权的简单融合策略, 往往使对抗补丁在各模型上的攻击效果趋于“平均化”, 即在所有模型上仅维持中等程度的攻击强度, 难以达到协同且高效的攻击效果.

图1  针对多个目标检测器的对抗样本优化过程

受多任务学习思想的启发[30−33], 部分研究者尝试从多任务联合优化的视角审视针对多个模型的统一补丁生成过程, 并提出迁移性增强策略[34−40]. 在现有研究中, AdaEA[34]和SMER[35]是两类典型的面向分类器的扰动式迁移攻击方案. 具体而言, AdaEA属于一种测试驱动的加权方法, 其依赖于不同模型对攻击目标贡献的差异自适应地分配权重. 对于某一模型, AdaEA通过测试由其梯度生成的对抗样本在其他模型上的攻击性能来评估其潜在的迁移性, 进而根据跨模型的攻击比率调整集成权重. 然而, 这一机制不仅需要频繁地进行跨模型测试, 带来显著的计算开销, 而且其权重更新依赖于测试评估结果, 而非直接利用优化过程中的动态信息. 与之相比, SMER采用强化学习框架来调节多模型权重, 但其策略更新依旧未能充分建模多模型在优化过程中的演化差异, 因而难以解决收敛速度和优化动态不一致所导致的协调性问题. 如图1(c)所示, 本文提出一种基于多任务动态重加权(dynamic reweighting, DR)的迁移性对抗补丁生成方法DRPatch, 旨在提升多模型攻击的攻击迁移性. 具体而言, 该框架在优化迭代过程中, 通过设计全局校正因子与局部校正因子, 分别从宏观和微观层面动态评估各攻击任务的收敛状态. 全局校正因子量化不同任务间整体优化进度的差异, 进而对任务训练过程进行宏观协调, 实现多模型间的平衡与协同; 局部校正因子则聚焦单一任务的内部优化表现, 确保每个模型的攻击任务均能够充分优化. 两者的协同作用为多任务联合优化生成了动态权重, 指导补丁训练过程, 避免传统静态加权策略导致的性能平均化现象, 实现多模型间攻击效果的均衡提升. 总体来说, 本文贡献如下:

1) 提出一种面向多个目标检测器的迁移性对抗补丁生成框架DRPatch, 创新性引入多任务动态重加权机制, 有效缓解了由不同检测器在脆弱性分布与优化动态上的差异所导致的联合优化失调问题.

2)动态重加权策略设计了全局校正因子与局部校正因子, 分别从任务间整体优化进度和单任务细粒度收敛两个层面精细建模并动态调整多任务权重, 推动攻击优化向更加协调与稳健的方向演进.

3)通过数字域与物理域的系统实验, 验证了对抗补丁在多个目标检测器上的攻击迁移能力显著提升, 并在真实物理域上展现出良好的攻击性能.

图3  动态重加权策略

图4  InriaPerson数据集中的行人图像

针对对抗补丁在不同检测器下跨模型攻击困难的问题, 本文提出一种基于多任务动态重加权机制的可迁移对抗补丁生成框架. 该方法从任务间全局优化进度与单任务局部收敛行为两个层面出发, 设计全局与局部校正因子以动态调整模型任务权重, 从而有效协调不同检测模型在脆弱性分布和优化动态上的差异, 显著提升了联合攻击优化的稳定性与协同性. 数字域实验证明所提方法在多个主流目标检测模型中均表现出优越的对抗攻击迁移性, 而物理域实验展示了对抗补丁在复杂真实物理环境中的部署可行性, 对提升目标检测器的安全性评估具有重要理论意义和应用价值.

作者简介

燕庆龙

武汉大学电子信息学院博士研究生. 主要研究方向为计算机视觉, 对抗攻击. E-mail: qinglong_yan@whu.edu.cn

向昕宇

武汉大学电子信息学院博士研究生. 主要研究方向为计算机视觉, 对抗攻击. E-mail: xiangxinyu@whu.edu.cn

张浩

武汉大学电子信息学院博士后. 主要研究方向为计算机视觉, 信息融合, 对抗攻击. E-mail: zhpersonalbox@gmail.com

马佳义

武汉大学电子信息学院教授. 主要研究方向为计算机视觉, 机器学习, 模式识别. 本文通信作者. E-mail: jyma2010@gmail.com

支持单位：