博文

北京交通大学倪蓉蓉团队 | GTCP: 一种提升深度伪造检测对抗鲁棒性的通用痕迹补偿净化模块

已有 292 次阅读 2026-9-8 09:26 |个人分类:好文推荐|系统分类:论文交流

新新新新新新标签.jpg

深度伪造检测器在干净基准数据集上可实现极高检测精度，但面对对抗扰动时极易失效；在未见过的攻击下，其曲线下面积指标常暴跌至 20% 以下。为在不重新训练现有检测模型的前提下解决该缺陷，北京交通大学倪蓉蓉教授团队提出 GTCP——一款即插即用的通用痕迹补偿净化模块，能够抑制对抗噪声，同时还原、保留关键取证痕迹。GTCP 分为两大处理阶段：第一阶段为跨域一致性学习器，该模块融合监督对比学习与基于不变风险最小化思想的特征对齐策略，消除真实人脸与伪造人脸两大域间的表征偏差，生成统一特征嵌入空间。在该空间内，各类样本形成紧致、边界清晰的特征簇，共享单一全局判别边界。随后基于该嵌入空间构建多域取证痕迹字典，字典由具备方向选择性的正交“痕迹基元”构成，可精准编码各类伪造手段独有的高频取证纹理特征。第二阶段为协同重建机制：将表征导航器与本文新设计的校准损失函数相结合，从多域取证痕迹字典中动态筛选、融合语义匹配度最高的痕迹基元，精准完成高频取证痕迹补偿。将还原后的高频细节与去噪低频图像信息融合，最终输出净化图像；该类图像既能维持模型在干净样本上的原有检测精度，又可大幅提升检测器对白盒、黑盒对抗攻击的鲁棒性。本文在 FaceForensics++、Celeb-DF、深度伪造检测挑战赛数据集及多种主流检测骨干网络上完成大量验证实验。结果表明，GTCP 可将对抗场景下 AUC 指标提升 60% 以上，在鲁棒深度伪造检测任务上达到当前最优性能。相关成果已发表于MIR 2026年第4期专题。

图片来自Springer

全文下载：

GTCP: A General Traces Compensation Purifier for Enhancing the Adversarial Robustness of Deepfake Detection

Yu Chen, Yang Yu, Rui Zhai, Rongrong Ni, Haoliang Li, Wei Wang & Yao Zhao

https://link.springer.com/article/10.1007/s11633-025-1616-7

https://www.mi-research.net/article/doi/10.1007/s11633-025-1616-7

全文导读

生成式模型近期取得诸多突破性进展，能够生成高度逼真的深度伪造图像与视频，对信息真实性与公众信任构成严重威胁。当前顶尖检测模型在无扰动干净基准数据集上，曲线下面积(AUC)指标可轻松突破 95%；但一旦遭遇对抗扰动，检测性能便会断崖式下跌，AUC 值常常降至 20% 以下。攻击者可向深度伪造图像中添加人眼难以察觉的微小扰动，使检测器依赖的特征越过分类决策边界，最终造成模型误判。鉴于深度伪造本身存在巨大安全隐患，以规避检测为目的的反取证攻击会进一步引发严重危害。因此，研发具备对抗鲁棒性的深度伪造检测方案已成为当下亟待解决的关键任务。

现有面向深度伪造检测器的对抗防御手段大多依赖对抗训练(AT)：该方法通过在训练集中添加人工构造的对抗扰动实现模型鲁棒性提升。但对抗训练存在明显缺陷：一方面，该方案需要对模型进行完整重训练，且极易对训练阶段见过的攻击模式产生过拟合，面对训练集外全新白盒、黑盒攻击时泛化能力极差；另一方面，对抗训练会偏移模型原始分类决策边界，致使模型在干净无扰动样本上的检测性能出现衰减。在通用图像分类任务中，学界常采用图像噪声净化类防御算法，典型代表包括 Defense-GAN(Def-GAN)、RSFP与 RDP。这类方法将输入图像拆解为低频内容与高频噪声两部分，仅保留承载语义信息的低频分量完成图像重建，以此滤除对抗扰动。然而，深度伪造检测所依赖的判别特征与通用图像分类任务存在本质区别：图像细微高频纹理同时包含对抗噪声与区分真伪的核心取证痕迹，是判别深度伪造内容的关键依据。传统净化算法虽能有效消除对抗扰动，却会一并抹除这些不可或缺的取证线索。综上，仅以去除噪声为单一目标的图像净化方案，无法留存保障深度伪造检测鲁棒性的核心取证特征。

我们将多种伪造算法生成的深度伪造图像分解为低频分量与高频分量，证实对抗扰动与关键取证痕迹均集中存在于图像高频部分。如图 1 所示，对干净样本的高频分量开展字典学习后，可得到具备方向选择性的基元，其特性与 Gabor 滤波器类似，能够体现伪造伪影的各向异性特征。每一个基元都编码了对应某类伪造手段独有的方向特征指纹。这一现象说明，想要精准重建并补偿取证痕迹，必须选用一组方向特征匹配度高的基元。基于上述发现，本文设计一套两阶段高频重建框架。第一阶段，基于干净图像构建高频字典：从高相干特征簇中筛选基元，并在边界对齐、跨域一致的嵌入空间内完成基元优化学习，充分挖掘真实图像与伪造图像之间固有的区分特征。第二阶段，通过协同筛选机制对含对抗扰动图像的高频分量重建：动态选取与受损取证痕迹匹配度最高、方向响应显著的基元，精准弥补图像净化过程中丢失的取证特征。

图 1 图像高频分量分析。(a) 该子图展示对抗攻击对高频分量造成的破坏效果：对抗噪声会叠加至图像高频区域，同时用于区分真伪样本的核心取证痕迹也会遭到破坏。(b) 左图展示本文高频字典中的若干痕迹基元，部分基元具备类 Gabor 滤波器特性，其余基元则用于捕捉更复杂的纹理结构。为直观体现各基元的作用，右图展示仅激活单个基元所重建出的高频图像。实验发现，每一个基元仅能沿特定单一方向补偿取证痕迹，验证了基元天然具备方向选择性。

基于上述分析结论，本文提出 GTCP——一款两阶段通用痕迹补偿净化模块，可同步实现对抗噪声消除与取证痕迹修复补偿。第一阶段，本文设计跨域一致性学习器(CDCL)，消除各类伪造域之间的表征偏差，为图像高频分量学习统一特征嵌入。CDCL 融合监督对比损失与基于不变风险最小化(IRM)思想的对齐约束，强化不同域样本间的区分度，并统一对齐所有伪造域的分类决策边界。依托对齐后的一致嵌入空间，我们开展字典学习，构建多域取证痕迹字典(MFTD)，字典由一组正交、无冗余的痕迹基元构成。每一个基元均具备显著方向选择性，且内置真伪判别特征，能够精准捕捉各类伪造方式独有的高频取证纹理。第二阶段，本文构建融合表征导航器(RN)与校准损失函数的协同重建机制。表征导航器将含对抗扰动样本的高频分量映射至多域取证痕迹字典中距离最近的特征簇；随后校准损失动态筛选与受损取证痕迹匹配度最高、方向响应最强的基元，以此弥补净化过程中丢失的高频细节。最后，将重建恢复的高频纹理与去噪后的低频分量融合，输出净化图像，该图像可直接适配现有各类深度伪造检测模型。我们在白盒、黑盒两类对抗攻击场景下开展大量实验，结果表明：GTCP 能够保留模型在干净样本上的原有检测精度，同时对未知扰动具备优异泛化能力，可大幅提升深度伪造检测器的对抗鲁棒性与跨域泛化性能。