一、精读论文：

Diffusion Models for Imperceptible and Transferable Adversarial Attack

不可察觉和可转移对抗性攻击的扩散模型

将扩散模型引入到对抗攻击领域主要因为两点因素：

1.Good imperceptibility良好的不可察觉性

2.Approximation of an implicit surrogate隐式代理近似

3.Bolster the effectiveness of attack against defensive mechanisms增强攻击防御机制的有效性

主要工作：

1.建立一个基础攻击框架，最初将干净图像转换为噪声，然后在潜在空间中加入修改。在评估不同的内容编辑方法时（通过文本引导图片编辑or潜在代码操作），选择在扩散模型的潜在空间上操作，显著增强了攻击效果。

2.偏离文本和图像像素之间的交叉注意映射，将扩散模型等同于实际可以被欺骗和攻击的隐式代理模型。

3.约束扩散模型的自注意结构提取能力并考虑反转强度以避免初始语义的扭曲。

主要贡献：

1.据我们所知，我们是第一个揭示扩散模型具有显着的生成和隐式判别能力的人，它是创建具有高度不可感知性和可转移性的对抗示例的有希望的基础。

2.我们提出了DiffAttack，这是一种新的不受限制的攻击，通过精心设计利用了扩散模型的良好特性。通过利用交叉注意图和自注意图，攻击扩散模型的潜伏性，使DiffAttack具有隐蔽性和可转移性。

3.在各种模型架构、数据集和防御方法上的广泛实验已经证明了我们的工作优于现有的攻击方法。

这些发现强调了我们研究方向的良好潜力。

PS：Accepted by TPAMI 2024。就目前对扩散的了解以及询问了一些组里相关方向的同学，感觉并没有什么太出奇的点，就是把扩散用了进来，正如论文里说的一样，据所知，是第一个揭示了扩散模型的两个能力，能够将其迁移到对抗领域中，将新的特性同等概念作用等效成传统的方法，其余一些完全是两边现有自带的模型和中间过程，实验部分特别出彩，做了大量的实验，将传统对抗的方法基于像素的，还有后面一些无范数限制攻击，生成模型等，进行大量的实验对比，这部分还没仔细阅读分类，代码还没运行，下一阶段就实验与代码进行钻研。

二、初读论文：

Towards Practical Certifiable Patch Defense with Vision Transformer

利用视觉变压器实现可认证的补丁防御

How Deep Learning Sees the World: A Survey on Adversarial Attacks & Defenses（新的对抗综述）

第一篇是徐师兄推荐，是有关防御方向，由于前期接触防御工作很少，阅读还没什么收获。通过这篇，知道了防御的一些术语与技术，同时这篇论文就网络架构进行修改创新，也是对神经网络内部钻研过少，这篇阅读起来寸步难行，需要再多一些时间

第二篇就深度学习中的对抗领域进行一个suvey，重新梳理一下对抗的技术，以便更好理解。

Summary：

1.调查一下扩散与对抗交叉领域的文章，看看能做些啥。

2.回过头再看一下对抗的发展，重新梳理一下各个技术。

3.入手一些防御相关的工作，同时多模态和文本了解很少，现有阅读都是基于图像，也了解一下。

4.前端工作完善一下，已查看好了代码逻辑，具体工作还待进一步补充。

DiffAttack学习2.docx（详细论文笔记）