作者

Parnian Ghapandar Kashani, Shiqi Chen & Aydogan Ozcan^✉

Cite this article

Ghapandar Kashani, P., Chen, S. & Ozcan, A. Scalable, energy-efficient optical-neural architecture for multiplexed deepfake video detection. eLight 6, 27 (2026). https://doi.org/10.1186/s43593-026-00143-y

扫码阅读全文

https://doi.org/10.1186/s43593-026-00143-y

Ozcan团队 eLight | 驭光辨伪：深度伪造视频的规模化检测

| 论文作者撰稿

| 加州大学洛杉矶分校Aydogan Ozcan教授团队驭光辨伪：深度伪造视频的规模化检测

从换脸视频到能够以假乱真的文生视频，生成式人工智能正在快速改变视觉内容的生产方式，也使网络诈骗、身份冒用与虚假信息传播更难防范。然而，当海量视频需要逐一核验时，依赖深度神经网络的现有检测方法往往受制于算力、能耗和处理速度，难以支撑大规模实时筛查。近日，加州大学洛杉矶分校Aydogan Ozcan教授团队提出一种光学—神经网络混合深度伪造视频检测架构，将轻量化数字特征编码与空间复用光学解码相结合，使至少15路视频能够在一次光传播过程中同时完成真伪判别。在Celeb-DF数据集上，该系统的实验检测准确率达到97.79%，灵敏度达到99.86%；对于Google VEO-3生成的视频，经过极少量迁移训练后仍取得94.80%的实验准确率。该研究为高通量、低功耗和更具物理安全性的人工智能生成内容筛查提供了新的技术路径。相关研究以“Scalable, Energy-Efficient Optical-Neural Architecture for Multiplexed Deepfake Video Detection”为题发表于国际顶尖学术期刊 eLight （影响因子31.4，入选两期卓越计划）。

| 研究背景

深度伪造技术已经从早期的人脸替换发展到由文本或多媒体信息控制的视频生成模型。随着这类技术生成质量不断提高，人眼越来越难以识别真假，导致了媒体平台和内容审核系统面临日益突出的可信度挑战。现有的深度伪造内容检测主要依赖在GPU上运行的深度神经网络，通常需要对视频进行大量特征提取和分类运算；当待处理内容持续增长时，逐条推理的计算开销也随之上升。除效率瓶颈外，纯数字检测模型还可能受到压缩、模糊、噪声及对抗性扰动的影响，攻击者甚至能够构造近乎不可察觉的扰动，降低伪造内容被识别的概率。因此，一个兼顾大规模并行处理、检测灵敏度、能耗与安全性的检测方案，成为生成式视觉内容治理中的重要需求。

| 亮点1 数字编码结合光学解码，一次传播并行识别多路视频

研究团队提出了一种“数字前端编码—光学后端解码”的混合推理框架。系统首先从每段视频中抽取多帧人脸图像，通过轻量化神经网络分别提取空间域与傅里叶域特征，并将多帧信息压缩为相位编码。随后，不同视频的编码结果被拼接并加载到同一空间光调制器上，形成可同时承载多路视频信息的复用光场。经过自由空间传播，或进一步经过静态衍射层调制后，输出光场在传感器平面形成与各视频一一对应的成对检测区域；比较每对区域的光强，即可直接判断对应视频为真实还是伪造（图1）。

与逐条执行数字分类运算不同，该方法让多路视频的解码和判别在同一次光传播中同步完成。实验实现了15路视频并行检测，并进一步演示了18路复用；其吞吐能力有望随着可用光学孔径和空间带宽积扩大而继续提升。需要强调的是，该系统并非完全脱离电子计算：视频预处理与特征编码仍由轻量化数字网络完成，而并行推理优势主要来自后端光学解码。

图1：空间复用光学—神经网络深度伪造视频检测原理。(a) 数字编码与自由空间光学解码架构；(b) 引入静态衍射层的光学解码架构；(c) 视频帧空间域—傅里叶域特征编码流程

| 亮点2 可见光波段验证：15路并行物理实验检测准确率达到97.79%

为验证该架构的物理可实现性，研究团队搭建了可见光实验系统。经整形和准直的激光照射加载复用相位图的空间光调制器，调制后的光场经过4f中继与光学传播后，由图像传感器同时记录所有视频通道的输出强度分布。每路视频对应一对“真实／伪造”探测区域，通过光强差分完成分类（图2）。

图2：空间复用深度伪造视频检测的可见光实验系统。(a) 光路与核心器件示意图；(b) 实际实验装置照片，展示空间光调制、光场传播和并行探测过程

在对Celeb-DF数据的测试中，系统对15路视频同时进行识别，实验平均准确率、灵敏度和特异度分别达到97.79%、99.86%和95.72%，各通道的实验结果与数值模拟总体吻合（图3）。其中，99.86%的灵敏度意味着绝大多数伪造视频能够在第一轮筛查中被及时发现，漏检率约为0.14%，表明所提出的架构适合作为大规模内容审核的前端预筛模块。真实视频与伪造视频的分类得分也表现出明显分离，实验Kolmogorov–Smirnov距离平均达到0.9733。进一步将并行度提升至18路后，系统仍保持96.13%的实验准确率，但更紧密的空间排布会增加通道串扰，反映出复用规模与分类均匀性之间的实际权衡。

图3：Celeb-DF数据集上15个并行视频通道的检测准确率、灵敏度、特异度及AUROC；实验结果与数值模拟结果对比表明系统具有较高的检测精度和接近100%的伪造视频检出灵敏度

| 亮点3 光学并行解码降低分类能耗，并适应真实互联网传播过程中引入的退化

在使用相同数字编码器的前提下，研究团队进一步比较了不同后端解码方案。对于15路并行设计，基于现成光学器件估算，光学解码器的单视频能耗约为1.38–4.11 mJ；在检测性能相近时，作为对照的深度数字解码器约为30.44 mJ／视频。该差异对应解码阶段约7–22倍的能耗优势。将复用度提升至18路后，光学解码能耗还可进一步降至约1.15–3.43 mJ／视频。

考虑到网络视频在互联网传播过程中常常经历降质，团队进一步测试了训练阶段未出现的高斯噪声、高斯模糊和JPEG压缩。结果显示，在大多数JPEG压缩质量范围内，准确率、灵敏度和特异度均保持在约93%以上；轻度模糊条件下准确率仍高于约94%。较强噪声或严重模糊会使性能下降，但系统在更具实际代表性的轻度至中度退化条件下整体保持稳定。

| 亮点4 通过迁移训练快速将深度伪造检测扩展至VEO-3生成视频

不同于传统换脸视频，先进文生视频模型可以直接根据文本描述生成完整视觉内容，其伪造痕迹和形成机制与既有深度伪造数据集存在明显差异。为评估系统应对新型生成模型的能力，研究团队构建了Google VEO-3生成的合成视频数据集，仅使用50段生成视频在原有的权重基础上进行了轻量化的迁移训练；所需训练量不足原模型完整训练过程的1%。

在迁移训练后的测试中，15路并行系统对VEO-3生成视频的实验平均准确率达到94.80%，灵敏度和特异度分别为97.61%和92.00%（图4）。真假视频得分仍保持较好的统计分离，Kolmogorov–Smirnov距离平均为0.9087。18路复用方案经过相同类型的迁移训练后，也可达到95.16%的实验准确率。这些结果表明，该架构并不局限于识别传统换脸痕迹，在少量迁移训练后即可扩展至更新的视觉生成模型。

图4：（a）使用不同数据量进行迁移学习后，在Google VEO-3测试数据上的评估结果；（b）针对Google VEO-3生成视频的15路并行检测的结果，包括各通道准确率、灵敏度、特异度和AUROC的实验—仿真对比

| 亮点5 静态衍射层提升复杂任务表现与物理安全性

对于更加困难的DeepSpeak数据集，研究团队进一步考察了光学解码器的结构复杂度。该数据集在换脸前预先匹配外观和声音相近的人物，因而更难区分真实与伪造内容。仅采用自由空间传播时，系统检测准确率为88.98%；在保持数字编码器不变的情况下，加入两层经过优化的静态衍射结构后，准确率提高至95.76%，特异度提升8.3个百分点（图5）。

这些衍射层可以制备为无源、固定的光学结构，在推理阶段不需要引入额外的电子计算，因此增加光学解码深度不会显著增加解码过程的功耗或处理延迟。进一步的黑盒对抗攻击分析表明，在相同的攻击条件下，经过结构优化的衍射解码器较纯数字解码器展现出攻击成功率降低的特点。在约1万次查询、扰动阈值为30的黑盒攻击条件下，受测轻量化数字解码器的攻击成功率达到100%，而自由空间光学解码器和单层衍射解码器分别为14%和10%，显示出明显更强的抗攻击能力。由于关键传播参数与衍射相位结构嵌入物理硬件之中，攻击者还需要额外的精密测量才能复制相应前向模型，从而增加逆向分析和针对性攻击的难度。

图5：静态衍射层对DeepSpeak数据集检测性能的改善（数值模拟）。(a) 不同衍射层数下的准确率、灵敏度与特异度；(b) 真实视频与伪造视频分类得分的统计分布和分离程度；（c）优化后系统衍射效率与正则权重α之间的关系

| 总结与展望

本研究提出了一种面向深度伪造视频核验任务的光学—神经网络混合架构，通过数字特征编码、空间复用与光学差分解码，将多路视频的真伪判别整合到一次光传播之中。实验系统实现了15–18路视频并行处理，在经典换脸数据和VEO-3合成视频上均表现出较高的检测准确率与灵敏度，同时展示了光学解码阶段的能耗优势，以及对常见图像退化和黑盒攻击的适应能力。对于更复杂的检测任务，数值结果还表明，无源静态衍射层可以进一步拓展光学解码器的判别能力。

随着大尺寸空间光调制器、集成光子器件和高性能探测阵列持续发展，该方案有望进一步提高单次处理的视频数量，并与数字复核模型组成“高灵敏度光学预筛—高精度数字复核”的分级审核系统，在社交平台内容治理、身份认证、实时视频安防和大规模可信人工智能基础设施中发挥作用。更广泛地看，将部分人工智能推理直接嵌入可设计的物理过程，为同时提升系统吞吐能力、计算效率与部署安全性提供了值得探索的新方向。

| 论文信息

Ghapandar Kashani, P., Chen, S. & Ozcan, A. Scalable, energy-efficient optical-neural architecture for multiplexed deepfake video detection. eLight 6, 27 (2026).

https://doi.org/10.1186/s43593-026-00143-y

支持单位：