博文

南航秦杰团队 | 基于大规模预训练模型的免训练密集视频描述

已有 120 次阅读 2026-10-22 14:28 |个人分类:好文推荐|系统分类:论文交流

密集视频描述(DVC)旨在定位视频中的重要片段并同步生成描述文本。传统方法虽依托大规模数据集完成预训练，但在零样本场景下表现欠佳，限制了其在真实场景中的应用。南京航空航天大学秦杰教授团队提出一种免训练的密集视频描述框架(FreeDVC)，利用预训练大模型的通用能力实现高精度零样本DVC。本框架包含三项核心结构创新: (1)镜头片段描述模块：借助改进的镜头边界检测模型与视觉语言模型，为镜头片段生成内部一致的语义描述; (2)镜头-语音融合模块：通过大语言模型将转写语音自适应地融入镜头片段描述中，实现语义与时序信息对齐; (3)描述检索对齐模块：利用图文特征相似度检索每条描述对应的最相似帧，过滤因镜头与语音错位产生的错误描述。我们在两个DVC数据集上开展了大量实验，数据集由镜头、语音丰富的互联网真实视频(YouCook2、ViTT)所构成。实验结果表明，该方法在纯视觉与多模态两种设定下，均具备优异的零样本性能。研究成果已发表于2026年第5期专题。

题目.png

全文下载：

Training-free Dense Video Captioning with Large-scale Pretrained Models

Yue Feng, Ziyi Yan, Yizhen Jia, Ethan Q. Chen & Jie Qin

https://link.springer.com/article/10.1007/s11633-025-1585-x

https://www.mi-research.net/article/doi/10.1007/s11633-025-1585-x

全文导读

随着互联网视频内容爆炸式增长，高效理解并描述未剪辑的长视频已成为视频理解领域的核心挑战之一。密集视频描述（DVC）旨在对未剪辑视频中的所有重要片段进行时间定位，并为其生成具备信息价值的描述文本，该任务对视频摘要、视频章节生成、视频时序定位等应用具有重要意义。

当前大多数密集视频描述（DVC）方面的研究采用域内训练范式，依赖特定数据集上的细粒度全监督标注来训练模型（例如 YouCook2与 ViTT）。然而，不同数据集对视频重要片段的定义存在差异。例如，YouCook2 要求定位烹饪动作或操作（多个动作的组合），而 ViTT 则需要定位通用章节片段。由于对特定数据集存在过拟合问题，现有方法在零样本设定下，难以完成跨数据集的片段定位以及不同语义层级（动作或章节）的描述生成。为解决该问题，Vid2Seq与 DIBS尝试借助大规模数据集预训练来提升模型泛化能力；TimeChat 则构建时序指令微调数据集用于大语言模型预训练，以挖掘大语言模型的零样本时序定位能力。如图 1 所示，上述方法会带来高昂的数据采集成本与训练开销，然而在零样本场景下性能提升仍然有限。原因在于：Vid2Seq 和 DIBS 尽管在训练阶段接触大量视频数据，却无法根据特定需求调整输出偏好，只能依靠微调实现适配；TimeChat 虽可通过提示词实现灵活调整，但其效果依赖于指令微调预训练数据的规模以及任务提示词的多样性。

图1.png

图1 有监督与零样本密集视频描述方法的性能及其训练开销对比。本文提出的 FreeDVC 在无训练开销的前提下取得最优零样本性能。如表所示，现有主流方法均存在较高的预训练成本。Vid2Seq² 同样在 VidChapter-7M 数据集上完成预训练。

为规避数据采集、标注与预训练的开销，同时灵活支持零样本密集视频描述（DVC），本文利用通用预训练大模型的能力，提出免训练框架 FreeDVC。具体而言，该框架包含三大核心模块：

1）镜头片段描述模块。免训练框架利用预训练模型将视频转化为文本描述或特征。我们注意到互联网视频大多经过大量人工剪辑，例如镜头裁切。单个镜头通常承载语义完整且连续的动作，时长在 1 秒至 1 分钟不等。若直接对视频进行均匀分段，在处理镜头丰富的视频时，可能丢失短镜头的关键信息，或是无法提取长镜头的完整语义。为此，我们采用镜头边界检测工具，依据镜头切换将视频切分为镜头片段，并使用视觉语言模型（VLM）为每个镜头片段生成描述，得到基于镜头片段的密集视频描述。此外，本文提出一种突变检测算法，进一步提升镜头边界检测的泛化能力。

2）镜头-语音融合模块。互联网视频通常包含丰富的自动语音识别（ASR）数据，能够提供强有力的知识先验（例如从视觉上区分牛奶和面糊）与时序定位先验（例如介绍当前或即将开展的操作）。Vid2Seq 等现有多模态方法仅将音频转写特征与视觉特征进行浅层拼接，无法充分挖掘音频文本中蕴含的深层语义与时序信息。为此，我们设计镜头-语音融合模块，将镜头片段描述与转写语音进行时间对齐，利用语音中包含的先验知识消除镜头片段描述存在的歧义，并融合二者生成更精准的定位表征。本模块借助大语言模型（LLM）生成多模态密集视频描述（DVC）结果。

3）描述检索对齐模块。由于未剪辑视频的视觉内容与转写语音的复杂性，密集视频描述（DVC）结果中可能出现和真实视觉内容不符的描述，即幻觉现象。直接使用免训练时序视频定位（TVG）方法（依据 DVC 结果中的描述文本定位正确片段）并不可行。针对该问题，本文设计描述检索对齐模块，基于相似度得分判断描述与当前片段是否匹配，以此完成过滤与后处理。此外，我们将描述拆解为多条检索查询，提升检索精度。

综上，本文的主要贡献如下：1）本文提出免训练密集视频描述框架 FreeDVC。该框架可为未剪辑视频生成自适应镜头片段描述，将描述文本与转写语音融合，整合语义与时序信息以构建视频内容表征，并借助大语言模型输出片段定位与描述结果。2）设计镜头片段描述模块、镜头-语音融合模块以及描述检索对齐模块。借助上述模块可对视频镜头与语音对齐进行统一建模，能够广泛适用于包含大量镜头、丰富语音且存在噪声干扰的真实互联网视频。3）在 YouCook2 与 ViTT 数据集上开展的实验表明，FreeDVC 取得最优零样本性能，在无需任何训练的条件下，显著优于依赖海量数据预训练的各类方法。完备的消融实验验证了本方法的有效性与通用性。

全文下载：

Training-free Dense Video Captioning with Large-scale Pretrained Models

Yue Feng, Ziyi Yan, Yizhen Jia, Ethan Q. Chen & Jie Qin

https://link.springer.com/article/10.1007/s11633-025-1585-x

https://www.mi-research.net/article/doi/10.1007/s11633-025-1585-x

BibTex:

@Article {MIR-2025-03-140,

author={Yue Feng, Ziyi Yan, Yizhen Jia, Ethan Q. Chen, Jie Qin},

journal={Machine Intelligence Research},

title={Training-free Dense Video Captioning with Large-scale Pretrained Models},

year={2026},

volume={23},