视频理解旨在让模型能够感知动态视觉世界、对其进行推理并与之交互。与图像理解不同，视频理解本质上需要对时间动态变化以及不断演化的视觉上下文进行建模，因此对时空推理能力提出了更高要求，是计算机视觉领域的基础性问题。本综述从三个互为补充的维度梳理相关文献，对视频理解领域进行系统性概述：底层视频几何理解、高层语义理解以及统一视频理解模型。文章进一步指出领域的重大转变：研究范式从相互独立、面向特定任务的流水线模型，转向可适配各类下游任务的统一建模框架，从而有助于更加系统地审视该领域近年进展。通过整合上述研究视角，本综述清晰勾勒出视频理解领域的发展脉络，总结核心建模趋势与设计准则，并指明构建鲁棒、可扩展的统一视频基础模型所面临的待解难题。本文已发表于MIR 2026年第5期专题，全文开放获取。

图片来自Springer

全文下载：

Video Understanding: From Geometry and Semantics to Unified Models

Zhaochong An, Zirui Li, Mingqiao Ye, Feng Qiao, Jiaang Li, Zongwei Wu, Vishal Thengane, Chengzu Li, Lei Li, Luc Van Gool, Guolei Sun & Serge Belongie

https://link.springer.com/article/10.1007/s11633-026-1656-7

全文导读

视频理解是让模型感知并推理周围世界的基础任务。与静态图像不同，视频具备时间连续性、视角变化、运动带来的遮挡，以及跨帧的长距离依赖关系，这些特点大幅提升了该任务的难度。

从概念层面来看，可以从两个互补的维度看待视频理解。在底层维度，模型旨在还原几何结构，例如深度、相机运动、点对应关系，以此描述世界如何运动。在高层维度，模型致力于提取语义信息，包括物体、动作、交互行为以及与语言对齐的概念，这些信息诠释世界的内在含义。大规模预训练与基于Transformer架构的最新进展，让这两个维度的能力都得到显著提升，催生出越来越可靠的视频理解系统。

原文图 1 按层级划分的视频理解分类。本综述将视频理解方法分为三类：a)底层几何理解；b)高层语义理解；c)统一视频理解。右侧示意图展示三者之间的概念关系。

促成这篇综述撰写的一个核心观点是：视频理解领域的发展大致沿着三条相互交织的路线推进：还原几何结构、随时间对语义进行识别与推理、构建融合二者的统一模型。许多经典流水线与现代学习系统要么侧重几何，要么侧重语义；而新兴的一类统一模型则需要同时兼顾两者。在这类模型中，几何建模负责捕捉空间结构与跨帧对应关系，语义理解则在长视频序列中保留物体身份与组合语义含义。因此，本篇综述围绕这三个互补的视角展开，三者共同完整展现视频理解领域的发展全貌，如图1所示。

原文图2 底层视频几何理解任务对比：(a)视频深度估计，(b)相机位姿估计，(c)光流与点跟踪。三项任务均以视频帧作为输入，但还原的几何物理量各不相同，分别为场景深度、相机运动、帧与帧之间的时间对应关系。

视频底层几何理解。综述第一部分聚焦视频的底层几何理解，目标是从视频输入中预测具备物理现实意义的表征。代表性输出包括深度、相机位姿、稠密光流以及跨帧的长时点跟踪。这些几何预测是场景重建与几何感知推理的基础，搭建起2D视觉观测与真实3D场景结构之间的天然桥梁。除面向特定任务的预测器之外，本文重点介绍快速发展的联合前馈几何模型家族：这类模型以数据驱动的方式学习几何知识，在同一个网络内联合预测多种几何基础要素，提升模型在不同领域下的泛化能力。

原文图4 视频分割概述。我们根据语义类别的指定方式，将视频分割方法划分为三类范式：(a) 视频类别感知分割；(b) 视频开放词汇分割；(c) 视频类别无关分割。

视频高层语义理解。综述第二部分梳理视频的高层语义理解，目标是随时间对有意义的实体与事件完成识别、定位与推理。本文重点介绍三类代表性任务：视频分割、视频目标跟踪、视频时间定位。尽管这些任务的问题设定与监督方式各不相同，但都需要具备时间一致性的表征，该表征要能够保留物体身份、捕捉运动线索，并且融合跨帧的上下文信息。本文探讨现代网络架构与大规模预训练模型如何提升模型鲁棒性，例如通过可扩展设计、引入更多模态、结合大语言模型或者视觉—语言模型实现性能优化。

原文图8 统一视频理解与生成模型的不同框架设计：(a) 组装式系统依靠大语言模型(LLM)调度外部视频专用模型。(b) 自回归统一模型将文本、图像与视频映射为单一 token 序列，通过统一 Transformer 进行处理，以离散的下一个 token 预测为目标。(c) 混合式统一模型采用共享 Transformer 主干网络，但通过引入连续生成目标(如扩散模型)，从而更好地适配视频生成任务需求。

统一视频理解模型。综述第三部分研究专门面向统一视频理解的模型，这类模型需要同时处理底层几何与高层语义。当系统需要针对视频进行问答，而不只是简单输出标签时，就自然产生了这一研究方向。例如，视频问答模型必须同时利用几何线索(深度、场景结构、点对应关系)和语义信息(物体身份、行为意图、物体交互)，才能生成正确且具备可解释性的回答。与之类似，新兴的统一理解—生成模型融合视频生成能力与面向理解的交互接口：视频生成要求精细的时空与几何一致性；指令遵循、视频编辑这类交互接口则依赖语义解析。本文认为，这类统一模型为下一代视频基础模型提供了可行的研究思路——现实应用越来越要求在单个系统内同时实现几何一致性生成和组合式语义控制。

综述行文结构。基于以上划分，本篇综述完整梳理该领域，从几何基础要素，到语义推理，再到融合二者的统一模型。首先介绍视频底层几何理解(第2章)，包含视频深度估计(2.1节)、相机位姿估计(2.2节)、光流与点跟踪(2.3节)、联合前馈几何模型(2.4节)。之后介绍高层语义理解(第3章)，重点讲解视频分割(3.1节)、视频目标跟踪(3.2节)、视频时间定位(3.3节)。最后讨论统一视频理解模型(第4章)，涵盖视频问答(4.1节)、统一理解‑生成系统(4.2节)。结尾总结现存挑战与未来研究方向(第5章)。

全文下载：

Video Understanding: From Geometry and Semantics to Unified Models

Zhaochong An, Zirui Li, Mingqiao Ye, Feng Qiao, Jiaang Li, Zongwei Wu, Vishal Thengane, Chengzu Li, Lei Li, Luc Van Gool, Guolei Sun & Serge Belongie

https://link.springer.com/article/10.1007/s11633-026-1656-7

BibTex:

@Article {MIR-2026-01-027,

author={ Zhaochong An, Zirui Li, Mingqiao Ye, Feng Qiao, Jiaang Li, Zongwei Wu, Vishal Thengane, Chengzu Li, Lei Li, Luc Van Gool, Guolei Sun, Serge Belongie },journal={Machine Intelligence Research},title={Video Understanding: From Geometry and Semantics to Unified Models},year={2026},volume={23},issue={5},pages={934-968},doi={10.1007/s11633-026-1656-7}}

特别感谢本文第一作者、丹麦哥本哈根大学安照崇博士对以上内容的审阅和修改！

纸刊免费寄送

MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接填写收件地址，编辑部将尽快为您免费寄送纸版全文！

说明：如遇特殊原因无法寄达的，将推迟邮寄时间，咨询电话010-82544737

收件信息登记：

https://lcn76mgd97vz.feishu.cn/share/base/form/shrcnsQ6cmRjqoxPF5WDowSBFVr

支持单位：