IEEEJAS的个人博客分享 http://blog.sciencenet.cn/u/IEEEJAS

博文

基于运动目标三维轨迹重建的视频序列同步算法

已有 4140 次阅读 2018-1-8 17:28 |系统分类:博客资讯

视频配准是计算机视觉领域中一个重要的基础问题。涉及多个时空关联视频的视觉应用通常需要首先执行视频配准,即通过联合估计时间空间映射,将多个图像序列注册到统一的时间空间中,例如动作识别、基于内容的视频检索、多视频监控以及三维重建与可视化等。

为了降低问题的复杂度,研究者们提出各种假设以减少待估计参数的数目。假设相机静止或联合运动相机,则空间变换关系恒定不变。假设相机沿相似轨迹运动,则对应图像帧之间的相机运动可仅用旋转矩阵表示(忽略平移)。假设时域映射为线性关系,例如两序列间仅存在一个常数偏移量,或者帧率比不为1,则可以用一个简单的参数化模型来描述该类时域映射。此外,关于算法的输入,现有算法一般假设特征点跟踪持续整个图像序列,且序列之间的特征点对应关系已知。然而,实际问题要远比这复杂得多。首先,对于自由运动相机和非刚性动态场景(多个运动目标)来说,由于遮挡、运动模糊、复杂背景、超出视野范围等原因,要在多个视频中做到长时间精确跟踪同一个特征点是十分困难的,在某些情况下甚至是不可能的。其次,在成像面上投影形成的光流是由相机自运动和目标运动共同产生的,如何对光流解耦,消除相机自运动的影响,从而得到序列时域配准的线索——目标运动,这是一个病态问题。另外,线性时域映射也无法处理非均匀时域采样、丢帧等问题。


1第一人称视角图像序列通过非线性映射实现时域配准

Fig.1 Two video sequences caputered byfirstperson cameras are temporally aligned via a nonlinear transformation

如图1所示,针对同时空采集模式(多个相机在同一个时间空间中从不同视角对某个动态场景进行记录),本文提出一种基于运动目标三维轨迹重建的多视频时域配准算法。其主要思路是基于轨迹基函数重建目标的三维轨迹,然后利用不同序列重建的三维运动轨迹来同步图像序列。我们提出一种基于轨迹基系数的秩约束,结合基于图的最优路径搜索算法,实现视频间的非线性时域配准。该方法不要求跟踪特征点轨迹持续整个序列,也不依赖已知的序列间点对应关系。本文在仿真数据和真实数据集上验证了提出方法的鲁棒性和性能。


引用格式:王雪, SHI Jian-Bo, PARK Hyun-Soo, 王庆. 基于运动目标三维轨迹重建的视频序列同步算法. 自动化学报, 2017, 43(10): 1759-1772


作者简介:


王雪西北工业大学计算机学院博士研究生. 主要研究方向为目标跟踪, 人体行为分析. E-mail: xwang@mail.nwpu.edu.cn


SHI Jian-Bo 宾夕法尼亚大学工程与应用科学学院教授. 主要研究方向为人体行为分析,图像识别分割. E-mail: jshi@seas.upenn.edu


PARK Hyun-Soo 宾夕法尼亚大学工程与应用科学学院博士后. 主要研究方向为基于视觉社交信号的人体交互行为分析, 如注意力运动、面部表情和身体姿势等. E-mail: hypar@seas.upenn.edu


王庆西北工业大学计算机学院教授. 主要研究方向为计算机视觉, 图像与视频处理, 光场成像, 虚拟现实. 本文通信作者. E-mail: qwang@nwpu.edu.cn

阅读原文



https://blog.sciencenet.cn/blog-3291369-1093749.html

上一篇:航天器控制系统可重构性的内涵与研究综述
下一篇:基于梯度域的卷积稀疏编码磁共振成像重建
收藏 IP: 159.226.19.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 22:04

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部