引用本文

丁洁, 肖江剑, 况立群, 宋康康, 彭成斌. 基于长时间视频序列的背景建模方法研究. 自动化学报, 2018, 44(4): 707-718. doi: 10.16383/j.aas.2017.c160468

DING Jie, XIAO Jiang-Jian, KUANG Li-Qun, SONG Kang-Kang, PENG Cheng-Bin. Background Modeling for Long-term Video Sequences. ACTA AUTOMATICA SINICA, 2018, 44(4): 707-718. doi: 10.16383/j.aas.2017.c160468

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160468

关键词

背景建模，长周期视频，背景图描述子，背景检索 

摘要

针对现有背景建模算法难以处理场景非平稳变化的问题，提出一种基于长时间视频序列的背景建模方法.该方法包括训练、检索、更新三个主要步骤.在训练部分，首先将长时间视频分段剪辑并计算对应的背景图，然后通过图像降采样和降维找到背景描述子，并利用聚类算法对背景描述子进行分类，生成背景记忆字典.在检索部分，利用前景像素比例设计非平稳状态判断机制，如果发生非平稳变换，则计算原图描述子与背景字典中描述子之间的距离，距离最近的背景描述子对应的背景图片即为此时背景.在更新部分，利用前景像素比例设计更新判断机制，如果前景比例始终过大，则生成新背景，并更新背景字典以及背景图库.当出现非平稳变化时（如光线突变），本算法能够将背景模型恢复问题转化为背景检索问题，确保背景模型的稳定获得.将该框架与短时空域信息背景模型（以ViBe、MOG为例）融合，重点测试非平稳变化场景下的背景估计和运动目标检测结果.在多个视频序列上的测试结果表明，该框架可有效处理非平稳变化，有效改善目标检测效果，显著降低误检率.

文章导读

背景建模是计算机视觉的一个重要研究方法, 在智能视频监控、智能交通、人机交互等领域有广泛应用.现有背景模型主要分为基于时域信息的模型和基于时空域信息融合的模型[1].基于时域信息的模型通常利用过去一小段时间内像素的统计特性来预测该像素短期未来的状态, 而基于时空域信息融合的模型在利用时域信息的同时也关注像素在空间域上的分布特性.这些模型又可以分为参数化模型和非参数化模型.参数化模型是利用含参模型对每个像素点建模, 非参数化模型是使用已观察的像素值对该像素点建模[2].

Wren等[3]提出的单高斯背景模型是利用时域信息建立的参数化模型, 该方法对光照缓变适应性较强, 但在发生背景扰动时, 处理情况较差, 这主要是因为单高斯背景模型无法处理多模态变化.此后, Stauffer等[4]提出混合高斯背景模型(Mixture of Gaussian, MOG)来处理多模态变化, 它也是一个只利用时域信息的参数化模型.与单高斯模型不同的是, 它对图像每个像素点建立多个不同权重的高斯模型.它可以有效地处理多模态场景, 但是如果背景中同时呈现高低频变换, 它的灵敏度调节困难, 会导致前景像素融入背景模型、丢失高频目标.另外, 条件随机场[5]、码书[6]等方法也被用于基于时间域信息的背景建模, 然而发生变化(如风吹树枝)时, 受模型更新速度的影响, 算法会产生大量的虚警数.此后, Barnich等[7]通过利用像素的空间关系提高模型更新速度, 提出融合时空特性的非参数化模型-ViBe (Visual background extractor)模型, 该模型利用像素点的邻居像素来对模型更新, 使其对变化场景可以较快适应.然而在非平稳变化(如光照突变)下, 使用该模型仍然会产生大量的虚警数. 2014年, St-Charles等提出SuBSENSE (Self-balanced sensitivity segmenter)算法[8], 该算法对ViBe算法颜色空间以及距离公式进行改进, 可以有效填补ViBe算法目标内部空洞并提高更新速率, 然而该算法运算效率较低且容易出现大范围闪烁现象.

分析以上背景建模方法, 无论是只使用时间域信息的模型还是使用时空域信息融合的模型都只考量狭小时间段内的统计特性.然而, 在整个背景建模的过程中, 场景背景的变化有周期性重现的特点(如光线的变化情况等), 如果仅在小时段时空域上研究, 必定会丢失周期性信息, 使更新受限.如果将周期性信息合理记录, 构成带记忆的模型.在发生非平稳变化时, 直接在记忆字典中找到对应变化特点的背景作为此时背景, 并使用它更新模型, 必定能大幅度降低虚警数.为了充分利用背景长时间周期性重现特点, 搭建一个合理融合大时空域信息的基于长时间视频序列的背景建模框架, 并在其上研究背景建模方法.设计该框架时有以下几个难点: 1)如何将大量长时间背景信息合理描述; 2)如何训练生成简单并兼顾实时性的背景字典; 3)如何在背景词典中查找所需背景; 4)如何使背景字典长久的适用于场景; 5)如何将长时间的时空域信息与短时间的时空域信息结合, 即如何将长时间记忆模型与短时间记忆模型融合.

针对1), 本文通过对长时间视频剪辑、求平均背景生成背景图片, 并对图像降采样、降维[9], 产生有意义的背景描述子; 针对2), 本文采用谱聚类[10]对背景粗分类, 并使用K-means[11]对背景进一步细分类, 使用类别中典型图建立树形字典, 从而训练出简单可兼顾实时性的背景字典; 针对3), 计算原图向量与背景词典向量之间的欧氏距离, 距离小的即为所需背景; 针对4), 本文增加背景字典更新模块; 针对5), 本文设计突发变化判断机制, 如果是平稳变化则使用现有短时空域信息模型, 如果是突发变化则利用带记忆的长时空域信息模型.

本文首先介绍该框架的建立方法, 然后介绍该框架与短时空域信息背景模型[12]的融合方法, 重点测试突发变化发生时的运动目标检测结果.实验结果表明:该框架可显著提高背景模型(如ViBe或MOG算法)对突发变化(主要测试光照突变)的适应性和鲁棒性, 有效实现对前景目标的较准确检测.

图 1  长视频背景建模框架

图 2  随机决策树

图 3  背景字典生成图

利用固定摄像头定视角视频背景周期性重现(比如白天、夜晚周期性变换)特点, 搭建基于长时间视频序列的背景建模框架并研究方法.首先通过对长时间背景序列预处理、降维, 得到背景描述子; 然后, 通过聚类(包括谱聚类、K-means聚类)来训练背景字典; 再设计非平稳变化下的检索替换机制, 并在效果差时对背景字典更新; 设计长短时空域模型的融合机制增强实时性, 可以有效改善运动目标检测.通过搭建这样一个可以嵌入现有背景建模算法中的框架, 可以解决室内场景难题.将ViBe或MOG算法与该框架融合, 测试非平稳变化(本文主要测试光照突变), 实验结果表明, 该框架可以使ViBe、MOG算法迅速适应光线突变, 明显提高运动目标检测的准确性, 有效降低ViBe、MOG算法的误检率.

由于本文主要针对定视角室内场景, 仅对室内非平稳变换(光照突变)以及简单室外光照突变的情形进行测试.如果是复杂室外场景, 则要考虑相机抖动、动态场景等情形, 未来将通过对相机抖动, 动态场景等训练学习, 探索更为通用的长时间域背景建模方法.

作者简介

丁洁

中北大学计算机与控制工程学院硕士研究生.主要研究方向为计算机视觉, 虚拟仿真与可视化.E-mail:jie_ding@163.com

况立群

中北大学计算机与控制工程学院副教授.主要研究方向为仿真与可视化, 图像处理, 虚拟现实.E-mail:liqun_kuang@163.com

宋康康

中国科学院宁波工业技术研究院工程师.主要研究方向为图像处理, 计算机视觉.E-mail:songkk@nimte.ac.cn

彭成斌

中国科学院宁波工业技术研究院副研究员.主要研究方向为数据挖掘, 模式识别和并行计算.E-mail:pengchengbin@nimte.ac.cn

肖江剑

中国科学院宁波工业技术研究院研究员.主要研究方向为计算机视觉, 图像和视频处理, 车辆跟踪与智能交通, 模式识别.本文通信作者.E-mail:xiaojj@nimte.ac.cn