引用本文

郑文博, 王坤峰, 王飞跃. 基于贝叶斯生成对抗网络的背景消减算法. 自动化学报, 2018, 44(5): 878-890. doi: 10.16383/j.aas.2018.c170562

ZHENG Wen-Bo, WANG Kun-Feng, WANG Fei-Yue. Background Subtraction Algorithm With Bayesian Generative Adversarial Networks. ACTA AUTOMATICA SINICA, 2018, 44(5): 878-890. doi: 10.16383/j.aas.2018.c170562

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170562

关键词

背景消减，背景获取，贝叶斯生成对抗网络，深度卷积神经网络 

摘要

背景消减是计算机视觉和模式识别的关键技术之一.本文提出一种新的背景消减算法，该算法首先利用中值滤波算法进行背景数据的获取，然后基于贝叶斯生成对抗网络进行训练，利用生成对抗网络的特性，有效地对每个像素进行分类，解决了光照渐变和突变、非静止背景以及鬼影的问题.本文采用深度卷积神经网络，来构建贝叶斯生成对抗网络的生成器和判别器.实验结果表明，本文提出的算法性能在绝大多数情况下优于现有其他算法.本文的贡献在于首次将贝叶斯生成对抗网络应用于背景消减，并且取得了良好的实验效果.

文章导读

背景消减是底层计算视觉和模式识别领域的关键技术之一, 广泛应用于视频监控、智能交通[1-2]、体育视频、工业视觉等领域中.背景消减的作用是将背景部分从视频中减去[3], 以提取运动前景.其核心问题是如何建立一个自适应的背景模型, 以准确描述背景信息.一个性能良好的背景模型要能够有效描述各种条件下背景在空域和时域所发生的变化.但这是非常困难的, 因为实际的背景环境变化是非常复杂的, 有光线的变化, 如亮度的渐变、光照的突变、阴影等; 也有运动背景的影响, 如被风吹动的树叶、水纹、变化的显示屏幕等.

过去, 人们提出了很多种统计背景建模方法. Stauffer等[4-5]首次提出了基于混合高斯模型(Gaussian mixture models, GMM)的背景建模方法, 该方法较好地解决了复杂背景条件下的背景建模, 能够适应光照的缓慢变化, 但它无法对快速变化的背景进行建模[6]. Fan等[7]提出的是基于灰度图像或者彩色图像的码书模型的背景建模方法, 该方法对光照变化鲁棒性强, 但是不能对光照长时间缓慢变化的场景进行建模, 而且, 在训练期的初始帧时限制了运动目标的出现. Yan等[8]结合局部融合信息的策略提出了一种基于变分贝叶斯的背景减法(Variational Bayesian learning for background subtraction based on local fusion feature, LFVBGM)算法, 虽然考虑了像素的空间性, 使得背景建模更加可靠, 适应了大多的动态场景, 但是固定的背景更新率仍然限制了一些特殊场景下的目标检测. MBS (Multimode background subtraction)方法[9]尝试提取每个位置像素变化的主分量和梯度信息描述背景模型, 并提出颜色共生矩阵用来表示相邻帧的背景变化, 但总的来说, 它仍然算是单模式的, 所以处理动态背景的性能不好; BMOG (Boosted Gaussian mixture model with controlled complexity)[10]方法集成了传统的GMM方法与MBS方法, 但没有解决动态背景的缺陷; SSOBS (Simplified self-organized background subtraction)方法[11]只考虑图像空间的一致性, 对于图像之间本身的时间性忽略, 导致动态背景效果较差; ShareModel (Learning sharable models for robust background subtraction)[12]方法将GMM与像素的相关性、视频帧的时间性相结合, 虽然大部分数据库取得较好的结果, 但是对于突然出现的目标或者突然摆动的背景的情形, 效果欠佳; FTSG (Flux tensor with split Gaussian models)方法[9]分别对像素变化特性、混合高斯模型控制参数进行了分析, 将背景学习分为两个大的阶段, 引入反馈控制机制进行背景建模, 提出了一种自适应学习速率的混合高斯模型算法, 但是仅根据图像背景信息感知, 当图像背景突然变化, 因此, 其感知精度难以保证; WeSamBE (A weight-sample-based method for background subtraction)[13]方法借助于背景重建算法设计基于空间分割的分类器, 虽然在一定程度上避免了传统方法的单一性, 但其实质仍然是针对特定分类的分类器, 对于其他特定分类, 未必有好的效果.基于传统神经网络的算法, 例如DeepBS (A deep convolutional neural network for video sequence background subtraction)[14], 需要设计遵循任何种类的因式分解的模型, 只能针对特定的分离器有用, 因此实用性较差.

Saatchi等于2017年提出的贝叶斯生成对抗网络[15]具有实现任何复杂非线性映射的功能[16-17], 并具有自动学习的能力[18-19].与传统神经网络算法相比, 不需要设计遵循任何种类的因式分解的模型, 对任何生成器网络和任何分类器都会有用.因此, 也无需反复采样[20-21], 无需在学习过程中进行推断, 回避了近似计算概率的难题[22-23].

针对传统神经网络算法的弊端及现有多数算法不能完全解决光照渐变和突变、非静止背景以及鬼影的问题, 本文提出了一种在静态摄像机条件下有效地从背景中提取前景目标轮廓的背景减法, 即基于贝叶斯生成对抗网络的背景减除算法(Background subtraction algorithm based on Bayesian generative adversarial networks, BSGAN). BSGAN算法对t帧图像中每一个像素的时间序列进行背景建模, 利用中值算法来分离和描述可靠的背景.综合考虑到噪声和光照对像素的影响, 利用贝叶斯生成对抗网络进行训练, 从而有效地对每个像素进行分类以应对渐进和突然的光照变化以及非静止背景和鬼影的出现等干扰.

本文的主要贡献在于: 1)将贝叶斯生成对抗网络思想应用于背景消减, 具有鲁棒性高、对场景变化适应能力强等优点; 2)利用卷积生成对抗网络(Deep convolutional generative adversarial network, DCGAN)来建立贝叶斯生成对抗网络的背景消减模型, 建立了基于卷积神经网络的贝叶斯生成对抗网络, 并通过训练生成对抗网络, 获得鲁棒的结果; 3)将BSGAN算法提交到CDnet2014数据集平台上进行测试, 获得了较好的性能指标, 超过了许多现有方法.

本文接下来从4个方面介绍本文算法, 首先, 在第1节介绍贝叶斯生成对抗网络的兴起与原理; 在第2节, 详细说明了基于贝叶斯生成对抗网络的背景消减; 并在第3节进行该算法的对比实验以及实验结果分析; 最后, 在第4节进行总结.

图 1  本文算法流程图

图 2  基于DCGAN的贝叶斯生成对抗网络

图 3  本文算法工作示意图

本文提出了一种基于贝叶斯生成对抗网络的背景消减算法.实验结果表明本文的算法在绝大多数情景下, 算法效果好于其他算法.可见, 本文算法具有鲁棒性高、对场景变化适应能力强等优点.但算法由于依赖于现有背景重建算法的结果, 所以本文算法有着无法突破背景重建算法提供的背景图像的局限性.另外, 算法也不能够满足实时增量训练的需求.在未来的研究中, 我们一方面考虑与基于贝叶斯理论的背景重建算法相结合, 摆脱对现有算法重建结果的依赖, 另一方面将要研究如何在并行化平台[33]下进行算法重构.

作者简介

郑文博

西安交通大学软件学院长学制研究生.主要研究方向为平行视觉, 平行学习, 机器学习.E-mail:zwb2017@stu.xjtu.edu.cn

王坤峰  

中国科学院自动化研究所复杂系统管理与控制国家重点实验室副研究员.主要研究方向为智能交通系统, 智能视觉计算, 机器学习.E-mail:kunfeng.wang@ia.ac.cn

王飞跃  

中国科学院自动化研究所复杂系统管理与控制国家重点实验室研究员.国防科技大学军事计算实验与平行系统技术研究中心主任.主要研究方向为智能系统和复杂系统的建模、分析与控制.本文通信作者.E-mail:feiyue.wang@ia.ac.cn