引用本文

肖进胜, 申梦瑶, 江明俊, 雷俊峰, 包振宇. 融合包注意力机制的监控视频异常行为检测. 自动化学报, 2022, 48(12): 2951−2959 doi: 10.16383/j.aas.c190805

Xiao Jin-Sheng, Shen Meng-Yao, Jiang Ming-Jun, Lei Jun-Feng, Bao Zhen-Yu. Abnormal behavior detection algorithm with video-bag attention mechanism in surveillance video. Acta Automatica Sinica, 2022, 48(12): 2951−2959 doi: 10.16383/j.aas.c190805

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190805

关键词

异常检测，视频包，时空特征，注意力机制 

摘要

针对监控视频中行人非正常行走状态的异常现象, 提出了一个端到端的异常行为检测网络, 以视频包为输入, 输出异常得分. 时空编码器提取视频包时空特征后, 利用基于隐向量的注意力机制对包级特征进行加权处理, 最后用包级池化映射出视频包得分. 本文整合了4个常用的异常行为检测数据集, 在整合数据集上进行算法测试并与其他异常检测算法进行对比. 多项客观指标结果显示, 本文算法在异常事件检测方面有着显著的优势.

文章导读

随着监控摄像头的广泛使用, 其在维护社会安全、进行法律取证等方面凸显日益重要的作用. 由于监控视频与审查人员数量不对等, 大量监控视频无法得到有效处理. 因此对视频监控进行自动智能分析十分必要. 视频在时间维度上蕴含丰富信息, 但其高维度的特性也使特征表达更为复杂而难以完整地提取; 此外, 视频中包含大量的交互行为, 增加了视频处理的难度. 在异常行为的界定上, 类似行为在不同场景会被认为是不同的行为类型. 例如汽车行驶在车行道上属于正常行为, 出现在人行道中则属于异常行为. 异常行为种类多、时间短、判别困难, 很难找到大量数据进行深层网络训练. 这些问题给视频异常行为检测带来巨大的挑战.

本文主要针对步行行人群体场景进行异常行为检测. 异常行为定义为缓慢人群中的快速运动如骑车、奔跑、高空坠物等. 本文将用于异常检测的经典数据集进行整合和事件重标注, 使其与本文所要解决的问题契合, 并在该数据集上进行与其他算法的对比测试. 测试结果表明, 本文算法在指标上有较大的优势. 本文第1节介绍了异常事件检测方面的相关工作; 第2节介绍本文提出的异常检测算法, 给出算法中各模块和损失函数的具体介绍; 第3节首先说明数据集的生成, 然后分析了本文算法的实验效果, 并与其他算法进行对比, 在多个指标上进行分析与评价; 第4节给出全文总结.

图 1  异常行为检测网络架构

图 2  融合层特征输出结果图

图 3  视频包得分计算流程

本文提出了一个端到端的异常检测网络, 用于监控视频行人步行群体中剧烈运动的检测. 该网络以视频包为输入, 有利于保存视频本身的时序信息及图像的纹理结构信息. 通过时空编码器充分提取视频时空特征后, 再利用注意力机制对提取到的特征进行加权处理, 突出重要特征信息, 弱化无关信息对检测结果的干扰. 最后采用包级池化将视频包级别的特征映射为视频包对应的异常得分. 该网络在输入形式上以滑动步长为1的窗口进行视频包的归类提取, 可以应对视频流等实时输入情况, 应用场景得到了极大地扩展; 在输出形式上, 该网络直接输出视频帧的异常得分, 不需要再做其他处理, 方便使用. 但是本文网络的缺点在于在最后得到的是异常得分而非正常或异常的分类结果, 在将得分进行类别映射时需要设置阈值, 阈值选取会极大地影响类别映射结果.

作者简介

肖进胜

博士, 武汉大学电子信息学院副教授. 2001年于武汉大学获理学博士学位. 主要研究方向为视频图像处理, 计算机视觉.E-mail: xiaojs@whu.edu.cn

申梦瑶

武汉大学电子信息学院硕士研究生. 2018年获得武汉大学电子信息学院工学学士学位. 主要研究方向为视频图像处理, 计算机视觉.E-mail: shenmy@whu.edu.cn

江明俊

武汉大学电子信息学院硕士研究生. 2019年获得武汉大学电子信息学院工学学士学位. 主要研究方向为视频图像处理, 计算机视觉.E-mail: 2015301200236@whu.edu.cn

雷俊峰

博士, 武汉大学电子信息学院副教授. 2002年于武汉大学获得理学博士学位. 主要研究方向为视频图像处理, 计算机视觉. 本文通信作者.E-mail: jflei@whu.edu.cn

包振宇

武汉大学电子信息学院硕士研究生. 2018获得武汉理工大学信息工程学院工学学士学位. 主要研究方向为视频图像处理, 计算机视觉.E-mail: 2018282120154@whu.edu.cn