职业犯罪行为普遍存在着行为时空跨度大和伪装、隐蔽水平高的特点。如果能够从城市视频监控系统PB级别的视频监控数据中成功检测出罪犯的异常行为，并由此检测出由一系列异常行为组成的异常事件，将对视频监控的预警起到重要作用。

数字城市中地理空间数据的数据量达到TB级，而智慧城市中视频数据量可望达到PB级，两者的结合使人们能实现对城市的四维时空监测。基于GIS的视频数据挖掘，其目的不仅是进行智能的数据处理和信息提取，更重要的是要通过时空分布的视频数据挖掘，自动区分出正常行为人、车、物和异常行为人、车、物，从而可大量删除与人们正常活动有关的、需要保护的隐私活动的大量视频数据，只留下那些可疑行为人、车、物和需照顾人(如痴呆老人、弱智儿童等)的相关数据。这项工作属于视频数据挖掘的范畴。

图1 监控云存储示意图。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

视频数据的“查不准”

人工从大量的视频数据中查找出所需要的有用数据是一件十分困难的事。实验表明，一名专业监控人员同时查看两台视频监控器的情况下，22min之后将会错过95％的应监视目标。

近20年来，国际犯罪行为最重要的变化之一就是跨区域流动作案成为犯罪行为的主要方式。由于涉案区域的不断扩大，需要检索的视频数据快速增长。一旦案件发生，侦查人员采用人工浏览的方式来逐个排查嫌疑目标，既低效费力又容易错过最佳的破案时机。为了高效地利用视频监控数据，提高破案效率，如何利用视频检索技术，在海量的视频数据中快速检索出所需要的资料就显得至关重要。

图2  我国刑事案件未破案率一直维持在较高水平（数据来源:中国法律年鉴）

一、基于内容的视频数据检索

基于内容的视频检索是根据视频的内容和上下文关系，对大规模视频数据进行检索的技术。它在没有人工参与的情况下，自动提取并描述视频的特征和内容，是一种监控视频中常用的视频检索技术。

图3 视频的基本结构图。视频作为一种表达信息的媒体，它有着自己独立的结构。一般地，一段视频由一些描述独立故事单元的场景构成；一个场景由一些语义相关的镜头组成；而每个镜头是由一些连续的帧构成，它可由一个或多个关键帧表示。

基于内容的视频检索技术，首先将视频分割成各个镜头，并实现对各个镜头的特征提取，得到一个尽可能充分反映镜头内容的特征空间，这个特征空间将作为视频聚类和检索的依据。其中，特征提取包括关键帧中的视觉特征和镜头的运动特征的提取。所谓关键帧，即指从视频数据中抽取出来的、能概括镜头内容的一些静态图像。通过一定算法，实现对这些静态图像的视觉特征提取，主要从颜色、纹理、形状等几个角度来进行。镜头运动特性提取通过对镜头的运动分析(主要针对镜头运动的变化、运动目标的大小变化，视频目标的运动轨迹等)来进行，方法主要有基于光流方程的方法、基于块的方法、像素递归方法和贝叶斯方法等。然后，根据提取的关于镜头的动态特性和关键帧的一些静态特性进行索引。最终，用户可以通过一种简单方便的方法浏览和检索视频。

二、时空视频数据挖掘

虽然基于内容的视频检索，能在一定程度上解决查不准问题，但是由于涉案区域的不断扩大，需要检索的视频数据快速增长。小范围数据搜索输出的检索结果尚可通过人工甄别、剔除其输出的虚警数据，但规模急剧增长的大范围涉案视频数据导致系统检索效率和输出的虚警数据规模均超越人工处理的极限。为了解决上述问题，可以采用时空数据挖掘的方法，利用其时空信息，过滤无效的视频数据，达到降低虚警数据规模的目的。

时空数据挖掘是指从时空数据库中提取用户感兴趣的时空模式与特征、时空与非时空数据的普遍关系及其他一些隐含在数据库中的普遍的数据特征。时空数据挖掘的方法丰富多彩，主要有数学统计方法、归纳方法、聚类方法、Rough集方法和云理论。以上方法不是孤立应用的，为了发现某类知识常常要综合应用这些方法。知识发现方法还要与常规的数据库技术充分结合，如在时空数据库中挖掘空间演变规则时，首先可利用空间数据库的叠置分析等方法提取出变化了的数据，再综合统计方法和归纳方法得到空间演变规则。

1、时空视频数据挖掘的难度

社会安全事件全生命周期一般包括起因、策划、实施、发生、逃逸五个阶段，职业犯罪行为普遍存在着行为时空跨度大和伪装、隐蔽水平高的特点。虽然犯罪准备期行为有迹可循，但国内现有技术只能针对现有局部数据进行简单的分析和判断，难以从多尺度多类型的媒体数据中检测社会安全前期时空行为异常事件。而国际上一些先进的犯罪预测软件，能够一定程度上检测罪犯的异常行为，对犯罪预防起到重大作用。例如，在洛杉矶，使用一套名为“PredPol”的犯罪预测软件(图4)的地区，其犯罪率降低了13％，而同一时间段内，全市的犯罪率增长了0.4％。目前，我国600多个城市建成的视频监控系统每天获取PB级别的视频监控数据，但对城市犯罪行为完全没有发挥预警作用。如果能够成功检测出罪犯的异常行为，并由此检测出由一系列异常行为组成的异常事件，将对视频监控的预警起到重要作用。行为分析和事件检测是监控视频异常行为检测和预测的基础技术。

图4 PredPol犯罪预测软件系统界面

2、行为分析

视频目标的行为分析是事件检测的基础，是指在对视频进行前期图像处理的基础上，对视频场景中感兴趣目标的时间和空间数据(有时还包括其与背景物体的关系)进行研究，最终得出对视频目标在特定时间段内所做行为的理解或解释，从而辅助决策系统作出相应的反应。

从数据处理的角度上来看，由于视频目标的轨迹信息序列是以时间为顺序的，故可以简单理解为多维时间信号，于是对视频目标的行为进行分析理解即是对时间序列进行合理分段(有时还需计算各时间段与背景目标的空间关系)，并将其与模型库中的典型行为元素模型进行匹配，从而完成分类辨识。目前存在的视频目标的行为分析方法主要有累积模板技术的行为分析方法、贝叶斯网络的行为分析方法、有限状态机方法、陈述性模型(基于逻辑的方法)以及基于Petri网的方法等。

图5 异常行为自动挖掘

通过视频数据挖掘软件，自动获取视频录像中人体行为的关键信息，如聚集、跑动、翻墙、徘徊等(图5)，有利于刑侦人员聚焦观测和分析嫌疑对象。美国波士顿爆炸案就是从视频图像中发现了在爆炸后作案人的逆人潮的异动行为而破案的。

3、基于时空视频序列的事件检测

视频语义事件是指时空分布视频序列中具有一定语义信息的某种行为或者是一系列行为，而行为是指视频序列中一系列具有一定语义和时间延续性的动作。因此，事件检测是指在视频中发现感兴趣的或者明显与众不同的事件，并对其包含的行为作出适当的分析(图6)。

图6 时空分布视频数据的事件检测

语义事件的检测主要分为三类，分别是基于预定义事件模型的事件检测方法、基于训练数据学习事件模型的事件检测方法、基于聚类分析的事件检测方法。基于预定义事件模型的事件检测方法是使用预定义规则或限制条件来构建事件模型，由于需要相关环境的先验知识，只能用于特定领域下的事件检测，因而具有很大局限性。基于训练数据学习事件模型的事件检测方法在提取特征之后，采用隐Markov模型或者动态贝叶斯网络等方法来分析各个关键帧特征值之间的关系，进而挖掘各个镜头之间的语义关系并检测出一些典型的事件。基于聚类分析的事件检测方法包括时空衍生和协同嵌入式原型等，都是通过对权重矩阵进行谱图分割来检测出事件片断，权重矩阵通过计算视频片断之间的相似性来确定。

三、基于地理信息空间分布的视频时空数据挖掘系统

将视频与GIS相结合，通过连续的视频数据自动挖掘得到连续的信息，再由GIS得到空间的信息，两者结合可进行有意义的时空关联分析和异常行为分析(图7)。基于地理空间信息分布的视频时空关联异常分析是研究视频信息与地理空间信息的综合与交互应用。

图7 时空关联分析和异常行为分析

但是，随着高清视频信息的普及，带来了两个新问题:

(1)高清视频比标清的视频数据多占用几倍的存储量，海量视频数据的存储难以长期存放，缺少一种快速有效的视频检索机制查找有意义的视频信息。

(2)高清视频的信息量大，对计算速度也提出了更高的要求。

1、应用需求

传统地理信息分析由人工检索目标，费时、费力且不稳定，基于地理空间信息分布的视频时空分析具有普适化、人性化和智能化等特点，可以实现静态空间背景数据和人、车、物的连续数据的实时分析和挖掘。它可广泛应用在自动安防、应急响应、公路养护、河流整治、城市管理、移动监控、旅游观光等领域。

图8  在交通中的应用。为GIS客户端将地理数据通过地图引擎显示在客户端的地图上面。对地理数据与视频信息进行时空分析，在电子地图上显示固定监控点、移动监控车辆位置，并且提示告警信息，用户可以纵观监控系统中所有监控摄像机的工作状态，直观、快速地查看各个监控现场的地理信息。根据情况，快速切换到相应摄像机的监控区域，为远程指挥提供科学的依据。

2、时空数据挖掘内容

国家多级联网监控工程即将基本建成(图9)。

图9 国家多级联网监控工程

视频数据挖掘需要攻关的主要研究内容如下:

(1)运动轨迹异常分析。①提取线性轨迹及其特征，求其特征加以辨识分类；②解决轨迹交叉分离等问题；③解决多目标重叠异常分析。

图10 视频运动轨迹异常分析

(2)基于混合模型的目标分析。其中，包括色彩模型分析、形状模型分析、特征区块或特征点分析(如基于Hog算子的行人分类，见图11)。

图11 基于Hog算子的行人分类

(3)结合模式识别的分类。如SVM、Ann、Boost快速分类技术对运动目标进行分类识别。

(4)多摄像头时空分析。对于同一时段目标，因摄像头摆放位置固定，目标出现的时间顺序相互关联，借助这种关联信息，结合图像目标匹配技术实现时空关联分析。

(5)不同时期摄像头视频分析。提取不依赖于环境光照、对比度等与时间有关的信息的图像特征，对于不同时期出现的行人或车辆的自动检索辨认。

本文由刘四旦摘编自李德仁、王树良、李德毅著《地球观测与导航技术丛书：空间数据挖掘理论与应用（第2版） 》一书，本书被《科学通报》誉其为“空间数据挖掘的里程碑式力作”。面向大数据，《地球观测与导航技术丛书：空间数据挖掘理论与应用（第2版）》提出数据场、云模型、地学粗空间和空间数据挖掘视角，构建空间数据挖掘金字塔，给出挖掘机理，介绍概念格，总结空间数据源，导出清理空间观测数据的选权迭代法。面向地理信息系统数据研究空间的关联规则、分布规则、概化规则和聚类规则的挖掘，从图像中发现指导图像分类、特征提取、表情识别的空间知识，以及时空分布的视频数据挖掘。这些理论，在滑坡监测、车轮形变、银行选址、土地利用、人脸识别、公共安全等实际领域，获得了有价值的应用成果，自主研制了空间数据挖掘原型系统GISDB Miner和RSImage Miner。

热烈祝贺

以李德仁先生为第一带头人的武汉大学对地观测与导航技术创新团队获得2014年度国家科学技术进步奖（创新团队）。李德仁先生是我国摄影测量与遥感领域的著名专家，是横跨中科院、工程院的“两院院士”，是国家出版基金项目、地球观测与导航技术丛书的主编。

敬请关注科学出版社，搜索微信ID：sciencepress-cspm 或“科学出版社”公众号