平行视觉: 基于ACP的智能视觉计算方法  

王坤峰  苟超  王飞跃

中国科学院自动化研究所, 青岛智能产业技术研究院, 国防科技大学

摘要:

在视觉计算研究中，对复杂环境的适应能力通常决定了算法能否实际应用，已经成为该领域的研究焦点之一。由人工社会(Artificial societies)、计算实验(Computational experiments)、平行执行(Parallel execution) 构成的ACP 理论在复杂系统建模与调控中发挥着重要作用。本文将ACP 理论引入智能视觉计算领域， 提出平行视觉的基本框架与关键技术。平行视觉利用人工场景来模拟和表示复杂挑战的实际场景，通过计算实验进行各种视觉模型的训练与评估，最后借助平行执行来在线优化视觉系统，实现对复杂环境的智能感知与理解。这一虚实互动的视觉计算方法结合了计算机图形学、虚拟现实、机器学习、知识自动化等技术， 是视觉系统走向应用的有效途径和自然选择。

关键词: 平行视觉， 复杂环境，ACP 理论， 数据驱动，虚实互动

全文：

平行视觉_基于ACP的智能视觉计算方法.pdf

引用格式: 王坤峰, 苟超, 王飞跃. 平行视觉: 基于ACP 的智能视觉计算方法. 自动化学报, 2016, 42(10): 1490-1500

平行视觉原理与示例介绍

平行视觉是ACP理论在视觉计算领域的推广应用，是一种虚实互动的智能视觉计算方法。框架结构如图1所示。平行视觉的ACP理论 = 人工场景A + 计算实验C + 平行执行P。

A：利用人工场景来模拟和表示复杂挑战的实际场景，采集大规模多样性的虚拟图像和视频数据集，自动生成详细且精确的标注信息。

C：通过计算实验进行视觉算法的设计与评估，包括“学习与训练”、“实验与评估”两种操作模式，计算实验可控、可观、可重复。

P：将视觉系统在实际场景和人工场景中平行执行，进行在线优化，实现对复杂场景的智能感知与理解。

图1 平行视觉的框架结构

我们举一个例子来说明平行视觉的重要性。复杂交通环境下的目标检测是一项困难的视觉任务，因为在实际应用中，光照和天气条件、目标和背景外观都很复杂。在白天和夜间，光源不同，光照条件差别很大；在恶劣天气、夜间低照度、白天强阴影等条件下，目标与背景模糊不清；相对于摄像机，目标姿态多样，并且可能被部分遮挡，为检测增加了新的难度。在这些因素的综合影响下，很难设计一个鲁棒的目标检测器。Faster R-CNN是目前精度最高的检测器之一。通常，Faster R-CNN利用实际数据集（例如PASCAL VOC、MS COCO、KITTI Detection等）进行训练和评估。但是，从实际场景中获取大规模多样性的数据集非常困难，尤其缺少恶劣天气和不良光照下的训练图像，导致训练的模型在实际应用时很可能失败。而人工场景能够模拟复杂挑战的交通环境，提供色彩逼真的大规模多样性数据集，作为实际场景数据集的补充。结合人工场景数据集和实际场景数据集，共同训练和评估Faster R-CNN模型，能够提高目标检测器的精度和鲁棒性。

我们构建了虚拟城市场景，生成如图2所示的大规模虚拟图像及其标注信息。面向目标检测任务，我们甚至可以在每帧虚拟图像中随机改变道路上车辆的颜色（见图3），以增加虚拟图像的多样性，而这在实际场景中是不可能做到的。我们可以控制人工场景中的目标外观和运动、光照和天气条件、摄像机高度和视角等因素，生成多样性的虚拟图像。我们的实验结果已经表明，采用虚实互动的平行视觉方法，明显提高了目标检测器的精度和鲁棒性。

图2 虚拟图像及其标注。第一行：深度（左）和光流（右）标注。第二行：目标跟踪（左）和检测（右）标注。第三行：像素级的实体分割（左，针对车辆）和语义分割（右）。

图3 在每帧虚拟图像中，道路上车辆的颜色被随机改变，训练数据的多样性得到极大提高

总之，平行视觉在物理和网络空间大数据的驱动下，结合计算机图形学、虚拟现实、机器学习、知识自动化等技术，利用人工场景、计算实验、平行执行等理论和方法，建立复杂环境下视觉感知与理解的理论和方法体系。平行视觉与深度学习、生成式对抗网络GAN、人机混合等技术相结合，将在视觉计算领域发挥重要作用，成为一个重要的研究方向。