王飞跃的个人博客分享 http://blog.sciencenet.cn/u/王飞跃

博文

平行视觉: 基于ACP的智能视觉计算方法

已有 7813 次阅读 2017-5-22 12:20 |系统分类:论文交流

平行视觉: 基于ACP的智能视觉计算方法  

王坤峰  苟超  王飞跃

中国科学院自动化研究所, 青岛智能产业技术研究院, 国防科技大学

摘要:

在视觉计算研究中,对复杂环境的适应能力通常决定了算法能否实际应用,已经成为该领域的研究焦点之一。由人工社会(Artificial societies)、计算实验(Computational experiments)、平行执行(Parallel execution) 构成的ACP 理论在复杂系统建模与调控中发挥着重要作用。本文将ACP 理论引入智能视觉计算领域, 提出平行视觉的基本框架与关键技术。平行视觉利用人工场景来模拟和表示复杂挑战的实际场景,通过计算实验进行各种视觉模型的训练与评估,最后借助平行执行来在线优化视觉系统,实现对复杂环境的智能感知与理解。这一虚实互动的视觉计算方法结合了计算机图形学、虚拟现实、机器学习、知识自动化等技术, 是视觉系统走向应用的有效途径和自然选择。

关键词: 平行视觉, 复杂环境,ACP 理论, 数据驱动,虚实互动

全文:

平行视觉_基于ACP的智能视觉计算方法.pdf


引用格式: 王坤峰, 苟超, 王飞跃. 平行视觉: 基于ACP 的智能视觉计算方法. 自动化学报, 2016, 42(10): 1490-1500


平行视觉原理与示例介绍

平行视觉是ACP理论在视觉计算领域的推广应用,是一种虚实互动的智能视觉计算方法。框架结构如图1所示。平行视觉的ACP理论 = 人工场景A + 计算实验C + 平行执行P

A:利用人工场景来模拟和表示复杂挑战的实际场景,采集大规模多样性的虚拟图像和视频数据集,自动生成详细且精确的标注信息。

C:通过计算实验进行视觉算法的设计与评估,包括“学习与训练”、“实验与评估”两种操作模式,计算实验可控、可观、可重复。

P:将视觉系统在实际场景和人工场景中平行执行,进行在线优化,实现对复杂场景的智能感知与理解。

1 平行视觉的框架结构

我们举一个例子来说明平行视觉的重要性。复杂交通环境下的目标检测是一项困难的视觉任务,因为在实际应用中,光照和天气条件、目标和背景外观都很复杂。在白天和夜间,光源不同,光照条件差别很大;在恶劣天气、夜间低照度、白天强阴影等条件下,目标与背景模糊不清;相对于摄像机,目标姿态多样,并且可能被部分遮挡,为检测增加了新的难度。在这些因素的综合影响下,很难设计一个鲁棒的目标检测器。Faster R-CNN是目前精度最高的检测器之一。通常,Faster R-CNN利用实际数据集(例如PASCAL VOC、MS COCO、KITTI Detection等)进行训练和评估。但是,从实际场景中获取大规模多样性的数据集非常困难,尤其缺少恶劣天气和不良光照下的训练图像,导致训练的模型在实际应用时很可能失败。而人工场景能够模拟复杂挑战的交通环境,提供色彩逼真的大规模多样性数据集,作为实际场景数据集的补充。结合人工场景数据集和实际场景数据集,共同训练和评估Faster R-CNN模型,能够提高目标检测器的精度和鲁棒性。

我们构建了虚拟城市场景,生成如图2所示的大规模虚拟图像及其标注信息。面向目标检测任务,我们甚至可以在每帧虚拟图像中随机改变道路上车辆的颜色(见图3),以增加虚拟图像的多样性,而这在实际场景中是不可能做到的。我们可以控制人工场景中的目标外观和运动、光照和天气条件、摄像机高度和视角等因素,生成多样性的虚拟图像。我们的实验结果已经表明,采用虚实互动的平行视觉方法,明显提高了目标检测器的精度和鲁棒性。

2 虚拟图像及其标注。第一行:深度(左)和光流(右)标注。第二行:目标跟踪(左)和检测(右)标注。第三行:像素级的实体分割(左,针对车辆)和语义分割(右)。

3 在每帧虚拟图像中,道路上车辆的颜色被随机改变,训练数据的多样性得到极大提高

总之,平行视觉在物理和网络空间大数据的驱动下,结合计算机图形学、虚拟现实、机器学习、知识自动化等技术,利用人工场景、计算实验、平行执行等理论和方法,建立复杂环境下视觉感知与理解的理论和方法体系。平行视觉与深度学习、生成式对抗网络GAN、人机混合等技术相结合,将在视觉计算领域发挥重要作用,成为一个重要的研究方向。



http://blog.sciencenet.cn/blog-2374-1056362.html

上一篇:新IT与全球化新境界
下一篇:[转载]《自动化学报》43卷5期网刊已经发布, 敬请关注, 谢谢

6 刘锋 陆泽橼 李本先 罗汉江 彭真明 haipengzhangdr

该博文允许注册用户评论 请点击登录 评论 (3 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2018-9-22 01:41

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部