王飞跃的个人博客分享 http://blog.sciencenet.cn/u/王飞跃

博文

[转载]【平行驾驶】_百度百科

已有 2284 次阅读 2018-2-21 09:53 |系统分类:图片百科|文章来源:转载

【平行驾驶】_百度百科



平行驾驶

平行驾驶最初想法形成于20世纪90年代中期,由时任美国亚利桑那大学机器人实验室主任的王飞跃教授提出,原本是希望借助于Agent的想法,利用“本地简单、远程复杂”的思想把无人车技术充分利用起来,使之变成辅助人类驾驶的在线“软件机器人”系统[1]。2005年,王飞跃教授在西安举行的IEEE ICVES(汽车电子与安全国际会议)上正式提出了平行驾驶的概念,将人工系统与实际系统虚实互动的思想被应用于驾驶领域,形成了当下平行驾驶理论的雏形[2]。近年来,随着互联网、大数据、云计算、物联网以及人工智能等技术的发展,数据已然成为当下最为重要的“矿藏资源”,软件定义的组件、流程、系统逐渐走入大众视野,进一步推动了平行驾驶的发展。在此背景下,王飞跃教授提出CPSS(Cyber-Physical-Social Systems)的理论框架[3],将驾驶员、车辆、信息这几个组成部分,扩展对应到通过物理空间和信息空间耦合交互的三个世界:物理世界、心理世界和人工世界,形成了基于CPSS理论的“平行驾驶”[1]

中文名    平行驾驶

外文名    Parallel driving

提出时间  20世纪90年代中期


简介


产生背景

19978月,在加州圣地亚哥举行了名为Demo'97The NAHSC 1997 Technical Feasibility  Demonstration )的无人车集中演示,在这次展示中,有超过20款自动驾驶汽车(包括小轿车、卡车、公共汽车)登场亮相,这次演示的目的是交流和分享无人车技术,最终推动实现商业化。而在这次成功演示之后,美国国会和相关机构却终止了对无人自主车研发的资助,加之法律和市场的考虑,人们对于无人车的应用前景深感悲观,无人车团队纷纷另寻出路,转向特种车、军事、安全等领域。

在汽车自主驾驶研究和应用陷入低潮之际,王飞跃教授于萌发了平行驾驶的想法,将有人驾驶与无人驾驶结合起来,为自动驾驶研究另寻出路。这一想法曾在90年代末美国无人车VISTA的研制和数字试车场DGP的设计上,以及后来国内“863”汽车电子重点项目基于OSGi/VDX的嵌入式实时特定汽车应用操作系统vASOS中得以部分实施,但其方法的正式提出却是差不多十年后的2005年,即在第一届IEEE汽车电子与安全国际会议上提出的基于网络化智能代理、按照车内(Local)简单、车外(Global)复杂原理设计的平行驾驶系统[2]

在平行驾驶中,当人类司机驾着真实车奔驰时,作为软件机器人的智能代理也开着对应的虚拟车同时在奔驰。这种虚拟车,学术上称为人工车软件定义的车,根据不同的要求在不同的程度上与真实车一一对应。而且,一部真实车可以有多部虚拟车与之相伴,有的随车而行,有的存于家中、办公室、服务中心、厂家或政府的档案机构,或者各式各样的网络云端服务平台之中。虚拟车可以通过网络与真实车交换信息,互相服务、互相支持[3]。利用这种方式,虚拟车可以用可视化的形式提供真实车的本体知识、历史情况和实时信息;同时提供预测未来状态和情境的计算能力或检查事故原因的回溯计算功能;最终,还可以虚实互动,提供监视、控制、管理、服务真实车的各类功能。显然,这种智能汽车技术的发展与应用前景几乎是无限的。


平行驾驶主要模块


基于ACP方法的智能机器系统框架

中国科学院自动化研究所王飞跃研究员在其2004年发表的《平行系统方法与复杂系统的管理和控制》一文中首次提出了平行系统的概念[4]平行系统即由某个自然存在的实际系统及与之相对应的一个或多个虚拟或理想化的人工系统所共同组成的系统[5]。广义而言, 任何结合数学模型、仿真模拟、甚至头脑中的假象推演, 都可理解为使用平行系统解决实际问题[6]

自基于人工社会、计算实验与平行执行的复杂系统智能化解决体系提出以来,得到了众多领域广大学者的高度认可与支持,同时引发并引导了众多的前沿性研究与应用。无人车领域由于技术和法律的不完备性导致无法上路,如何将平行系统嫁接到无人车领域的应用成为了重要课题。

2015,王飞跃研究员在报告中第一次结合ACP平行系统理论与机器人学, 提出平行机器人的概念,提出将机器人从CPS空间推向CPSS空间,从服务机械制造的物理机器人演化成为同时服务于知识工作的平行机器人

作为一种轮式机器人的无人驾驶汽车,同样可以在CPSSCyber-Physical-Social Systems的理论框架下,将驾驶员、车辆、信息这几个组成部分,扩展对应到通过物理空间和信息空间耦合交互的三个世界:物理世界、心理世界和人工世界,形成了基于CPSS理论的平行驾驶无人自主驾驶这三个圈(驾驶员、车和信息),在技术方面能够从这三个圈扩展到五个圈,那如何来扩展,一定是把物理空间网络空间打通,从单个车的智能到联网的、群体的车之智能。王飞跃研究员在报告中这样说。

基于CPSS的平行驾驶框架

未来连接自动驾驶的主要因素是物理车辆,人类驾驶员和认知以及人工社会,根据基于ACP的平行智能方法可以自然而然地投影到三个平行世界中,即物理世界,心理世界和人工世界。除此之外,在平行驾驶中,通过虚拟的驾驶员和车辆在ACP方法下进行的平行执行来强化人工世界。无人驾驶中三个十分重要的方面是感知、规划与决策。对此,王飞跃教授团队分别有针对性地提出了平行视觉、平行学习、以及平行测试与评估的技术方法。

通过平行场景中的场景生成器生成不同复杂程度的环境, 然后加入软件定义的无人车, 设定其各虚拟硬件与虚拟传感器使性能服从于真实条件下的测试结果, 之后可以针对不同程度的复杂任务进行计算实验, 根据实验结果综合打分。

平行无人车测评系统同样可用于无人驾驶的学习与训练[1]。法律尚不允许无人车在正常交通中行驶(北京已放开路测), 因此无人车难以获得真实实验数据, 更无法通过试错法进行强化学习。而通过计算实验, 无人车可在人工系统中获得基于虚拟硬件的真实实验数据, 以数据驱动控制算法的学习与训练过程, 不断调整优化, 得到更稳定可靠的控制策略与控制算法。将无人车的训练过程部署在人工系统中, 可以减轻无人车本地的计算负担, 不仅节约无人车硬件成本, 也使无人车在本地计算资源有限的情况下可以扩展更多的传感器或功能模块。

平行视觉与平行场景

平行视觉是ACP理论在视觉计算领域的推广应用,是一种虚实互动的智能视觉计算方法。框架结构如图所示。平行视觉的ACP理论 =人工场景(Artificial Scene, A) +计算实验(Computational Experiments, C) +平行执行(Parallel Execution, P)

A:利用人工场景来模拟和表示复杂挑战的实际场景,采集大规模多样性的虚拟图像和视频数据集,自动生成详细且精确的标注信息。

C:通过计算实验进行视觉算法的设计与评估,包括学习与训练实验与评估两种操作模式,计算实验可控、可观、可重复。

P:将视觉系统在实际场景和人工场景中平行执行,进行在线优化,实现对复杂场景的智能感知与理解。


复杂交通环境下的目标检测是一项困难的视觉任务,因为在实际应用中,光照和天气条件、目标和背景外观都很复杂。在白天和夜间,光源不同,光照条件差别很大;在恶劣天气、夜间低照度、白天强阴影等条件下,目标与背景模糊不清;相对于摄像机,目标姿态多样,并且可能被部分遮挡,为检测增加了新的难度。在这些因素的综合影响下,很难设计一个鲁棒的目标检测器。Faster R-CNN是精度较高的检测器之一。通常,Faster R-CNN利用实际数据集进行训练和评估。但是,从实际场景中获取大规模多样性的数据集非常困难,尤其缺少恶劣天气和不良光照下的训练图像,导致训练的模型在实际应用时很可能失败。而人工场景能够模拟复杂挑战的交通环境,提供色彩逼真的大规模多样性数据集,作为实际场景数据集的补充。结合人工场景数据集和实际场景数据集,共同训练和评估Faster R-CNN模型,能够提高目标检测器的精度和鲁棒性。

通过构建虚拟城市场景,生成如所示的大规模虚拟图像及其标注信息。面向目标检测任务,可以在每帧虚拟图像中随机改变道路上车辆的颜色,以增加虚拟图像的多样性,而这在实际场景中是不可能做到的。通过控制人工场景中的目标外观和运动、光照和天气条件、摄像机高度和视角等因素,生成多样性的虚拟图像。实验结果已经表明,采用虚实互动的平行视觉方法,明显提高了目标检测器的精度和鲁棒性。

图为虚拟图像及其标注。

第一行:深度(左)和光流(右)标注。

第二行:目标跟踪(左)和检测(右)标注。

第三行:像素级的实体分割(左,针对车辆)和语义分割(右)。


图为在每帧虚拟图像中,道路上车辆的颜色被随机改变,训练数据的多样性得到极大提高。


总之,平行视觉在物理和网络空间大数据的驱动下,结合计算机图形学、虚拟现实、机器学习、知识自动化等技术,利用人工场景、计算实验、平行执行等理论和方法,建立复杂环境下视觉感知与理解的理论和方法体系。平行视觉与深度学习、生成式对抗网络GAN、人机混合等技术相结合,将在视觉计算领域发挥重要作用,成为一个重要的研究方向。

平行学习与平行测试

阻碍自动化车辆设计的主要问题是缺少测试数据。由于交通场景的复杂性,很难收集所有数据来训练或测试无人驾驶车辆。为了应对这一挑战,清华大学李力副教授、英国克兰菲尔德大学曹东璞副教授、西安交通大学郑南宁院士与王飞跃研究员等在自动车辆设计中提出并开发了所谓的平行学习理论[7]。如图所示,平行学习的理论框架由两部分组成。虚线上方是基于软件定义的仿真系统的数据预处理阶段。虚线下部表示基于计算实验的预测性学习和集成学习,以及平行控制和规定性学习。细箭头表示数据生成或数据学习,粗体箭头表示动作和数据之间的交互。

在数据处理阶段,平行学习方法首先从原始数据中选择特定的小数据,再送入软件定义的人工系统,并从人工系统中产生大量的新数据。这些人造数据连同特定的原始数据一起构成一组用于更新机器学习模型的大数据,然后通过使用GAN等模型构建虚拟视频来测试自动车辆。



http://blog.sciencenet.cn/blog-2374-1100568.html

上一篇:[转载]OpenPV:中科院研究人员建立开源的平行视觉研究平台
下一篇:[转载]AI论文被引用排行榜:微软第一,中科院第三

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2018-5-22 23:22

Powered by ScienceNet.cn

Copyright © 2007-2017 中国科学报社

返回顶部