“平行驾驶”是无人车上路的
安全高效智能途径

作者：郑亮，王晓

对无人驾驶技术的向往，已经让人类付出了半个多世纪的努力与尝试。尽管今天我们借助更先进的传感器、运算速度更快的芯片、以及更准确的深度学习算法，在一点一点接近完全无人驾驶的状态，但动态时变的交通场景、复杂多样的天气状况、随机的交通参与者行为，都让无人车上路面临着无数的考验。在2018年2月2日举行的国家智能产业峰会上，来自慧拓的高级工程师周锐与大家分享了一种全新的远程控制、虚实结合、人车协同的平行驾驶方案。据了解，平行驾驶是平行智能在智能驾驶中的实践应用。为此，我们采访了平行智能理论的提出者王飞跃教授。这位从上世纪80年代就致力于无人车研究的美国教授，为何在上世纪90年代获得正教授职称、研制出能成功上路的无人车后，打道回“国”，转而研究社会计算与知识自动化？又因何提出“平行智能”的理论与方法？平行驾驶与当下正火的无人驾驶，又有什么区别？ 

“Demo'97无人车展示比DAPRA挑战赛对我的影响更大” 

自动驾驶真正走入公众视野是从2004年的DARPA挑战赛。那是2004年的3月13日，一大群工程师和数千名观众聚集在加州一家小酒吧外，聚精会神地注视着 15 辆参与莫哈维沙漠穿越赛的赛车“日暮沙漠陲，力战烟尘里”。参赛车辆毫无例外都有着夸张的外形，赛车方向盘由电脑控制的。尽管最终没有一辆参赛车完成142英里全程的赛事，却也成为了启蒙自动驾驶行业的里程碑事件。“说起来我们还是最早把DARPA的这项军用项目引入学术研究界的人”。2005年，IEEE 国际智能车会议在美国拉斯韦加斯举行，作为大会主席的王飞跃教授邀请了DARPA挑战赛项目负责人Ron Kurjanowicz做晚宴报告，向大家介绍项目最新进展。

图片来源于网络：

https://zhuanlan.zhihu.com/p/30589595

然而，亲身经历过这段无人车时代的王飞跃教授却说，“早在此（2004年DAPRA挑战赛）之前，就在1997年8月7-10号，加州圣地亚哥举行了名为Demo'97（The NAHSC 1997 Technical Feasibility Demonstration）的无人车集中演示，在我看来，那场演示的规模、意义以及在当时所引起的影响比这场比赛更大。”当时的情况是，美国国会在1991年通过了陆路复合运输效率法案(Intermodal Surface Transportation Efficiency Act, 简称为ISTEA冰茶法案)，作为响应，联邦高速公路管理局（FHSA）在1992年启动了一项全国性的自动化公路研究项目。Demo’97就是对该项目的成果展示，“其最大的目的是通过无人车辆编队实现高速路交通优化、在不增加现有道路的基础上扩大其通行容量，技术上主要通过在高速路面中嵌入磁条引导来实现”。有超过20款自动驾驶汽车（包括小轿车、卡车、公共汽车）登场亮相Demo’ 97，其中大部分车辆来自GM通用，还有一些来自福特、本田等。大概有上千名的观众亲身体验了完全自动驾驶车辆在圣地亚哥I-15 HOV 车道上7.5英里的行驶演示；每辆车之间隔着一个车身的距离，主要示范了车辆换道、车队加入以及车队分离等功能[1]。   

Demo’97的实拍图

这场声势浩大的无人车展示必然离不开政府的支持。然而，“天真”的美国政府并没有预料到这项计划的花费，不到五年时间，9000万美金的预算倾泻一空，最终在90年代末被迫停止了这项计划。缺少了政府的支持，汽车自主驾驶研究和应用陷入低潮。“那时候的无人车政策几乎就是零，后来底特律一些车企包括发明安全气囊（airbag)和时任GM的通用汽车OnStar公司的CEO Dave Acton找到我们，大家一起花了很大精力到美国国会和联邦交通部游说，最终美国政府推出了智能汽车（Intelligent Vehicle Initiative, IVI）的项目，最重要的考虑是安全——减少高速公路上由于车辆事故造成的死亡率，让无人车的研究又复活了一段时间。”说到这儿，王教授长叹了一口气：“除了政策为零以外，那时网络几乎没有，车内通讯也没有，电控当时的车也不提供，比起今天来，困难太多了。”

“采矿作业自动化，是无人车技术最合适最‘靠谱’的应用领域之一”

王教授最早研究“移动机器人”是在上世纪80年代，研制为外空间机器人系统的外空远程控制试验服务的室内机器人，当时从纽约上州租一条T1专线仿真地球火星通讯就需要几十万美元。后来到NASA在亚利桑那的空间资源利用中心，他还负责了外空间自动工厂的设计与控制，当时是为了更好地利用机器人来开发火星与月球资源。后来与美国标准与技术院(NIST)的Albus合作，研制了“SpiderRobot”无人车和通过Zircon制氢的无人生产过程。

“若不是当年（1996年）民主党的总统克林顿与共和党的国会打架，导致我们火星项目预算不批、项目工资发不出来、被迫停止，研发出‘精神号’和‘挑战号’火星车的就是我们。”谈到这段往事，王教授有些无奈地笑起来“那时我必须在有现钱的Caterpillar矿山装载车和无现钱的火星车之间选，最终选择了矿山车”。就这样他们把已经“到手”的项目又还给了JPL（喷气推进实验室），选择了有钱的Caterpillar大型野外装载车(Wheel Loaders)的自动化项目，该项目也成了王教授“基于代理的网络控制”想法的起源。后来因他将分层智能控制理论和智能挖掘算法用于98T自动装载车并取得了非常好的效果，获得了卡特彼勒技术发明奖；98年与同事合作完成了世界上第一本矿山自动车的研究专著。

即便是现在，项目过后的20年，王教授依然认为：“以挖掘、装载和运输为主的采矿作业自动化，是无人车技术最合适最‘靠谱’的一个应用领域。矿山是一个相对封闭和结构化的受控环境，加上对驾驶员的劳动强度太高和工作环境太恶劣，特别适合无人车和机器人等人工智能技术的应用。”

矿山车自然不能与民用车相比，在开放不受控的外部环境中，实现车辆的自主行驶。为了改善拥挤的交通状况、降低车祸死亡率、让无人驾驶技术造福千千万万的家庭，90年代末，他又带领团队与亚利桑那州政府合作，研发了VISTA(Vehicles with Intelligent Systems for Transport Automation)自动驾驶车。VISTA上路测试的当天，在亚利桑那州甚至整个美国，都引发了极大的轰动。因在该领域的杰出贡献，还获得了亚利桑那州府给予的至高荣誉——“美国亚利桑那州杰出成就奖”。

图片来源：王飞跃教授2015年10月在日本仙台召开

"Global/Local Innovations for Next Generation Automobiles"

国际研讨会上所做的工作介绍报告

“如何利用有限的资源处理无限的性能需求？”

       20世纪90年代末，Intel刚刚发布他们的Pentium系统，其主频只有120 Mhz。1997年4月，IBM的深蓝（Deep Blue）计算机，战胜人类国际象棋世界冠军卡斯帕罗夫，而当时深蓝的算法不过是暴力穷举法，与现在Alpha Zero的计算能力和深度学习算法不可同日而语。再加上上世纪末，激光雷达在汽车上的应用刚刚起步，不仅价格昂贵而且外观庞大。在这种计算能力和硬件资源都很有限的条件下，如何利用好有限资源去实现真正的无人驾驶、保证对环境灵敏感知、确保安全行驶，是当时王飞跃教授及团队思考的问题。如果单纯的通过传感器来堆砌车辆的安全，需要在车身周围阵列数个摄像头等传感器，这些传感器彼此之间的联系，以及每秒中积累的数据都给车辆的行驶带来困难（现在的很多公司仍在这么做）。装满传感器的车辆像个插满输液管的病人，遇到雨雪天气、信号干扰区、行人密集的地方，随时都可能失控。王教授早就看破了这一点，在一次演讲中说：“我觉得应该存在比目前这些自动驾驶研究方向更好、更实用的方向……”

在解决有限资源满足无限性能需求这个自动驾驶难题的过程中，Agent（代理）技术出现给了王教授很大的灵感。在上世纪90年代，Agent是一个热门话题，甚至被一些文献称为软件领域下一个意义深远的突破。当代人工智能的奠基人之一Marvin Minsky在1986年写了一本《Society of Minds》，中文翻译成《心智社会》，就是用代理，来阐述人类的复杂行为以及许多宏观的社会现象是怎么通过非常简单的个体行为交互机制逐渐演化形成的。一方面，Agent技术自底向上地为解决新的分布式应用问题提供了有效途径；另一方面，Agent技术通过对真实系统的元素建模、组合、计算，为全面准确地研究分布计算系统的特点提供了合理的概念模型。

这一技术的出现，加上早期在NASA/RPI空间探索智能机器人系统中心围绕智能机器人、太空移动无人机器人以及无人车的研究展开的大量工作经验，让王飞跃教授萌生了“平行驾驶”的想法，他说：“当时我们的本意是通过借助于Agent的想法，利用‘本地简单、远程复杂’的思想把无人车技术充分利用起来，在网络空间中再设计一个虚拟‘驾驶员’，使之变成辅助人类驾驶的平行在线‘软件机器人’系统，虚拟-实际平行跑。这样一来，把简单的决策放到‘车内’，复杂的需要大量计算的情况放在‘车外’，就可以共享、整合有限的资源通过远程控制的方式更好地继续完成无人车的研究。”这一想法提出后，为当时很多陷入低潮的汽车自主驾驶研究和应用寻找到了新的出路。

平行驾驶的想法曾在90年代末美国无人车VISTA的研制和数字试车场（Digital-Vehicle Proving Ground, DVPG）[2]的设计上，以及后来国内“863”汽车电子重点项目“基于OSGi/VDX的嵌入式实时特定汽车应用操作系统vASOS”中得以部分实施，但其方法的正式并完整提出却是差不多十年后的2005年，即在第一届IEEE汽车电子与安全(ICVES)国际会议上提出的基于网络化智能代理、按照“车内（Local）简单、车外（Global）复杂”原理设计的平行驾驶系统。当时还没有云端的概念，解决方法是把复杂的部分放在一个中央的计算与控制中心里。

“研究无人驾驶，20世纪缺资源，21世纪缺场景数据”

进入21世纪，谷歌等互联网巨头的加入让无人车研究看到了新的希望，随着车辆计算能力和传感器硬件进一步的发展，无人驾驶迎来了蓬勃发展的春天。然而，尽管很多车企配备了高线束的激光雷达、先进的计算平台、能绘制出车道线级别的高精地图，仍无法保证全场景下的自动驾驶安全，实现量产更是遥遥无期。即便谷歌在今年年初推出了无人出租车业务，也只在降雨量较少的凤凰城等区域，特殊条件下还需要远程操纵。

对此，王教授似乎早就预料到了：“这是一个必然要经历的过程。从中国‘马路’的叫法管中窥豹，我们可以得到一个启示。以前中国把道路叫做‘马路’，什么意思？很简单，马走的路。现在呢？马上路是非法的（除了大连女骑警队的马），只能站在大卡车上上路。以前普通人家里都有马车，现在谁能养得起马？只有富人，一匹马上千万美元。唯一能见到马的地方是什么地方？赛马场。这就是人需要车的前提。现在老百姓家里面都有车了，但将来呢？我想将来有人驾驶的车也只有富人能买得起，有人驾驶车唯一上路的方式是停在大卡车上，唯一能开的地方是在赛车场。汽车刚刚出现的时候，它和马车是一起上路的，车不能开得太快，太快把马惊了可能就会引发事故。所以英国定了红旗法案（Red Flag Act）说，汽车的速度每小时不能超过6公里。将来智能车要是按照它的方式，很可能会把有人驾驶的车“惊”了，跟马“惊”了是一样的。所以一定时期内，肯定是有人驾驶和无人驾驶车辆同时上路，因此我们也必须对无人车增加很多的限制。对于智能车来说，它开200公里/小时没任何问题；人要开到200公里/小时，不吓到别人也把自己吓到了。所以为了实现智能车的效率，智能车的速度，智能车的安全性，一定要把人‘赶’下去，否则它无法实现绿色、可持续、高效的目的。”

在王教授看来，未来几年的交通会经历有人驾驶、无人驾驶、人机共驾等多种驾驶方式混合的时期。90年代研究智能汽车面临的问题是计算资源有限，而现在面临的是工程复杂性和社会复杂性会带来巨大的建模鸿沟。“这个鸿沟一是靠数据填，要把小数据导成大数据，把大数据提炼出来变成精准知识即小规则，然后再指导车的驾驶，这就是平行。对于汽车来说，物理汽车跟软件定义的汽车一起开，开的过程中产生数据，通过计算实验，变成驾驶的精准知识——‘小知识’，而且产生崭新的职业，将来会有学习工程师、培训工程师、实验工程师、决策工程师。我们就是把司机换了一个地方，以前在车上开，现在是在操作办公室开，让无人车在上路之前，得到充分的‘教育’。”

国家自然基金委从2009年开始，每年举办一次中国智能车未来挑战赛（China Intelligent Vehicle Challenge, IVFC），通过设计开放环境下的无人驾驶测试道路，为无人车在真实道路环境中学习、训练提供了很好的平台，到2018年已经是第十届。“无人驾驶测试场可以重现无人驾驶汽车使用中遇到的各种各样道路条件，同时可用于验证和试验无人汽车的软件算法的正确性。”王教授提到，为了让无人驾驶的测试更专业更体系化，2015年8月，常熟市政府联合西安交通大学、中国科学院自动化研究所、长安大学和青岛智能产业技术研究院在常熟高新技术产业开发区共建“中国智能车综合技术研发与测试中心”（Intelligent Vehicles Proving Center of China，简称IVPC），由此实现了国内无人驾驶测试中心零的突破。

IVPC“九宫格”无人驾驶测试场地

“从2016年第八届IVFC开始，我们增加了新的离线测试环节，通过模拟真实的交通场景来增强机器学习的手段让无人车进行模拟学习，不仅效率高，而且安全。” 离线测试是在真实道路交通场景数据库的基础上，通过仿真环境评估无人驾驶车辆的基本认知能力。利用车载相机获取真实道路视频图像构建交通场景数据库（包括光照、道路类型及车辆运动等动态变化情况），评估无人驾驶车辆检测车道线、交通信号、前方车辆等基本认知能力的有效性、实时性和适应性。为了构建更多样、更完备、更复杂的测试数据集，近两年王飞跃教授带领团队先后提出了平行视觉[3]、平行图像[4]、平行数据[5]、平行感知[6]、平行学习[7]、平行驾驶[8]、平行测试[9]等方法，本质还是利用虚拟空间无限的可能性来弥补实际数据、实际交通场景、实际驾驶状况的不完备。 

“虚实结合，平行驾驶，最终统一L0到L5六个阶段”

       2015年，王飞跃教授在报告中第一次结合ACP平行系统理论与机器人学, 提出平行机器人的概念, 提出将机器人从CPS空间推向CPSS空间, 从服务机械制造的物理机器人演化成为同时服务于知识工作的平行机器人。作为一种轮式机器人的无人驾驶汽车，同样可以在CPSS（Cyber-Physical-Social Systems）的理论框架下，将驾驶员、车辆、信息这几个组成部分，扩展对应到通过物理空间和信息空间耦合交互的三个世界：物理世界、心理世界和人工世界，形成了基于CPSS理论的平行驾驶。

从CPS到CPSS的跨越

“无人自主驾驶这三个圈(驾驶员、车和信息)，在技术方面能够从这三个圈扩展到五个圈，那如何来扩展，一定是把物理空间和网络空间打通，从单个车的智能到联网的、群体的车之智能。要跳出CPS，迈向CPSS，以后每个人开车不仅仅是在物理世界，同时还在心理世界和人工世界。未来一定是平行交通、平行道路、平行驾驶。物理的汽车跟软件定义的汽车要平行起来，物理的公路要跟软件定义的公路合起来。”

在王教授构想的平行驾驶理论中，当人类司机驾着真实车奔驰时，作为“软件机器人”的智能代理也开着对应的“虚拟车”同时在虚拟世界中奔驰。这种虚拟车，学术上称为“人工车”或“软件定义的车”，根据不同的要求在不同的程度上与真实车一一对应。而且，一部真实车可以有多部虚拟车与之相伴，有的随车而行，有的存于家中、办公室、服务中心、厂家或政府的档案机构，或者各式各样的网络云端服务平台之中。利用这种方式，虚拟车可以用可视化的形式提供真实车的本体知识、历史情况和实时信息；同时提供预测未来状态和情境的计算能力或检查事故原因的回溯计算功能；最终，还可以虚实互动，提供监视、控制、管理、服务真实车的各类功能。显然，这种智能汽车技术的发展与应用前景几乎是无限的。

       “在未来从L0-L5六个阶段共存的场景中，我们需要一个无限安全的性能要求，就需要去预测车辆行为，这将是一个庞大的计算量。现有的计算能力仍很有限，无法在本地进行计算，需要在云端进行复杂的计算，同时在云端进行学习。有些车开得好，有些智能车做得比较差，就会在云端以好的方式让差的无人车进行学习，最后达到比较安全、比较智能的这样一种出行方式。”

“平行驾驶毫无疑问是我们最先提出来的”

这种平行驾驶的构想并没有只停留在概念上，从2007年开始，王飞跃教授正式组织团队开始了平行驾驶相关研究。从2009年在苏州成立派尔公司到现在的慧拓智能机器公司，都是平行驾驶的坚定践行者。

第九届中国智能车未来挑战赛上，慧拓智能机器公司联合中国科学院自动化研究所、清华大学、西安交通大学研发了虚实结合的无人驾驶车辆平行测试平台。通过建立实际测试场地和任务的精确监控系统，利用高精度地图和高精度差分GPS记录车辆动态数据，通过车内和车外的视频监控采集驾驶环境数据，基于4G和V2X通讯实时传输这些监控数据，在云平台储存和分析数据和评测任务的执行情况。在这些数据的基础上，便捷地建立了虚拟测试空间和任务。通过虚拟测试和实际测试的互动，不断迭代更新，提高虚拟测试中Agent行为的真实性，更好的拟合人类驾驶员、行人等和受试车辆互动行为。通过2017年中国智能车未来挑战赛中首次实战应用，虚实结合的无人驾驶车辆平行测试平台的优势已经得到了充分的体现。

目前国内做平行驾驶的只有慧拓智能机器公司，近两年国外MIT和丰田也开始提“平行驾驶”的概念，对此，王教授说：“MIT的平行自动驾驶也好，还是一些做平行测试、平行自动化的公司也好，关于平行驾驶、软件定义的车，毫无疑问是我们最先提出来的。我也希望更多人加入到平行驾驶的研究中，这是一条可行的道路，大家共同携手早日实现未来更加安全、便捷的出行计划。”

对于未来的构想，王飞跃教授认为：“随着智能技术的发展，无论汽车是有人还是无人驾驶，其智能水平都将不断提升。或许，汽车真将成为带轮子的智能计算机、iPhone、甚至智能移动办公室或生活空间。可问题是，这一天何时到来、又如何实现？一些虚拟测试技术的盛行，揭示了虚实互动的平行方式是驶向未来智能社会的可行和有效途径。相信未来的智能车每一部都会有形影不离的“i车”相随，将是虚实互联、互通、互动的平行车，即， 

平行车= 车+ i车

或者

平行车= 车+ i车1+ +车2+ ……. + i车n

或许，将来厂家的每一个产品都必须有对应的“i产品”，形成平行产品；社会上的每一个人更要有对应的“i人”与之相伴相生，形成平行人；最终，构成平行社会。”

参考文献

[1] Christopher Nowakowski and Steven E. Shladover,  Answering the Challenges of Regulating Automated Vehicle Testing and Development in California, Intellimotion, 2014, 19(1): 1-9.

[2] Fei-Yue Wang, Xiaojing Wang, Li Li,P. B. Mirchandani, “Creating a Digital Vehicle Proving Ground”, IEEE Intelligent Systems, 2003, Vol. 18, No. 2, pp. 12-15.

[3] 王坤峰, 苟超, 王飞跃, “平行视觉:基于ACP的智能视觉计算方法”, 自动化学报, 2016, Vol. 42, No. 10, pp. 1490-1500.

[4] 王坤峰, 鲁越, 王雨桐, 熊子威, 王飞跃. 平行图像: 图像生成的一个新型理论框架. 模式识别与人工智能, 2017, vol. 30, No. 7, pp. 577−587.

[5] 刘昕, 王晓, 张卫山, 汪建基, 王飞跃, “平行数据: 从大数据到数据智能”, 模式识别与人工智能, 2017, Vol. 30, No. 8, pp. 673-681.

[6] 孟祥冰，王蓉，张梅，王飞跃, “平行感知: ACP 理论在视觉SLAM 技术中的应用”, 指挥与控制学报, 2017, Vol. 3, No. 4, pp. 350-358.

[7] 李力, 林懿伦, 曹东璞, 郑南宁, 王飞跃, “平行学习| 机器学习的一个新型理论框架”, 自动化学报, 2017, Vol. 43, No. 1, pp. 1-8.

[8] Fei-Yue Wang, “Parallel Driving With Software Vehicular Robots for Safety and Smartness”, IEEE Transactions on Intelligent Transportation Systems, Aug., 2014, Vol. 15, No. 4, pp. 1381-1387.

[9] Li Li, Wu-Ling Huang, Yuehu Liu, Nan-Ning Zheng, Fei-Yue Wang, “Intelligence Testing for Autonomous Vehicles: A New Approach”, IEEE Transactions on Intelligent Vehicles, June. 2016, Vol.1, No.2, pp. 158-166.