引用本文

田永林, 沈宇, 李强, 王飞跃. 平行点云: 虚实互动的点云生成与三维模型进化方法. 自动化学报, 2020, 46(12): 2572−2582 doi: 10.16383/j.aas.c200800

Tian Yong-Lin, Shen Yu, Li Qiang, Wang Fei-Yue. Parallel point clouds: point clouds generation and 3D model evolution via virtual-real interaction. Acta Automatica Sinica, 2020, 46(12): 2572−2582 doi: 10.16383/j.aas.c200800

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200800

关键词

平行点云，虚实互动，三维视觉模型，三维目标检测 

摘要

三维信息的提取在自动驾驶等智能交通场景中正发挥着越来越重要的作用, 为了解决以激光雷达为主的深度传感器在数据采集方面面临的成本高、样本覆盖不全面等问题, 本文提出了平行点云的框架. 利用人工定义场景获取虚拟点云数据, 通过计算实验训练三维模型, 借助平行执行对模型性能进行测试, 并将结果反馈至数据生成和模型训练过程. 通过不断地迭代, 使三维模型得到充分评估并不断进化. 在平行点云的框架下, 我们以三维目标检测为例, 通过闭环迭代, 构建了虚实结合的点云数据集, 在无需人工标注的情况下, 可达到标注数据训练模型精度的72%.

文章导读

近年来, 随着计算机视觉技术的快速发展, 诸如图形分类[1-2]、目标检测[3]、目标跟踪[4]、智慧医疗[5-6]等二维视觉任务, 正在得到妥善解决和广泛应用. 然而, 在诸多对安全性要求较高的领域如无人驾驶[7]、智能机器人[8]等, 三维信息的提取和感知则发挥着不可或缺的作用. 以激光雷达和深度相机为代表的深度传感器, 利用其测距功能能够实现对场景深度信息的提取, 其中激光雷达更是凭借其精确的深度测量能力成为室外等较大场景下深度信息获取的首选传感器, 也成为无人驾驶解决方案中的关键组成部分[9-11]. 在数据组织方面, 虽然RGB-D的数据在数据处理方面存在优势, 但是近期的研究[12-13] 表明, 相比于RGB-D数据类型, 点云数据能够实现更为有效和精确的三维信息感知.

目前, 利用激光雷达获取场景点云信息存在着成本高、标注困难、场景覆盖不全等一系列问题[14-15]. 在成本方面, 单枚多线激光雷达的价格往往高达数万人民币. 在标注方面, 由于需要对场景的三维信息进行标注, 但同时点云又存在着稀疏的特点, 导致对感兴趣的目标难以获取其完整的点云信息. 所以, 在标注时需要结合图像等其他信息, 才能对目标的三维信息给出准确标注. 这一过程往往比图像标注更为困难. 此外, 受限于激光雷达设备的昂贵价格, 普通民众无法拥有这样的设备来进行数据采集与分享, 因此点云数据的获取严重依赖于专业团队, 无法做到群策群力, 导致现有的大多数数据集存在数据量小, 样本难以覆盖真实世界的可能情景等问题.

为了解决点云数据生成和标注中存在的困难, 同时对三维模型进行迭代优化, 本文基于ACP理论[16-18], 即人工社会(Artificial societies)、计算实验(Computational experiments)、平行执行(Parallel execution), 提出了虚实互动的平行点云计算方法. 首先通过在虚拟环境构建与真实环境平行的人工场景, 对现实世界进行描述、预测和引导, 借助虚拟激光雷达, 获取人工场景的点云表示. 在此基础上, 利用虚实结合的训练方式对三维检测模型进行训练, 完成3D检测和跟踪等相关的任务. 之后借助平行执行对模型效果进一步评估, 最后根据反馈结果, 对人工场景的建立、数据采集以及模型训练等过程进行调整优化, 实现整个ACP系统的闭环. 在平行点云的框架下, 本文以交通场景下的车辆三维检测任务为例, 以虚实结合的方式构建了无需标注的车辆点云数据集, 缓解了三维检测任务中点云目标标注的困难. 本文的贡献总结如下:

1) 针对点云应用场景, 提出了平行点云计算框架. 通过虚实结合、闭环迭代的方式, 对点云生成以及三维模型优化提供了新的思路.

2) 针对交通场景下的车辆三维检测任务, 构建了平行点云数据集ShapeKITTI, 显著降低了数据集构建的成本.

3) 基于平行点云数据集, 训练了目标检测模, 在真实数据上取得了良好的效果.

4) 构建了数据生成与模型评估的闭环, 利用反馈信息进行迭代, 优化了数据生成效果并提升了模型性能.

本文剩余部分安排如下: 第1节对相关工作进行了总结回顾; 第2节阐述了平行点云的理论框架; 第3节介绍了三种虚拟点云生成方法并展示了生成效果; 第4节以三维检测为例, 基于ACP进行了实验; 第5节对平行点云进行了思考与展望; 第6节对本文进行了总结.

图 1  平行点云框架

图 2  激光雷达扫描示意图

图 3  CARLA仿真环境及虚拟雷达点云

本文以ACP理论为基础, 提出了平行点云的框架. 平行点云将点云数据生成、模型训练以及系统级评估构成闭环, 以一种迭代的方式进行点云数据的生成以及三维模型的进化, 从而为提升三维模型解决实际问题的能力提供了新思路. 基于平行点云的思想, 本文建立了平行点云数据集ShapeKITTI, 该数据集无需人工标注, 从而大幅降低了数据构建的成本, 我们利用ShapeKITTI数据集进行了三维检测模型的训练, 证实了虚实结合的点云生成方法的有效性. 最后, 借助平行执行构成了数据生成与模型训练评估的闭环, 通过优化数据生成, 使模型性能得到了持续进化.

作者简介

田永林

中国科学技术大学与中国科学院自动化研究所联合培养博士研究生. 2017年获得中国科学技术大学自动化系学士学位. 主要研究方向为计算机视觉, 智能交通. E-mail: tyldyx@mail.ustc.edu.cn

沈宇

中国科学院大学人工智能学院博士研究生. 主要研究方向为视频预测, 平行强化学习, 机器人自主导航. E-mail: shenyu2015@ia.ac.cn

李强

中国科学院大学人工智能学院硕士研究生. 主要研究方向为图像识别, 平行无人车系统. E-mail: liqiang2018@ia.ac.cn

王飞跃

中国科学院自动化研究所复杂系统管理与控制国家重点实验室研究员. 主要研究方向为智能系统和复杂系统的建模、分析与控制. 本文通信作者. E-mail: feiyue.wang@ia.ac.cn