Lyft的自动驾驶车辆高保真度传感器标定

*图1 精确的传感器校准可以极大地简化下游机器学习任务

基本介绍

典型的无人驾驶汽车传感器套件由摄像机、激光雷达、雷达和IMU组成。校准的目的是找出这些传感器和车辆之间的信息转换。此外，校准亦可恢复传感器的内部特性，例如摄像头畸变、或IMU的加速度计和陀螺仪的偏置。这些都是无人驾驶汽车感知、建图、定位和控制模块的基本信息输入。

*图2 传感器标定是无人驾驶汽车s系统的核心部分

感知

无人驾驶汽车感知系统通过来整合来自多个传感器的数据识别的道路上的智能体（如汽车、行人和骑自行车的人）获得支持无人驾驶汽车所需的高精度数据输出。例如，感知系统将摄像头对行人的检测与激光雷达对同一智能体的检测结合起来。更进一步说，对于距离无人驾驶汽车 100米的智能体，需要旋转的校准精度~0.2度才能可靠地融合来自多个传感器的测量值。这就是为什么校准对准确感知和无人驾驶汽车至关重要。

*图3 点云在摄像机图像上的投影，点云的距离用颜色表示

建图

L4自动驾驶需要的高清地图，通常是由激光雷达、摄像头和IMU数据融合而成。这些高清地图包含如车道边界、交通灯、停车标志等精准信息。构建高清地图通常需要从摄像头获取的图像中推断语义，并将它们与激光雷达数据进行关联，以便准确地确定道路的精准信息。例如，当无人驾驶汽车导航通过一个交通十字路口时，它使用校准信息来匹配高保真地图上的交通信号灯，这样无人驾驶汽车导航就可以决定是否要停在某个交通信号灯前。哪怕是校准仅差几度，无人驾驶汽车也可能会将其车道上的红灯与下一车道上的绿灯混淆。因此，精确的传感器标定是高保真建图的前提。

*图4

定位

定位的目的是实时准确地估计车辆在高清地图上的位置。一个高质量的定位系统通常结合来自IMU、激光雷达、车轮里程表和摄像机的数据。简而言之，定位模块将无人驾驶汽车在不同传感器之间的运动关联起来，从而获得无人驾驶汽车在地图上实际位置的可靠估计。注意，定位精度高度依赖于IMU与激光雷达标定的精度，即IMU到激光雷达的旋转和平移分量。这种校准的不准确会导致无人驾驶汽车不知道它自己在路上的确切位置，而无法准确地知道它在道路上的位置可能会导致遵循不正确的交通规则。

Level 5的校准理念

在系统开发的早期阶段，必须做出的一个选择是专注工厂校准还是在线校准。工厂校准利用了一个结构良好的环境和众多标记，可以很容易地被传感器检测到，这可以完成高精度的目的。但是，另一方面，在线校准更具可扩展性。缺点就是可能不那么可靠。虽然两种校准方式都很重要，但在项目的开始阶段，研究人员还是有限选择了相对可靠的工厂校准，这也是开发在线校准算法的必要过程和重要基础。

*图5 工厂校准:一辆车停在一辆翻车机上，周围环绕着校准目标

维持无人驾驶汽车的校准需要使用大量的工具。随着车队规模的扩大，研究人员使用了两种方法保证能够快速解释校准结果：首先，将无人驾驶汽车的校准分割成校准独立双传感器,然后合并，合并后的最终解决方案才适用于整个无人驾驶汽车。其次，研究人员使用了一些工具，可以方便地从校准过程的任何阶段提取调试信息，从而探究工厂校准过程中出现的问题的根本原因。

*图6 可视化工具，用于检查每个目标平面的激光雷达分割的准确性

对于L5自动驾驶，需要快速确定问题的根本原因。例如，如果无人驾驶汽车漂移到车道的一侧，需要立刻搞清楚这种漂移是由哪些原因（定位、建图或校准错误）造成的？针对这一问题，有以下三种解决方案：

• 一是，对每个工厂校准使用验证过程，以确保每个校准文件的校准错误都在允许范围内。

• 二是，监控仪表板，跟踪每辆车的校准和验证指标。

• 三是利用在线标定诊断技术，对现场车辆标定质量进行连续监测。

*图7 工厂校准和验证、在线校准和云基础设施

发展现状

目前，Lyft的无人驾驶汽车使用多个摄像头、激光雷达、雷达和IMU。如前所述，Lyft倾向于将整个车辆校准问题分解为成对的传感器校准问题。因此，Lyft首先校准每个传感器的内部参数，然后独立校准其外部顶部的激光雷达。这使得能够识别和隔离任何校准错误。

*图8 目前L5车辆上使用的传感器，包括激光雷达、摄像机、雷达和IMU

Lyft的工厂校准流程经过多次迭代开发而成，是一个流程可重复、准确度高和可拓展的校准流程。

*图9 自动校准

然而，该方法也存在缺陷。由于Lyft的无人驾驶汽车是在现场工作的，由于温度和振动等因素，校准精度会随时间发生改变。Lyft的下一步是开发在线、自我校正校准算法，但由于缺乏基础事实，该项工作正在研究中。目前，Lyft采用高精度的工厂标定作为地面真值来解决这一问题。此外，还为车载软件堆栈配备了一个可以自动检测不在原始状态下的校准情况的系统。使用该系统，任何校准中的错误都可以被识别出来，如果错误超出了安全范围，车辆将返厂进行工厂校准。

*图10 车辆可以在不同的环境下行驶

 References:

[1] Z. Zhang, “A flexible new technique forcamera calibration,” in IEEE Transactions on Pattern Analysis and MachineIntelligence, vol. 22, no. 11, pp. 1330–1334, Nov. 2000

[2] https://medium.com/lyftlevel5

• 原作者：AsheshJain and Lei Zhang, Engineering Managers；Li Jiang, Software Engineer

• 智车科技翻译整理