【阶段性光学雷达适应算法】一个可以更高效地利用光学雷达信息辅助使用视觉图像信息的道路检测算法。

道路检测是自动驾驶系统中的一个重要组成部分。正确地检测出周围可行驶道路区域，是自动驾驶汽车实现准确导航和安全行进的基础。随着深度学习技术的发展，研究者们成功地应用了深度语义分割模型来完成基于视觉图像的道路检测任务。但是，到目前为止，基于视觉图像的道路检测算法对于一些光照变化剧烈的场景，或光线过暗的场景，仍然未能提供准确、鲁棒的道路检测结果。

为了解决这一问题，许多研究者试图融合光学雷达信息来辅助视觉图像上的道路检测。光学雷达是一种光学遥感技术，它利用脉冲激光来测量空间中的物体相对光学雷达的距离等参数。通过使用光学雷达，我们可以得到一组用来表示空间中物体位置信息的点云数据。许多工作已经表明，光学雷达点云对于光照变化比较鲁棒，可以用来补充由于光线太亮或太暗导致的过曝光或欠曝光的视觉信息不足。然而，我们发现目前已有的使用光学雷达信息辅助道路检测的方法并未取得显著的性能提升。针对这一现象，本文致力于提出一个可以更高效地利用光学雷达信息辅助使用视觉图像信息的道路检测算法。

在本文中，我们通过深入地研究光学雷达信息和视觉图像信息的关系，确认了两个影响光学雷达信息在基于视觉的道路检测中发挥作用的重要因素。第一个因素是光学雷达点云和视觉图像中的像素点数据空间的异构性导致的两种异质信息的融合困难。具体来说，因为光学雷达点云定义在三维物理空间中，而视觉图像信息定义在二维图像平面中，所以两种新信息很难直接融合使用。第二个因素是光学雷达信息和视觉图像信息的异质性导致网络分别学习的深度特征不在同一个特征空间。从光学雷达信息中学习的深度特征，主要表达离散点云的空间分布信息；从视觉图像信息中学习的深度特征，主要表达颜色、纹理、轮廓等视觉信息。所以，神经网络很难直接融合两种深度特征用于高精度的道路检测。

为了克服上述问题，我们提出了阶段性光学雷达适应算法。在该算法中，我们采用阶段性地变换光学雷达信息的数据空间以及特征空间，使得光学雷达信息能更好地适应视觉图像信息，引导神经网络更高效地利用光学雷达信息完成道路检测任务。图1显示了我们算法的整体处理框架。

在我们的算法第一阶段中，我们提出高度差分图，根据光学雷达点云中数据的高度变化，将其从原始的三维物理空间更合理地映射到二维图像平面空间，从而与之对齐。然后，在第二阶段中，我们采用一个级联融合结构，逐渐地将光学雷达深度特征变换到更适合视觉图像深度特征的特征空间，从而与之融合。

为了验证我们的算法，我们采用了KITTI道路检测基准数据集。该数据集是由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最著名的自动驾驶场景下的计算机视觉算法评测数据集之一。我们采用Zhao et al.等人提出的PSPNet作为基于视觉图像的道路检测基线模型。图2显示了不同方法的综合结果及排名。另外，本文算法在UM_ROAD、UMM_ROAD以及UU_ROAD全部三个子场景上均取得了第一名的成绩。

依据上述实验数据得知，本文提出的阶段性光学雷达适应算法能有效地利用光学雷达信息补充图像信息，有效提升检测精度，超过其他同类算法的结果。在图3中，展示了一些主观视觉结果。可以看出，本文提出的阶段性雷达适应检测模型能有效地处理因光照因素带来的阴影、高光等不利因素的影响，实现高精度的道路区域检测。

引用格式：

Z. Chen, J. Zhang, and D. C. Tao, “Progressive LiDAR adaptation for road detection,” IEEE/CAA J. Autom. Sinica, vol. 6, no. 3, pp. 693−702, May 2019.

文章链接：

http://www.ieee-jas.org/article/doi/10.1109/JAS.2019.1911459?viewType=HTML&pageType=en

作者简介：

陶大程，澳大利亚科学院院士，先后在中国香港理工大学计算机系、新加坡南洋理工大学分别担任助理教授，后到澳大利亚悉尼科技大学工程与信息技术学院担任教授，目前担任悉尼大学教授。其研究成果已在IEEE T-PAMI，T-IP，T-NNLS等众多期刊上被发表，获得多项最佳论文奖；2015年获悉尼科技大学校长奖章（Vice-Chancellor’s Medal for Exceptional Research）、澳大利亚计算机协会数字技术颠覆者奖（ACS Digital Disruptors Award）以及澳洲国家科学最高荣誉奖项-(Eureka)尤里卡奖等多个奖项。

张敬，中国科学技术大学（USTC）博士学位。曾在IFLYTEK研究所担任研究员。目前是悉尼科技大学软件与高级分析学院的访问学者。曾担任多个期刊和会议的评论员，如TIP，TCSVT，信息科学，Neurocomputing，ACM多媒体等。

陈哲，2014年获得中国科学技术大学计算机科学学士学位。目前正在UBTECH悉尼人工智能中心和悉尼大学计算机科学学院，工程与信息技术学院攻读博士学位。其研究成果曾发表于IEEE CVPR，ICONIP和ECCV。