彭秀平, 仝其胜, 林洪彬, 冯超, 郑武. 一种面向散乱点云语义分割的深度残差−特征金字塔网络框架. 自动化学报, 2021, 47(12): 2831−2840 doi: 10.16383/j.aas.c190063

Peng Xiu-Ping, Tong Qi-Sheng, Lin Hong-Bin, Feng Chao, Zheng Wu. A deep residual — feature pyramid network framework for scattered point cloud semantic segmentation. Acta Automatica Sinica, 2021, 47(12): 2831−2840 doi: 10.16383/j.aas.c190063

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190063?viewType=HTML

针对当前基于深度学习的散乱点云语义特征提取方法通用性差以及特征提取不足导致的分割精度和可靠性差的难题, 提出了一种散乱点云语义分割深度残差−特征金字塔网络框架. 首先, 针对当前残差网络在卷积方式上的局限性, 定义一种立方体卷积运算, 不仅可以通过二维卷积运算实现三维表示点的高层特征的抽取, 还可以解决现有的参数化卷积设计通用性差的问题;其次, 将定义的立方体卷积计算与残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 实现三维表示点高层特征多尺度学习与散乱点云场景语义分割. 实验结果表明, 本文提出的立方体卷积运算具有良好的适用性, 且本文提出的深度残差−特征金字塔网络框架在分割精度方面优于现存同类方法.

三维点云数据理解在计算机视觉和模式识别领域是一项非常重要的任务, 该任务包括物体分类, 目标检测和语义分割等. 其中, 语义分割任务最具有挑战性, 传统的方法大多是在对点云数据进行必要特征提取的基础上, 应用支持向量机(Support vector machine, SVM)一类的分类算法, 通过训练一组特征分类器来完成散乱点云数据的语义分割任务. 显然, 这类方法的性能很大程度上依赖点云特征的设计、特征提取的精度以及特征分类器的性能. 虽然国内外学者提出了几十种点云特征和大量的分类算法, 但是依然没有一种或几种特征能完全适用于所有语义分割场景, 算法适用性、精度和可靠性都得不到保障.

近年来, 随着深度学习技术的发展, 涌现出许多端对端的学习算法, 这种端对端的学习方式不依赖于手工设计的特征, 只需给定输入数据和对应的数据标签, 将其输入神经网络, 即可通过反向传播算法自动学习一组可以抽象高级特征的权重矩阵, 最后再由全连接层(Fully connected layer, FC)对高级特征进行分类, 从而完成分割任务. 现有的基于深度学习的点云分割研究方法大体可分为如下两类:

一类是基于散乱点云数据结构规则化的深度学习方法, 这类方法通常是先通过体素化处理或八叉树、KD树等树形结构, 将无序和不规则的散乱点云处理成规则的结构化数据, 再将结构化数据输入三维卷积神经网络(Convolutional neural network, CNN)进行训练. 基于体素化方法的提出首次将深度学习技术应用于三维点云数据理解任务, 通过将三维点云体素化为规则的结构化数据, 解决了其无序性和不规则性问题. 但是, 使用体素占用表示三维点云带来了量化误差问题, 为了减小这种误差必须使用更高的体素分辨率表示, 高分辨率的体素表示又会在训练神经网络过程中带来大内存占用问题. 因此, 受限于目前计算机硬件的发展水平, 基于体素化的散乱点云深度学习方法往往难以完成诸如大规模室内三维场景一类的复杂、需要细粒度的三维场景的语义分割和场景理解任务. 基于八叉树和KD树结构方法的提出解决了直接体素化点云所带来的大内存占用问题, 但是这种树形结构对三维点云旋转和噪声敏感, 从而导致卷积内核的可训练权重矩阵学习困难, 算法的鲁棒性往往不够理想.

另一类是基于参数化卷积设计的深度学习方法, 这类方法以原始三维点云作为输入, 通过设计一种能够有效抽象高层次特征的参数化卷积, 再使用堆叠卷积架构来完成点云分割任务. PointNet是这类方法的代表, 其首先使用共享参数的多层感知机(Multi-layer perception, MLP)将三维点云坐标映射到高维空间, 再通过全局最大池化(Global max pooling, GMP)得到点云全局特征, 解决了点云的无序性问题; 此外, 文献[7]还提出了一种T-net网络, 通过学习采样点变换矩阵和特征变换矩阵解决了散乱点云的旋转一致性问题, 但是由于缺乏点云局部特征信息局限了其在点云分割任务中的性能. 随后PointNet++提出一种分层网络, 通过在每一图层递归使用采样、分组、PointNet网络来抽象低层次特征和高层次特征, 再经过特征反向传播得到融合特征, 最终使用全连接层预测点语义标签, 解决了文献[7]方法对点云局部特征信息提取不足的问题. RSNet通过将无序点云特征映射为有序点云特征, 再结合循环神经网络(Recurrent neural network, RNN)来提取更丰富的语义信息, 从而进行语义标签预测. PointCNN则定义了一种卷积, 通过学习特征变换矩阵将无序点云特征变换成潜在的有序特征, 再使用堆叠卷积架构来完成点云分割任务.

总体而言, 基于参数化卷积设计的深度学习为散乱三维点云场景的理解提供了具有广阔前景的新方案. 然而, 目前该领域的研究尚处于萌芽阶段, 许多切实问题尚待解决, 如: 由于卷积方式的局限性, 用于二维图像处理的主流深度神经网络构架(如: U-Net, ResNet, Inception V2/V3, DenseNet等)无法直接用于三维散乱点云数据的处理; 由于针对点云特征提取设计的参数化卷积的局限性, 现有的方法普遍存在特征抽象能力不足、无法将用于二维图像处理的一些主流神经网络框架适用于三维点云分割任务等问题.

基于此, 本文设计了一种立方体卷积运算, 不仅可以通过二维卷积实现三维表示点的高层特征的抽取, 还可以解决当前参数化卷积设计通用性差的问题; 其次, 将定义的立方体卷积计算和残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 以实现三维表示点高层特征多尺度学习和语义分割.

图 1  深度残差−特征金字塔网络框架

图 5  三维点云特征金字塔网络