引用本文

陈康鑫, 赵杰煜, 陈豪. 一种基于自监督学习的矢量球面卷积网络. 自动化学报, 2023, 49(6): 1354−1368 doi: 10.16383/j.aas.c220694

Chen Kang-Xin, Zhao Jie-Yu, Chen Hao. A vector spherical convolutional network based on self-supervised learning. Acta Automatica Sinica, 2023, 49(6): 1354−1368 doi: 10.16383/j.aas.c220694

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220694

关键词

矢量球面卷积网络，自监督学习，三维目标分类，三维目标部分分割 

摘要

在三维视觉任务中, 三维目标的未知旋转会给任务带来挑战, 现有的部分神经网络框架对经过未知旋转后的三维目标进行识别或分割较为困难. 针对上述问题, 提出一种基于自监督学习方式的矢量型球面卷积网络, 用于学习三维目标的旋转信息, 以此来提升分类和分割任务的表现. 首先, 对三维点云信号进行球面采样, 映射到单位球上; 然后, 使用矢量球面卷积网络提取旋转特征, 同时将随机旋转后的三维点云信号输入相同结构的矢量球面卷积网络提取旋转特征, 利用自监督网络训练学习旋转信息; 最后, 对随机旋转的三维目标进行目标分类实验和部分分割实验. 实验表明, 所设计的网络在测试数据随机旋转的情况下, 在ModelNet40数据集上分类准确率提升75.75%, 在ShapeNet数据集上分割效果显著, 交并比(Intersection over union, IoU)提升51.48%.

文章导读

近年来, 随着自动驾驶、无人机算法、工业机器人等应用领域的兴起, 越来越多的计算机视觉领域的研究者展开对三维图像处理的研究. 相比于传统二维图像数据处理, 三维图像数据处理更加复杂, 比如在工业机器人机械臂抓取物体任务中, 如果要求机械臂能够从任意角度抓取物体, 则需要机器人能够从任意角度获取物体的姿态, 即6D姿态估计任务[1-5]. 在6D姿态估计任务中, 三维目标的局部参考系(Local reference frame, LRF)大部分是通过手动标注的方式获取[6-7]. 如果能够自动地获取目标的局部参考系, 也就是规范方向, 就能够减少大量手动标注数据的工作. 因此, 需要一种神经网络能够有效地学习旋转信息, 即要求神经网络具有旋转等变性(Rotation equivariant)[8-9].

为使神经网络具有旋转等变性, 首先要求在特征提取层具有旋转等变能力. 卷积神经网络(Convolutional neural networks, CNN)作为图像特征提取模块, 在二维图像处理上已经取得巨大的成功. 但是在面对三维数据时, CNN并不能够很好的处理[9]. 首先, CNN无法直接对三维数据进行卷积操作[10]. 如果将三维数据展开到二维平面上, 再使用二维卷积网络提取特征, 这样的三维数据在展开时会产生畸变[9, 11], 导致三维数据原始信息的部分缺失和改变. 其次, CNN也不具有旋转等变性[12], 无法满足提取旋转信息的需求. 因此, Cohen等[13]提出群等变卷积网络, 并在此基础上, Cohen等[11]和Esteves等[9]提出球面卷积(Spherical CNNs), 球面卷积通过射线的方式将三维网格数据(3D mesh)投射到单位球面(Unit spheres)上, 再通过所设计的球面卷积去提取全局特征, 球面卷积在理论上被证明是旋转等变的, 所以能够有效提取到旋转等变特征. You等[14]提出PRIN (Point-wise rotation invariant network) 网络, 使用密度自适应采样模块(Density aware adaptive sampling, DAAS)将三维点云信号采样到球面上, 实现三维点云数据在球面卷积上的使用. Mitchel等[15]提出一种莫比乌斯等变球面卷积算子, 将SO(3)空间等变的球面卷积扩展到莫比乌斯变换群上.

由于池化操作会破坏旋转等变性[16], Hinton等[17]提出胶囊网络(Capsule networks), 将传统标量网络矢量化, 使其能够保留特征的姿态信息, 保留网络的旋转等变性, 并提出胶囊层间的动态路由机制(Dynamic routing)[18], 定义一种低级胶囊向高级胶囊转化的计算方法; 之后改进路由机制, 提出期望最大化路由算法[19], 更好地处理胶囊层之间的部分−整体关系. Zhang等[20]提出基于加权的核密度估计(Kernel density estimation, KDE)路由算法, 在路由过程, 减少了40%的计算量. Iqbal等[21]认为动态路由机制本质上类似于聚类过程, 从聚类目标函数角度进行了优化. Gu等[22]提出共享权值的变换矩阵, 以此提升网络仿射变换鲁棒性. Gu等[23]认为动态路由机制会破坏网络的等变性, 提出直接对预测矢量神经元取平均的方式得到下一层矢量神经元, 以此替代动态路由算法. Venkataraman等[24]使用群等变卷积构建深层次的等变胶囊网络. 姚红革等[25]提出了一种基于期望最大算法(Expectation-maximization, EM)向量聚类算法的深度胶囊网络, 实现了对重叠手写数字的识别和分离.

自监督学习(Self-supervised learning)网络在近几年越发受到关注[26-28]. Zbontar等[29]认为监督学习(Supervised learning)是构建更加智能的通用模型道路上所面临的一个瓶颈, 实际上, 想要标记世界上的所有事物是不可能做到的, 还有一些任务根本没有足够的标记数据, 例如针对一些数据匮乏的语言的翻译系统. 自监督学习网络架构有多种形式, 文献[30-31]和文献[32-34]在90年代和21世纪初提出孪生神经网络架构(Siamese networks), 这种网络架构在近几年重新获得大量关注. 孪生神经网络架构由同一网络的两个相同(或几乎相同)的副本组成. 一个网络用x输入, 另一个网络用y输入, y是x的数据增强版本. 这些网络输出得到结果向量(Embedding), 分别对应所输入的x和y. 然后将这些网络头对头连接起来, 将损失计算为这两个嵌入向量之间的距离. 当模型看到同一图像的不同变形版本时, 可以调整网络参数, 以使它们的输出靠得更近.

综上所述, 为解决目前神经网络无法很好地处理三维旋转目标相关任务的问题, 提出一种具有旋转等变性的自监督矢量球面卷积网络(Self-supervised vector spherical convolutional networks), 又可简称为规范方向网络(Canonical orientation network, CON), 对任意旋转的三维目标可以学习其规范方向.

本文的主要贡献如下:

1) 提出了一种基于自监督学习的矢量球面卷积网络, 能够将任意旋转的三维目标规范到其规范方向上;

2) 使用SO(3)卷积算子替代传统的变换矩阵计算预测矢量神经元, 确保网络的旋转等变性;

3) 以共享SO(3)卷积算子权值的方式计算预测矢量神经元, 增强网络对仿射变换的鲁棒性;

4) 提出一种平均路由计算方式替换传统的动态路由机制, 能更好地汇聚全局信息, 同时增强网络对仿射变换的鲁棒性.

图 1  自监督矢量球面卷积网络训练流程图

图 2  矢量球面卷积层间计算方法流程图

图 3  规范方向实验框架图

本文提出一种基于自监督学习的矢量球面卷积网络, 通过球面卷积提取三维目标的特征, 并通过胶囊网络进一步提取特征并且保证旋转等变性, 同时使用自监督网络架构, 无需额外标签信息的情形下自主训练网络. 该网络训练完成后, 可以获取任意旋转方向的三维目标的规范方向. 这种规范方向的能力能够给以往无法处理三维旋转目标的网络(如PointNet)提供帮助, 实验表明, 本文所提出的网络作为前置网络处理三维旋转目标确实能够给PointNet网络做分类或部分分割任务带来很大的提升. 同时本文实验还验证了本文所提出的网络具有良好的泛化能力, 在不同数据集上也能够有良好的表现. 本文所设计的网络针对点云数据, 而三维数据有着多样的形式, 如体素(Voxel)或者网格(Mesh)等. 因此, 今后将考虑处理更加复杂的网格形式的三维数据.

作者简介

陈康鑫

宁波大学信息科学与工程学院硕士研究生. 主要研究方向为深度学习和计算机视觉. E-mail: kxchenxy@outlook.com

赵杰煜

宁波大学信息科学与工程学院教授. 1985年和1988年获浙江大学学士和硕士学位、1995年伦敦大学博士学位. 主要研究方向为深度学习和计算机视觉. 本文通信作者. E-mail: zhao_jieyu@nbu.edu.cn

陈豪

宁波大学信息科学与工程学院博士研究生. 主要研究方向为三维重建, 模式识别和机器学习. E-mail: 1901100014@nbu.edu.cn