引用本文

吴培良, 隰晓珺, 杨霄, 孔令富, 侯增广. 一种基于联合学习的家庭日常工具功用性部件检测算法. 自动化学报, 2019, 45(5): 985-992. doi: 10.16383/j.aas.c170423

WU Pei-Liang, XI Xiao-Jun, YANG Xiao, KONG Ling-Fu, HOU Zeng-Guang. An Algorithm for Affordance Parts Detection of Household Tools Based on Joint Learning. ACTA AUTOMATICA SINICA, 2019, 45(5): 985-992. doi: 10.16383/j.aas.c170423

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170423

关键词

功用性部件检测，深度几何特征，联合学习，条件随机场，稀疏编码 

摘要

对工具及其功用性部件的认知是共融机器人智能提升的重要研究方向.本文针对家庭日常工具的功用性部件建模与检测问题展开研究，提出了一种基于条件随机场（Conditional random field，CRF）和稀疏编码联合学习的家庭日常工具功用性部件检测算法.首先，从工具深度图像提取表征工具功用性部件的几何特征；然后，分析CRF和稀疏编码之间的耦合关系并进行公式化表示，将特征稀疏化后作为潜变量构建初始条件随机场模型，并进行稀疏字典和CRF的协同优化：一方面，将特征的稀疏表示作为CRF的随机变量条件及权重参数选择器；另一方面，在CRF调控下对稀疏字典进行更新.随后使用自适应时刻估计（Adaptive moment estimation，Adam）方法实现模型解耦与求解.最后，给出了基于联合学习的工具功用性部件模型离线构建算法，以及基于该模型的在线检测方法.实验结果表明，相较于使用传统特征提取和模型构建方法，本文方法对功用性部件的检测精度和效率均得到提升，且能够满足普通配置机器人对工具功用性认知的需要.

文章导读

纵观人类文明史, 社会每一次进步几乎都与使用工具息息相关; 在人的成长过程中, 学习使用工具也是其必备的能力之一.在机器智能研究领域, 机器人的发展始终都在学习人类智能和技能, 目前机器人可在一定程度上模拟人类的感知能力[1], 而借鉴人类认知方式, 使机器人具备工具及其组成部件的功能用途(功用性, Affordance)认知能力, 对机器人从感知到认知的主动智能提升具有重要意义[2].

目前, 机器人主要通过读取语义标签方式被动获取物品功用性等语义, 基于学习的功用性主动认知方法研究刚刚出现.特别是近年来随着RGB-D传感器(如Kinect)的出现, 3D数据的获取更加方便快捷, 极大地推动了功用性检测领域的研究. Lenz等学习工具中可供机器人抓取的部位[3], Kjellstrom等通过学习人手操作来分类所用工具[4], Grabner等通过3D数据检测出可供坐的曲面[5], 文献[6]将工具功用性看做相互关联的整体, 通过马尔科夫随机场建模工具与人的操作, 文献[7]运用结构随机森林(Structured random forest, SRF)和超像素分层匹配追踪(S-HMP)方法检测家庭常见工具的7种功用性部件(grasp、cut、scoop、contain、pound、support和wrap-grasp), 上述方法均提取彩色图像或深度图像中的特征加以建模, 但没有考虑图像块间的空间上下文信息.文献[8]考虑部件间的空间结构, 针对目标轮廓进行几何特征稀疏表示与分级检测. Redmon等提出采用卷积神经网络(Convolutional neural network, CNN)识别工具[9], 文献[10]研究多模特征深度学习与融合方法, 以实现最优抓取判别, Myers通过双流卷积神经网络(Two-stream CNN), 将几何特征与材质信息相结合用于功用性检测[11], Nguyen等以端到端的方式利用深度特征训练CNN, 并通过CNN中的编解码装置保证标签平滑性[12].但上述深度学习方法均需较高的硬件配置(GPU环境).文献[13]仅利用结构随机森林(SRF)训练功用性部件检测模型, 基本实现了无GPU配置下的实时检测. Thogersen等通过联合随机森林与条件随机场(Conditional random field, CRF)实现室内各功能区的分割[14], 其中CRF的引入有效地整合了空间上下文以描述区域关联性, 但文献[14]缺少对特征有效性的判别而文献[13]仅依靠经验选取关键特征, 两者均可通过采用更加通用的特征编码方法来提升信息的有效性.

稀疏编码已成功应用于图像表示和模式识别等诸多领域, 通过将普通稠密特征转化为稀疏表达形式从而使学习任务得到简化, 使模型复杂度得到降低[15].显著性计算领域的研究结果表明, 对CRF和稀疏编码的联合学习比两种方法顺序处理性能更好[16].借鉴该理论, 本文针对功用性检测问题, 整合CRF刻画空间上下文能力和稀疏编码特征约简的优点, 综合考虑两者间的耦合关系, 设计其联合条件概率表示与解耦策略, 继而给出了基于联合学习的算法实现.

图 1  RGB-D数据集中部分工具

图 2  工具目标部件功用性区域

图 3  包含功用性部件“盛(Contain)”的工具及其对应的二值标签

机器人与人的共融, 将成为下一代机器人的本质特征.事实上, 功用性语义频繁出现在人们的日常思维和交互中, 功用性认知也已成为了人机和谐共融的必然要求.本文利用工具的多类深度特征, 结合稀疏编码与CRF优势训练家庭日常工具功用性部件的检测模型, 通过与利用SIFT特征表示图像信息和传统联合CRF与稀疏编码训练模型的算法进行比较, 由精度召回率曲线可知本文模型对工具部件的目标功用性检测效果良好, 为机器人工具功能认知及后续人机共融和自然交互奠定基础.

作者简介

隰晓珺

燕山大学信息科学与工程学院硕士研究生.主要研究方向为RGB-D数据处理, 工具功用性认知.E-mail:xixiaojun@ysu.edu.cn

杨霄燕  

山大学信息科学与工程学院硕士研究生.主要研究方向为RGB-D数据处理, 行为建模与学习.E-mail:yangxiao@ysu.edu.cn

孔令富  

燕山大学教授.1995年获得哈尔滨工业大学博士学位.主要研究方向为家庭服务机器人, 机器视觉, 智能信息处理, 并联机器人及自动控制.E-mail:lfkong@ysu.edu.cn

侯增广  

中国科学院自动化研究所复杂系统管理与控制国家重点实验室研究员.主要研究方向为机器人与智能系统, 康复机器人与微创介入手术机器人.E-mail:zengguang.hou@ia.ac.cn

吴培良  

燕山大学副教授.2010年获得燕山大学博士学位.主要研究方向为家庭服务机器人智能提升, 功用性认知, SLAM.本文通信作者.E-mail:peiliangwu@ysu.edu.cn