类别级物体识别与检测是指：在静态图像或动态视频流中识别及定位出其中感兴趣类别的物体，物体识别通常要求对于任意给定的图像能够正确地对其中包含物体的语义类别进行类标签预测，而物体检测则还要求将图像中的物体准确地定位出来。

基于小数据的类别级物体识别与检测是未来几年该领域的研究热点。目前，大多数物体识别与检测方法都采用大规模数据结合深度学习的方式来训练物体分类器或检测器，主要依靠高质量大规模的训练数据集和深度神经网络模型来保证识别与检测的精度。随着物体识别与检测技术的发展，特别是基于多传感器数据的移动机器人多类物体识别与检测等实际应用需求，这些方法已经无法满足新的问题与挑战。例如：

1）领域适应：不同领域间特征分布差异、数据集偏向性等；

2）硬件资源受限：单传感器、仅有CPU、内存资源有限等；

3）小数据和类不平衡：训练数据匮乏、不同类物体数据集规模不平衡等；

……

面对这些问题与挑战，基于大数据和深度学习的物体识别与检测方法难以发挥优势，尤其亟需克服物体分类器对于大数据和高质量硬件资源的依赖以及领域适应问题。

彩色图片-Digital Camera       彩色图片-Webcam    彩色图片-Kinect

深度图-3D Laser Scanner 方位角图-3D Laser Scanner反射值图-3D Laser Scanner

近年来，随着迁移学习理论的发展与成熟，为解决物体识别与检测的问题与挑战提供了新的思路和解决方案。从心理学角度讲，迁移学习是人们利用之前的经验和知识进行推理和学习的能力。从机器学习的角度讲，迁移学习是一个系统将别的相关领域中的知识应用到本应用中的学习模式。迁移学习要解决的问题就是给定一个目标领域和目标任务，如何利用相似的源领域进行知识的迁移，从而达成目标。对于类别级物体识别与检测应用，当目标领域中存在训练样本不足、硬件资源受限等问题与挑战时，利用相似领域中学习到的知识帮助物体分类器或者检测器达成准确识别目标领域物体的目标。

从研究现状来看，迁移学习理论正在物体识别与检测领域进行着大量的实践应用。所发表的研究成果主要集中在特征迁移和参数迁移的范畴内，在利用迁移学习理论来解决类不平衡、异构特征和运动物体检测等方向的应用仍然较少。因此，未来的研究重点可以概括为以下四个方面：

1）深度学习和迁移学习相结合；

2）在线学习与迁移学习相结合； 

3）跨传感器和异构特征空间的迁移学习；

4）多源知识迁移和避免负迁移问题。

目前，在基于小规模数据集的类别级物体识别与检测应用中，模型过拟合、类不平衡和跨领域时特征分布变化等关键问题与挑战交织在一起。本文介绍了迁移学习理论的研究现状，对迁移学习理论解决基于小规模数据集的物体识别与检测中遇到的主要问题的研究思路和前沿技术进行了着重论述和分析。最后对该领域的研究重点和技术发展趋势进行了探讨。

引用格式：张雪松, 庄严, 闫飞, 王伟. 基于迁移学习的类别级物体识别与检测研究与进展. 自动化学报, 2019, 45(7): 1224-1243. 

链接：http://html.rhhz.net/ZDHXBZWB/html/2019-7-1224.htm

作者简介： 

张雪松，博士，大连交通大学软件学院讲师。主要研究方向是计算机视觉、机器学习、室内场景理解、物体识别与检测。E-mail：zhangxuesong@djtu.edu.cn

庄严，大连理工大学控制科学与工程学院教授。主要研究方向是移动机器人面向复杂三维环境的自主感知、建模、地图构建、场景理解及机器学习技术在机器人领域的应用。本文通信作者。 E-mail：zhuang@dlut.edu.cn

闫飞，大连理工大学控制科学与工程学院副教授。主要研究方向为移动机器人地图构建、路径规划、自主导航和场景理解。E-mail：fyan@dlut.edu.cn

王伟，大连理工大学控制科学与工程学院教授。主要研究方向是自适应控制、预测控制、机器人学及智能控制等。E-mail：wangwei@dlut.edu.cn