引用本文

张鲁宁, 左信, 刘建伟. 零样本学习研究进展. 自动化学报, 2020, 46(1): 1-23. doi: 10.16383/j.aas.c180429

ZHANG Lu-Ning, ZUO Xin, LIU Jian-Wei. Research and Development on Zero-Shot Learning. ACTA AUTOMATICA SINICA, 2020, 46(1): 1-23. doi: 10.16383/j.aas.c180429

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180429

关键词

零样本学习，描述，属性，训练类，测试类，嵌入空间 

摘要

近几年来, 深度学习在机器学习研究领域中取得了巨大的突破, 深度学习能够很好地实现复杂问题的学习, 然而, 深度学习最大的弊端之一, 就是需要大量人工标注的训练数据, 而这需要耗费大量的人力成本.因此, 为了缓解深度学习存在的这一问题, Palatucci等于2009年提出了零样本学习(Zero-shot learning).零样本学习是迁移学习的一种特殊场景, 在零样本学习过程中, 训练类集和测试类集之间没有交集, 需要通过训练类与测试类之间的知识迁移来完成学习, 使在训练类上训练得到的模型能够成功识别测试类输入样例的类标签.零样本学习的意义不仅在于可以对难以标注的样例进行识别, 更在于这一方法模拟了人类对于从未见过的对象的认知过程, 零样本学习方法的研究, 也会在一定程度上促进认知科学的研究.鉴于零样本学习的应用价值、理论意义和未来的发展潜力, 文中系统综述了零样本学习的研究进展, 首先概述了零样本学习的定义, 介绍了4种典型的零样本学习模型, 并对零样本学习存在的关键问题及解决方法进行了介绍, 对零样本学习的多种模型进行了分类和阐述, 并在最后指明了零样本学习进一步研究中需要解决的问题以及未来可能的发展方向.

文章导读

随着机器学习领域的发展, 机器学习在自然图像识别领域也取得了长足的进步, 在对于车辆、人脸等特定对象的识别与分类等方面尤为突出.因此, 机器学习技术广泛地在这些领域中投入商业使用, 例如支持向量机(Support vector machine, SVM)[1]、卷积神经网络[2]和递归神经网络[3]等.但是, 现有的识别模型如果想要得到较高的预测准确度, 都需要大量的人工标注样本进行训练, 一般来说, 每一个对象类, 都需要数以千计的标注样本.

随着图像识别技术应用的更加广泛, 以及需要进行识别的对象类不断增加, 未来图像识别领域的发展不应完全寄希望于这种需要大量训练样本的学习方法.例如, 人类能够识别大约30 000个类中所包含的对象, 还可以对这些类中所包含的子类进行辨别, 例如不同款式的汽车[4], 或者不同品种的狗[5].甚至, Murphy认为, 人类可以在无限数目的类中完成分类任务, 因为人类可以随时创造新类[6].理论上如果使用现有的机器学习模型实现上述功能, 至少需要数百万, 甚至数亿个高质量标注的训练样本, 而且训练时间也会显著增加.

而且, 对于某些特定的对象类, 训练样本是难以获得的.以濒危物种为例, 由于处于濒危状态, 其图像资料是难以获得、极为珍贵的, 同时也正因图像资料的重要性, 如果能够实现对于特定对象类不依赖于大规模训练样本(因为特定类图像资料较少, 无法建立有效的训练样本集)的野外的濒危物种识别、摄录, 将会带来巨大的商业价值和生态价值.

尽管存在一些减少训练样本和提高训练效率的算法[7-10], 但是, 这些算法仍然需要一定数量的训练样本对模型中的特定类进行训练, 才能实现对测试样本中的测试样例的分类和预测.人类学习机制与现有的机器学习机制相比具有很大的差异, 人类通常可以在大量的训练样本上很好地进行学习, 但人类也可以在少量或无样本情况下, 通过其他与所要学习的目标相关的辅助信息(Side information), 完成对特定目标的学习.在机器学习领域中, 能够对从未见过的对象类中的样例进行识别的能力, 即为零样本学习(Zero-shot learning).

零样本学习衍生于迁移学习[11], 是迁移学习的变种之一, 零样本学习与其他迁移学习最主要的区别是, 训练类样本集和测试类样本集没有交集.随着近年来的不断发展, 零样本学习已经逐渐脱离迁移学习, 成为一个独立的机器学习研究方向.零样本学习方法与现有的分类方法相比, 具有如下三点优势:

1) 对于某些还没有建立样本集的特定类(例如新定种的生物物种或濒危物种, 最新设计的工业产品等), 通过零样本学习, 可以成功地对这些对象进行识别、分类, 既能满足实际需求, 又可以降低人工和经济成本.

2) 零样本学习的核心机制与人类的学习机制有很多的共通之处, 对于零样本学习进行深入的研究, 会为人类认知科学领域提供强有力的帮助.

3) 零样本学习与深度学习并不矛盾, 两者可以有机结合、博采众长、融合发展, 从而更好地满足未来对象识别领域的需求.

鉴于零样本学习的理论意义, 所蕴含的应用价值以及可观的发展潜力, 本文对零样本学习的研究进展进行了系统性的综述, 为进一步深入研究零样本学习机制、开发零样本学习应用潜力确立良好的基础.文中首先在第1节对零样本学习进行了概述, 阐明零样本学习的发展过程以及定义; 并在第2节着重介绍了零样本学习初始阶段具有重大影响力和历史意义的4种方法; 第3节指出了零样本学习目前仍然面临的三大障碍以及解决思路; 第4节对目前的零样本学习模型进行了分类及介绍; 第5节首先介绍了零样本学习常用的4个数据集, 并分析了目前零样本学习中典型模型的实验结果; 第6节介绍了目前零样本学习现有的应用场景; 最后, 在第7节指出了零样本学习未来的可能发展方向.

图 1  零样本学习结构示意图

图 2  输入空间方法示意图

图 3  模型空间方法示意图

零样本学习是近年来机器学习领域中的新生方向, 这一方向与传统的机器学习方法的不同在于零样本学习能够识别从未见过的类别中的测试样例, 这一方向具有可期的研究前景, 蕴含着巨大的潜在效益.

零样本学习的学习过程包括两大部分:训练类中的训练过程和测试类中判别过程, 测试类与训练类之间没有交集.文章首先指出了零样本学习的发展过程, 以及零样本学习的具体定义, 并对4种具有历史意义的与零样本学习相关的学习模型:新任务的零数据学习[21]、语义输出编码零样本学习[15]、基于属性类间迁移的未见类学习[14]以及跨模态迁移的零样本学习[22]进行了介绍.

在这之后, 我们对目前零样本学习领域所存在的问题:广义零样本学习、枢纽化问题、映射域偏移问题进行了介绍并对这三个问题的解决思路进行了说明.

在第4节和第5节部分, 我们详细介绍了零样本学习的现状发展, 目前的零样本学习模型可以分为两大类:相容性模型和混合模型, 相容性模型又分为线性相容性模型和非线性相容性模型两个子类, 我们对每一类中所包括的模型进行了介绍, 并对其中较为典型的模型的实验结果进行了分析.

最后, 我们对零样本学习目前的应用场景:图像处理和自然语言处理中的发展进行了介绍, 对其未来可能的发展方向进行展望, 进一步说明了零样本学习的巨大潜力.

随着零样本学习理论与方法研究的深入, 零样本学习将会更为成熟, 并应用于更多的机器学习场景, 终将为机器学习领域做出更大的贡献.

作者简介

张鲁宁   

中国石油大学(北京)自动化系博士研究生.2016年获得中国石油大学(北京)自动化系学士学位.主要研究方向为零样本学习与点过程学习. E-mail:zhang.luning@163.com

刘建伟  

中国石油大学(北京)自动化系副研究员.主要研究方向为模式识别与智能系统, 先进控制. E-mail:liujw@cup.edu.cn

左信  

中国石油大学(北京)自动化系教授.主要研究方向为智能控制, 安全仪表系统的分析和设计, 先进过程控制.本文通信作者.E-mail:zuox@cup.edu.cn