引用本文

朱飞, 张煦尧, 刘成林. 类别增量学习研究进展和性能评价. 自动化学报, 2023, 49(3): 635−660 doi: 10.16383/j.aas.c220588

Zhu Fei, Zhang Xu-Yao, Liu Cheng-Lin. Class incremental learning: A review and performance evaluation. Acta Automatica Sinica, 2023, 49(3): 635−660 doi: 10.16383/j.aas.c220588

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220588

关键词

增量学习，持续学习，灾难性遗忘，机器学习，深度学习 

摘要

机器学习技术成功地应用于计算机视觉、自然语言处理和语音识别等众多领域. 然而, 现有的大多数机器学习模型在部署后类别和参数是固定的, 只能泛化到训练集中出现的类别, 无法增量式地学习新类别. 在实际应用中, 新的类别或任务会源源不断地出现, 这要求模型能够像人类一样在较好地保持已有类别知识的基础上持续地学习新类别知识. 近年来新兴的类别增量学习研究方向, 旨在使得模型能够在开放、动态的环境中持续学习新类别的同时保持对旧类别的判别能力(防止“灾难性遗忘”). 本文对类别增量学习(Class-incremental learning, CIL)方法进行了详细综述. 根据克服遗忘的技术思路, 将现有方法分为基于参数正则化、基于知识蒸馏、基于数据回放、基于特征回放和基于网络结构的五类方法, 对每类方法的优缺点进行了总结. 此外, 本文在常用数据集上对代表性方法进行了实验评估, 并通过实验结果对现有算法的性能进行了比较分析. 最后, 对类别增量学习的研究趋势进行展望.

文章导读

近年来, 机器学习技术快速发展, 在图像[1]、视频[2]、语音[3]等领域有着广泛的应用. 特别地, 在围棋[4]、游戏[5]、目标识别[6]等单个任务上的表现已经超越了人类的水平. 但是, 这种优越性能往往是基于封闭世界假设[7-8], 即模型在测试阶段只会见到已知类别, 且假设了训练和测试数据独立同分布. 这种预定义和固定类别数量的假设在当前的机器学习系统中很常见, 主要有以下两个原因. 首先, 这将使数据收集和标注过程更容易执行和控制. 其次, 这是大多数分类模型的要求. 例如, 深度神经网络的最后一层通常被视为类别节点, 需要固定它们的数量以使模型能够正常训练. 然而, 真实世界的环境是复杂、开放和动态变化的[9-10]. 封闭世界假设, 即训练和测试数据来自相同且固定的类别, 在实际应用中通常是不合理的. 事实上, 新的类别会不断出现, 模型需要不断更新以获得对新类别的判别能力.

图1展示了真实开放环境中机器学习系统的工作流程, 主要包括三个关键步骤. 第一步是未知拒识, 这要求系统能够准确识别来自已知类别的样本, 同时还能够基于不确定性估计检测未知样本[11]. 第二步是在缓冲区中标记收集到的未知类别样本(即新类发现), 这一过程可以由人工或自动系统完成[12]. 最后, 当新发现的类别有较多数据时, 模型必须通过扩展多类分类器来增量式地学习新的类别[13]. 对未知类别拒识和新类发现感兴趣的读者可以参考文献[12, 14]了解前沿进展. 本文主要关注上述流程中的最后一步, 即类别增量学习(Class-incremental learning, CIL). 通过类别增量学习, 机器学习系统能够扩展并适应动态和开放的环境. 换句话说, 部署后的机器学习系统依然可以在开放环境中持续和交互地学习. 实际应用中有许多这样的需求: 一个智能物流配送系统需要随着物品的流行期, 不断地识别新出现的产品品种[15]; 再比如, 人机对话系统也应该具有在部署后持续学习的能力[16], 即在与用户的对话过程中不断地、交互式地学习新知识, 随着时间的推移提高自身性能.

图 1  真实开放环境中机器学习系统的工作流程

面对开放和动态的实际环境, 基于封闭世界假设的静态学习范式遇到严峻的挑战. 具体地, 在静态的学习范式下, 模型只能泛化到已知类别. 面对来自新类别或其他分布差异较大的测试样本, 模型的泛化能力会严重退化[17]. 如果使用新类别的数据更新模型, 又会导致对旧类别判别能力的灾难性遗忘[18-19]. 这些问题严重制约了机器学习模型在实际中的应用潜力. 相比之下, 人类具有很好的增量学习能力. 例如, 一个学会汉语的人在学习外语之后, 仍然具备汉语能力. 虽然人类在持续学习的过程中也会缓慢遗忘一些已有知识, 但是不会出现如当前机器学习模型一样的灾难性遗忘现象.

增量学习旨在使得模型能够不断更新来学习新类别或任务, 同时又能较好地保持在已学习类别或任务上的性能. 早期的增量学习主要是数据增量学习, 也叫作在线学习[20]. 在这种设定中, 训练数据动态增加, 但是类别集保持不变. 例如, 一些研究工作关注如何使支持向量机[21]或决策树[22]从动态数据流中学习. 文献[20]详细地综述了在线学习方面的相关进展. 与上述数据增量学习不同, 文献[23]关注类别集动态增加的增量学习, 提出了基于最近类别均值分类器来快速学习新类别. Ristin等[24]提出了一种可扩展的随机森林算法, 使得模型能够不断地学习新出现的类别.

近年来, 基于深度学习的增量学习得到了广泛关注. 在场景设定方面, 目前的增量学习主要有两大类, 即任务增量学习[25-28]和类别增量学习[13, 29-31], 如图2所示. 在任务增量学习场景中, 不同的任务共享相同的特征提取器. 每学习一个任务, 模型需要增加一个输出分类层. 由于不同任务的分类层之间互不影响, 因此任务增量学习场景中遗忘现象主要发生在特征提取器部分. 在测试阶段, 模型需要在事先已知当前测试样本所属的任务编号的基础上, 在该任务所对应的分类层内部进行分类. 与任务增量学习不同, 类别增量学习场景中所有类别共享一个分类层, 该分类层会随着学习类别的增加而增加类别节点. 在测试阶段, 不需要预先指定测试样本所属类别就可以对所有已知类别进行分类. 在类别增量学习中, 不同类别之间会相互影响. 因此, 特征提取器和分类层都存在遗忘现象. 相比任务增量学习, 类别增量学习更接近实际应用场景, 但也更有挑战性. 表1对不同的增量学习设定进行了总结和比较.

图 2  任务和类别增量学习示意图(本文关注类别增量学习)

随着对增量学习研究的深入, 众多研究成果不断涌现, 近年也有一些综述性工作出现. 例如, 文献[10]从生物学的角度综述了大脑在动态环境中持续学习的机理, 以及一些早期的受生物学启发的持续学习方法. 文献[32]对任务增量学习方法进行了系统地综述和详细地实验评估. 本文与文献[32]的区别主要体现在两个方面: 在任务层面, 文献[32]关注任务增量学习, 而本文关注类别增量学习. 在方法层面, 文献[32]中每类方法包含的具体技术大多为任务增量学习设计(这些方法在类别增量学习任务上往往表现差), 与本文综述的类别增量学习方法不同. 文献[33]综述了一些类别增量学习方法. 相比之下, 本文对已有方法进行了更加细致和全面的总结. 例如, 本文加入了近期发展起来的两类重要方法, 即特征回放类方法和网络结构类方法. 这两类方法是当下广为关注和具有较大研究潜力的方向. 此外, 文献[33]只评估了保存样本的方法, 而本文细致地评估了非保存样本的方法如基于特征回放类的方法, 并从多个角度与保存样本类方法进行了对比. 文献[34]总结和评估了一些方法在在线持续学习场景下的表现. 文献[35]介绍了一些典型的持续学习模型, 主要包含了早期的一些任务增量学习方法. 文献[36]从类脑持续学习机制的角度, 综述了基于脑启发的持续学习方法. 总之, 上述综述文章大多注重任务增量学习方法, 较少涉及类别增量学习, 且没有包含最新的研究进展. 此外, 当前的综述文章中缺少对类别增量学习的性能比较. 因此, 本文主要关注类别增量学习, 对已有的类别增量学习方法在图像分类任务上进行了详细的综述, 对代表性方法进行了细致的实验评估. 最后展望了类别增量学习的未来研究趋势.

本文整体结构如下: 第1节介绍类别增量学习的定义、评价指标和序列任务划分方式. 第2节根据不同的技术思路, 将现有类别增量方法分为基于参数正则化、基于知识蒸馏(Knowledee distillation, KD)、基于数据回放、基于特征回放和基于网络结构的五类方法, 并对每类方法的优缺点进行了总结. 第3节介绍了类别增量学习的公用数据集, 对代表性方法进行了系统的实验评估, 并通过实验结果对现有算法的性能进行了比较. 第4节展望了类别增量学习未来研究方向. 最后, 第5节对全文进行了总结.

图 3  类别增量学习方法分类图

类别增量学习的目标是在动态、开放的环境下, 使得模型能够在较好地保持已有知识的基础上, 持续地学习新类别知识. 本文首先介绍了类别增量学习的问题定义和评价指标. 然后按照不同的技术思路, 对类别增量学习的最新进展进行了综述和分析, 评估了代表性方法的性能, 从同类方法内部和不同类方法之间两个角度对已有的方法进行了对比分析, 并给出了未来可行的研究方向. 现阶段对于类别增量学习已经有了较多的研究, 但依然可以在表示学习、分类器学习、网络结构设计以及弱监督、鲁棒增量学习等多个方面有进一步的研究和发展. 此外, 未来的增量学习也将面向更多的下游任务, 如增量目标检测[38-39]、增量语义分割[40-41]和增量视频分类[160]等.

作者简介

朱飞

中国科学院自动化研究所博士研究生. 2018年获得清华大学学士学位. 主要研究方向为模式识别和机器学习. E-mail: zhufei2018@ia.ac.cn

张煦尧

中国科学院自动化研究所副研究员. 2008年获得武汉大学学士学位, 2013年获中国科学院大学博士学位. 主要研究方向为模式识别, 机器学习和文字识别. E-mail: xyz@nlpr.ia.ac.cn

刘成林

中国科学院自动化研究所研究员. 主要研究方向为图像处理, 模式识别, 机器学习, 文档分析, 文字识别. 本文通信作者. E-mail: liucl@nlpr.ia.ac.cn