引用本文

王全子昂, 王仁振, 孟德宇, 徐宗本. 面向大模型时代的持续学习方法论演变. 自动化学报, 2026, 52(8): 1493−1519 doi: 10.16383/j.aas.c240805

Wang Quan-Zi-Ang, Wang Ren-Zhen, Meng De-Yu, Xu Zong-Ben. The evolution of continual learning methodologies in the era of large models. Acta Automatica Sinica, 2026, 52(8): 1493−1519 doi: 10.16383/j.aas.c240805

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240805

关键词

持续学习，灾难性遗忘，预训练模型，机器学习，深度学习

摘要

以深度学习为代表的机器学习方法已经在多个领域取得显著进展, 然而大多方法局限于静态场景, 难以像人类一样在开放世界的动态场景中不断学习新知识, 同时保持已经学过的知识. 为解决该挑战, 持续学习受到越来越多的关注. 现有的持续学习方法大致可以分为两类, 即传统的非预训练模型持续学习方法以及大模型时代下逐步演进的预训练模型持续学习方法. 本文旨在对这两类方法的研究进展进行详细的综述, 主要从四个层面对比非预训练模型和预训练模型方法的异同点, 即数据层面、模型层面、损失/优化层面以及理论层面. 着重分析从应用非预训练模型的方法发展到应用预训练模型的方法的技术变化, 并分析出现此类差异的内在本质. 最后, 总结并展望未来持续学习发展的趋势.

文章导读

随着机器学习技术的发展, 人工智能模型在很多场景得到广泛的应用. 以计算机视觉为例, 在图像分类[1−4]、图像分割[5−7]、图像生成[8−10]等领域已经取得很好的效果. 然而, 当前的机器学习模型大多仅面向封闭的静态场景设计和开发, 仍然依赖于数据的独立同分布 (independent and identically distributed, i.i.d) 假设. 这些方法通常需要人工收集并处理大量样本用于模型训练, 训练后的模型在同分布的测试数据上能够取得较好的预测结果, 然而面对非同分布或动态变化的数据分布往往表现不佳. 如图1所示, 在真实世界中, 数据分布往往随时间和场景在持续地发生变化, 例如电商领域的推荐系统, 随着环境和时间变化, 人们对不同商品的喜好程度是时刻变化的, 并且会出现大量新商品需要模型拟合并预测, 传统的机器学习模型难以处理这样复杂的动态场景. 这就需要机器学习模型能够模拟人类应对动态场景的能力, 不断学习新知识同时保留已经学过的历史任务的知识. 这即是持续学习(continual learning, CL)的问题基本设定[11−13].

图1  动态场景下的机器学习图示

持续学习旨在模拟人类的终身学习知识的能力, 故而也称为终身学习(lifelong learning)、增量学习(incremental learning). 如图2所示, 持续学习希望机器学习模型按时序学习一系列任务的知识, 并且能够在所有见过的任务上表现良好. 由于学习新任务知识时难以接触到历史任务的数据, 所以模型很容易出现灾难性遗忘(catastrophic forgetting)[14]问题, 即新任务到来后模型很快会遗忘已经学过的关于历史任务的知识, 导致模型在新任务上表现良好, 而过去见过的旧任务性能出现大幅下降. 所以持续学习方法希望尽可能保留处理旧任务的能力, 在此基础上融合新旧任务知识, 使得机器学习模型可以持续处理更加复杂多样的任务.

图2  持续学习设置图示

值得说明的是, 持续学习的目标和设定与多任务学习(multi-task learning)[15−16]以及在线学习(online learning)[17]不同. 多任务学习的目标是同时学习多个给定的不同任务, 希望模型在这些有限的任务上表现良好. 与持续学习的主要区别在于: 多任务学习的任务集合是固定的, 不会出现遗忘问题; 而持续学习的任务集合是增量式的, 未来任务的数量、类型和数据分布都是未知的, 处理新任务时极易出现灾难性遗忘. 另一方面, 在线学习的目标是在流式数据上训练机器学习模型, 其数据依然服从独立同分布假设, 类别集合始终保持固定; 而持续学习仅假设每个任务的数据服从独立同分布假设, 随着新任务的到来, 持续学习模型需要处理的类别集合会不断扩张. 当前的一些持续学习方法也考虑更加实际且具有挑战性的在线持续学习(online continual learning)设置, 即假设每个任务都是流式数据, 导致整个持续学习过程中数据分布变化更加剧烈且不稳定, 其具体问题设置在后续介绍.

为方便起见, 在持续学习领域中, 本文将先前使用参数量较少的神经网络作为主干网络且没有预训练的方法称为非预训练持续学习方法, 将应用大规模预训练基础模型作为主干网络的方法称为预训练持续学习方法. 现有的持续学习领域的综述文章并没有深入探讨传统的非预训练持续学习方法和预训练持续学习方法之间的本质联系和区别. 具体而言, 综述[11]是较早的关于持续学习的完整综述, 仅整理当时已有的非预训练持续学习方法; 综述[12−13]简单介绍预训练持续学习方法, 并将其看作是一类独立的方法, 并未深入考虑这些方法和非预训练持续学习方法的差异和联系; 而综述[28]则主要关注预训练持续学习方法的发展, 对其进行更细致的划分和整理. 另外, 还有一些综述文章仅针对特定的设置或领域进行总结, 如综述[31−32]仅关注小样本持续学习的设置; 综述[29−30]对基于预训练大模型的持续学习方法进行整理; 综述[33]则重点关注多模态持续学习领域的发展并对相关方法进行总结. 本文重点关注视觉相关的分类问题, 重新梳理持续学习整体发展路线, 整理并分析从非预训练持续学习方法到预训练持续学习方法的思路和技术上的变化, 着重探讨目前更加前沿的基于预训练大模型的持续学习依然存在的问题, 深入探讨持续学习未来可能的发展趋势.

本文的整体结构如下: 第1节主要介绍持续学习的基本框架、常见设置以及评价指标; 第2节分别从数据、模型、损失/优化以及理论四个层面介绍非预训练模型和预训练模型的方法, 对比两类方法论的技术变化并分析其差异化的原因, 最后探讨未来持续学习技术的发展趋势; 第3节简要介绍持续学习技术在其他相关领域的应用; 第4节对全文进行总结与展望.

图3  数据层面的持续学习方法图示

持续学习作为人工智能领域的前沿方向, 旨在赋予机器系统类人化的持续进化能力, 使其能够在动态开放环境中实现知识积累与能力延展, 该技术已经广泛应用于机器人、自动化系统、医疗保健等领域. 随着大规模预训练基础模型技术的快速发展, 持续学习研究正经历从传统非预训练范式向预训练范式的跃迁. 本文从数据、模型、损失/优化和理论四个层面系统性地梳理持续学习领域的研究脉络与发展趋势, 着重分析非预训练持续学习模型和预训练持续学习模型之间的区别与联系, 并在表1中整理这四个方面的非预训练和预训练持续学习方法的参考文献. 本文分析表明, 即使预训练持续学习方法逐渐展现出与传统非预训练持续学习方法不同的技术路线和发展趋势, 然而本质上预训练方法仍然极大程度地继承传统非预训练方法的设计思路和解决方案, 例如伪重放、增强模型表征、扩展模型结构等. 另一方面, 预训练持续学习方法也要面对许多严峻的挑战. 未来研究需重点突破三大方向: 1)研发面向预训练大模型的轻量化持续学习机制, 通过参数高效微调等技术创新性地降低计算复杂度, 从而结合传统持续学习技术实现更强的性能; 2)构建跨模态、跨任务的通用迁移框架, 考虑结合预训练基础模型和元学习理论, 尝试赋予持续学习模型自动应对持续变化的数据分布的能力, 释放持续学习模型的泛化潜能; 3)继续探索持续学习的理论体系构建, 特别是在稳定性−可塑性平衡、知识表征动态演化等基础理论层面亟待突破. 这些突破不仅将推动持续学习技术向实用化迈进, 更为构建具备终身学习能力的通用人工智能系统开辟崭新路径.

作者简介

王全子昂

西安交通大学数学与统计学院博士研究生. 2019 年获得西安交通大学学士学位. 主要研究方向为机器学习, 持续学习和半监督学习. E-mail: sniperwqza@stu.xjtu.edu.cn

王仁振

西安交通大学数学与统计学院助理教授. 2022 年获得西安交通大学博士学位. 主要研究方向为半监督学习, 持续学习和医学图像分析. 本文通信作者. E-mail: rzwang@xjtu.edu.cn

孟德宇

西安交通大学数学与统计学院教授, 澳门科技大学特聘教授. 2008 年获得西安交通大学博士学位. 主要研究方向为机器学习, 人工智能和计算机视觉. E-mail: dymeng@mail.xjtu.edu.cn

徐宗本

中国科学院院士, 西安交通大学数学与统计学院教授. 1987 年获得西安交通大学博士学位. 主要研究方向为大数据与人工智能的数学基础与核心算法. E-mail: zbxu@mail.xjtu.edu.cn

支持单位：