引用本文

赵红, 钟杨清, 金杰, 邹林华. 基于自适应原型特征类矫正的小样本学习方法. 自动化学报, 2025, 51(2): 475−484 doi: 10.16383/j.aas.c240312

Zhao Hong, Zhong Yang-Qing, Jin Jie, Zou Lin-Hua. Few-shot learning based on class rectification via adaptive prototype features. Acta Automatica Sinica, 2025, 51(2): 475−484 doi: 10.16383/j.aas.c240312

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c240312

关键词

小样本学习，原型网络，原型特征，类矫正 

摘要

针对小样本学习过程中样本数量不足导致的性能下降问题, 基于原型网络(Prototype network, ProtoNet)的小样本学习方法通过实现查询样本与支持样本原型特征间的距离度量, 从而达到很好的分类性能. 然而, 这种方法直接将支持集样本均值视为类原型, 在一定程度上加剧了对样本数量稀少情况下的敏感性. 针对此问题, 提出了基于自适应原型特征类矫正的小样本学习方法(Few-shot learning based on class rectification via adaptive prototype features, CRAPF), 通过自适应生成原型特征来缓解方法对数据细微变化的过度响应, 并同步实现类边界的精细化调整. 首先, 使用卷积神经网络构建自适应原型特征生成模块, 该模块采用非线性映射获取更为稳健的原型特征, 有助于减弱异常值对原型构建的影响; 然后, 通过对原型生成过程的优化, 提升不同类间原型表示的区分度, 进而强化原型特征对类别表征的整体效能; 最后, 在3个广泛使用的基准数据集上的实验结果显示, 该方法提升了小样本学习任务的表现.

文章导读

在大量训练数据支撑下, 深度学习方法已在众多学科领域中, 呈现出显著的应用效果及优越性能[1]. 但是在现实生活中的许多应用场景下, 大规模标注数据的采集常常难以实现或成本高昂, 构建相应的大型训练集变得极其困难[2−3]. 因此, 如何在面对有限标记数据资源时依然能够有效学习, 即小样本学习, 已成为人工智能领域至关重要的研究议题[4−5]. 小样本学习因其突破数据局限性的独特优势而引起了广泛的关注与探索. 在小样本学习领域中, 基于度量学习的方法是一种核心方法论, 依据度量关注的核心要素差异, 可将其划分为基于个体样本特征的度量学习方法和基于类别原型特征的度量学习方法[6]. 基于个体样本特征的度量学习方法依赖于预先设定的网络方法拥有强大的特征抽取能力, 进而确保方法能够在面对新类别时实现有效的泛化应用. 早期的基于个体样本特征的度量学习方法主要通过对查询样本与支持样本特征间的距离进行量化评估和对比分析, 以此指导查询样本的分类过程. 但由于各支持样本的个体差异和数量限制, 导致方法对未曾见过的新类别表达力有限. 针对这个问题, 基于类别原型特征的度量学习方法应运而生, 其关键在于通过学习类别的有效度量表示, 并利用类别原型作为各个类别的代表性向量基准. 具体地, 类别原型可通过整合多个支持样本特征嵌入并实施加权平均构建, 同时借助端到端的学习优化手段增强类原型特征表征效能. 最终, 通过计算查询样本与对应类别原型间的距离进行分类决策. 然而, 在数据稀缺的情况下, 单纯依赖平均值构造原型的方法可能加剧方法对样本数量不足状况的敏感性. 因此, 优化类别表征能力对确保精准分类的性能至关重要. 通过传统的原型网络(Prototype network, ProtoNet)[7]提取特征并计算平均值, 可以获得固定原型, 如图1(a)所示, 其值可能偏向于异常值, 导致查询样本的错误分类. 解决这一问题可以提高基于度量方法的分类性能. 

图 1  固定原型和自适应原型生成示例 (5类5样本)

针对上述问题, 本文提出一种改进的基于自适应原型特征类矫正的小样本学习方法(Few-shot learning based on class rectification via adaptive prototype features, CRAPF), 该方法引入自适应原型特征以进行类矫正. 具体地, 设计一种卷积神经网络模块用于自适应生成和更新原型特征, 其机制借助于反向传播过程, 确保类别原型特征能够在训练迭代中, 逐步收敛至多数正常样本的中心, 并同时远离潜在的异常样本干扰. 这一动态自适应调整方法赋予了类别原型更高的稳定性与代表性. 如图1(b)所示的自适应原型, 当类别受到异常值影响导致分类性能下降时, 能够自动将原型从初始的示例位置(以白色圆表示)调整至较稳健的特征表示(以网点圆表示), 从而提升方法的鲁棒性. 通过这种动态自适应调整原型特征的方式, 不仅实现了对类别边界的实时校正, 而且提炼出更具泛化能力的原型表示, 提升方法在面对未知类别时的泛化能力和适应性. 在3个广泛使用的基准小样本学习数据集上进行了实验验证. 实验结果验证了本文提出的自适应原型特征类矫正的小样本学习方法的有效性. 本文的主要贡献有以下3点: 1)构建了一种基于自适应原型特征的小样本学习框架, 利用卷积神经网络内在的隐含信息, 以自适应方式优化类别原型特征, 旨在构建更具区分性的原型表示; 2)有效地缓解了采用简单平均法计算原型时因异常值造成的类别原型失真问题, 增强了方法对异常扰动的抵抗能力和对类别边界的精准矫正能力; 3)本文的自适应原型特征类矫正的小样本学习方法具有高兼容性, 能够平滑地整合到其他小样本学习算法中, 共同提升整个方法的分类精度. 

图 2  基于5类5样本的方法框架图

图 3  自适应原型特征生成模块

针对原型特征表示单一且不充分等问题, 提出一种简单有效的基于自适应原型特征表示的小样本学习方法. 在原型网络的基础上, CRAPF通过卷积神经网络自适应学习类原型特征, 使得原型特征的表示程度最大化, 从而增强原型的表征能力. 具体而言, 通过使用卷积神经网络构建自适应原型特征生成模块, 动态生成与类别适应的原型特征, 更好地捕捉类别之间的差异性, 最大化类间原型表示的识别能力, 进而提升分类性能. 实验结果在MiniImageNet、CIFAR-FS和FC100基准数据集上展现出良好的性能. 本文从增强原型特征表示能力的角度提高了方法性能, 未来研究将探讨不同视角的特征表示方法, 从而进一步提升原型表示的能力, 并根据这些视角设计有效的特征融合方法, 以提升小样本学习方法的泛化能力. 

作者简介

赵红

闽南师范大学计算机学院教授. 2019年获得天津大学博士学位. 主要研究方向为粒计算, 小样本学习和分层分类. 本文通信作者. E-mail: hongzhaocn@163.com

钟杨清

闽南师范大学计算机学院硕士研究生. 主要研究方向为小样本学习. E-mail: yangqingzhong0@163.com

金杰

闽南师范大学计算机学院硕士研究生. 主要研究方向为小样本学习, 分层分类. E-mail: kimjee@126.com

邹林华

闽南师范大学计算机学院硕士研究生. 主要研究方向为小样本学习, 分层分类. E-mail: zlh1836065471@163.com