近年来，深度学习方法在完成图像分类任务中取得了令人瞩目的成绩。然而，其中的多数方法需要大量训练数据，并且很难在样本有限的情况下，对从未见过的类别进行分类。对有限的标记数据进行学习可以归类为小样本学习问题。各种小样本图像分类方法表明，从其他来源迁移知识可以提升分类的准确性。然而，其中的多数方法仅使用单一来源或密切相关的知识来源。北京科技大学殷绪成教授团队提出一个弱相关知识集成(weakly correlated knowledge integration, WCKI)框架，该框架可以利用从不同来源(即视觉域和文本域)提取的非结构化和弱相关知识来提高小样本分类性能。相关成果发表在MIR第一期中，全文免费下载！

近年来，深度学习方法在完成图像分类任务中取得了令人瞩目的成绩。然而，其中的多数方法需要大量训练数据，并且很难在样本有限的情况下，对从未见过的类别进行分类。

对有限的标记数据进行学习可以归类为小样本学习问题。由于获取标注数据的成本高昂，这一问题得到了自动化学界的更多关注。本文主要研究小样本学习问题中备受关注的N-way和K-shot图像分类任务。

本文提出一个弱相关知识集成(weakly correlated knowledge integration, WCKI)框架，该框架可以利用从不同来源(即视觉域和文本域)提取的非结构化和弱相关知识来提高小样本分类性能。下图为该框架概览。

​框架概览

首先，本文提出了一个统一的知识图，可对不同域中迁移的知识进行整合。本文采用两个常用的知识域：从历史训练集中提取的文本域知识和视觉域知识。由于训练集主要由来自视觉域的图像构成，并且模型经过训练以对齐同一类别中样本的视觉特征，因此该类知识被视为视觉域知识。

第二，本文提出的模型利用可导的图注意模块对更多“相关”知识进行采样，并被证实提高了准确度和效率。该模块可帮助减少计算的复杂性，提升迁移知识的任务相关性。本文的图注意力模块是可导的，因此也是可训练的，从而形成一个完全的端对端可训练框架。

最后，本文将转移的知识作为框架中的隐变量，以避免对齐显性样本特征和迁移的弱相关知识

这项工作的贡献总结如下：

1) 提出了一个弱相关的知识集成框架，该框架可以从多个可能存在偏差的源中迁移知识，以改进小样本图像分类任务。

2) 提出了一个统一的知识图来自适应地对具体任务提供知识的迁移与索引。

3) 提出了一个图注意力模块，用于对每个特定任务的迁移知识进行自适应采样，以降低计算复杂性，提高知识的任务相关性。

本文的源代码发布于：

https://www.dropbox.com/s/2ffd1dh6xyf3xzp/wcki-eval.tar.gz?dl=0

▽ 关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被Ei Compendex, Scopus, 中国科技核心期刊、CSCD等数据库收录。

​征稿启事：

MIR | AI 领域新刊启航，诚向广大科技工作者征稿啦