多维分类(MDC)问题广泛存在于许多应用场景中，涉及生物信息学、文本分类、计算机视觉、资源分配等领域。特征增广是解决多维分类问题的有效策略之一。现有工作只关注于生成更好的增广特征，而若能借助不同技术生成多种增广特征可能会更加有效。东南大学张敏灵教授团队首次尝试协同利用多种增广特征中的判别信息，提出一种名为选择性特征增广的新策略。相关成果发表于MIR 2022年第一期中，全文开放获取。

图片来自Springer

传统监督学习任务通常用一个输出变量来描述对象的语义，即单输出学习，其中多类分类是单输出学习范畴内最重要的学习框架之一。然而，在一些实际应用中，使用多个输出变量来描述语义丰富的对象会更加合适，进而形成了多输出学习问题。此时，当每个输出变量的类型被限制为离散值时，就得到了多维分类(MDC)框架。

在MDC的框架下，每个对象由单个示例表示并与多个类别变量关联，其中每个类别变量对应一个特定的类别空间，该类别空间从某个特定维度描述对象的语义。具体来说，MDC问题广泛存在于许多应用场景中，例如生物信息学、文本分类、计算机视觉、资源分配等领域。图1给出了一个关于车辆分类的MDC例子。每个车辆可以从类型(轿车、SUV、公交、卡车等)、品牌(奥迪、奔驰、宇通、江淮汽车等)、颜色(红色、黑色、白色等)多个维度进行分类。

图1 多维分类举例：车辆分类

显然，MDC问题可以逐维解决，即为每个类别空间训练一个多类分类器。然而，这种独立的分解策略不能考虑潜在的类别空间之间的依赖关系，而这可能会影响模型的泛化性能。MDC问题也可以通过学习单个多类分类器来解决，其中每种不同的类别组合都被视为一个新类别。然而，这种类似幂集转换的策略无法考虑未在训练集中出现的类别组合，并且类别组合个数一般很大，进而导致较高的计算复杂度。

事实上，MDC研究的关键挑战之一就是如何以恰当的方式建模类别空间之间的依赖关系。现有工作主要关注于在输出空间层面建模类别依赖关系，例如考虑每对类别空间的依赖关系、为类别空间指定链顺序、为类别空间学习一个有向无环图(DAG)结构、将类别空间划分为多个组，等等。

近年来，旨在操作特征空间的特征增广策略已经成为解决MDC问题的有效解决方案之一。该策略通过使用一些成熟的技术(例如K近邻或深度学习)生成一组新特征来增广原始特征空间。现有工作只关注于如何设计包含更加丰富信息的增广特征，而若能借助不同技术生成多种增广特征可能会更加有效。

本文提出选择性特征增广策略，首次尝试协同利用多种增广特征。该策略简称为SFAM，即用于多维分类的选择性特征增广。具体来说，SFAM方法假设每个维度的模型学习仅得益于所有增广特征之中的一部分。实验结果表明，相比于已有最先进的MDC方法以及SFAM方法自身的退化版本(具有任意一种增广特征)，SFAM方法都可以取得更优的性能。

本文其余部分组织如下。首先，简要讨论了多维分类的相关工作；其次，介绍了SFAM方法的技术细节；再次，报告了对比研究的实验结果；最后，对全文进行了总结。

Multi-dimensional Classification via Selective Feature Augmentation

Bin-Bin Jia, Min-Ling Zhang

https://link.springer.com/article/10.1007/s11633-022-1316-5

https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1316-5

[ 本文作者 ]

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被EI、Scopus、中国科技核心期刊、CSCD等数据库收录。