研究亮点介绍

数据特征之间的因果性已成为解决分布外泛化问题的一个有力工具，其核心理念在于寻找跨数据源域的不变因果特征。目前，大多数学习不变因果特征的方法都基于正则优化法，而这些方法往往无法保证收敛到最优解。然而，通过因果推断方法来获得导致目标变量发生变化的原因变量是一种更直接且有效的方法。基于上述思想，本文提出了一种基于因果推断的不变特征 (IFCI) 学习方法。IFCI算法通过因果推断方法检测不受环境影响的因果变量。由于IFCI算法专注于部分因果关系，因此，它即使在面对高维数据时也能高效工作。该方法可以被视为数据预处理过程，它能够滤掉在不同环境中分布发生变化的变量，并且可以与大部分主流的机器学习方法相结合。通过理论分析和实验结果，我们说明了IFCI算法能够检测和过滤掉受环境影响的环境变量。在过滤掉环境变量后，结构简单的模型也能展现出强大的分布外泛化能力。此外，我们还通过模拟实验和真实数据实验表明，与现有的分布外泛化算法相比，使用了IFCI算法的分类器在分类任务中能够实现更高的准确率。

研究背景及目的

传统的机器学习算法在很大程度上依赖于独立同分布的假设，并取得了显著的效果。然而，当实际数据集出现分布偏移时，这些算法在泛化性能上经常面临比较大的挑战。具体来说，会出现训练数据和测试数据来自不同分布的情况。因而，基于训练数据所训练出的机器学习算法可能在测试数据上难以做出准确的预测。因此，确保机器学习算法在分布外的泛化能力，并在分布偏移下保持稳定的性能就变得至关重要，特别是在医疗诊断、刑事司法、财务分析等关键应用中。

对于分布外泛化问题来说，区分哪些特征是受环境影响的，或与目标存在虚假相关性，以及哪些特征是目标的直接原因是至关重要的。在大多数分布外泛化问题中，目标变量的直接原因特征与目标变量之间的联合分布是保持不变的。因此，目标变量的直接原因通常被称为不变特征。在本文中，我们提出了一种基于因果推理的学习不变特征的方法 (IFCI) 来解决上述问题。我们的方法利用来自多个异构环境的数据集来推断其受环境影响的特征。

模型及结果分析

IFCI算法构造了双重假设检验方法来获得不变特征集合，并且从理论层面证明了该方法得到的不变特征集，具有一定的理论保证，图一中展示了双重假设检验的计算流程。IFCI算法还通过模块化的方法简化了变量之间的因果关系，使得模型的计算速度大大提升。最终的实验结果也说明了IFCI算法能够大大提升模型的分布外泛化能力，并且具有较快的处理速度，图二中展示了部分实验结果。

图一

图二

研究讨论与总结

在本文中，我们提出了一种称为基于因果推理的不变特征学习 (IFCI) 的分布外泛化方法。IFCI算法将因果推理引入因果表示学习中，使机器学习算法能够获得因果特征。通过实验，我们验证了依赖因果表示的算法通常表现出强大的泛化能力。为了在高维数据中进行因果推理，我们采用了一种模块化方法，这有助于消除冗余的因果关系，并只保留与当前任务有因果关系的特征。对于因果推理，我们将平均因果效应扩展到多个变量值的场景中，从而有效地进行因果效应定量评估。实验结果表明，IFCI算法能够成功地过滤掉环境变量，从而显著提高模型的分布外泛化能力。

作者介绍

苏杭

中国人民大学数学学院，博士研究生 (已毕业)

研究方向：高维数据因果发现

王伟

中国人民大学数学学院教授、博士生导师

研究方向：复杂系统的建模、优化与控制；随机过程、异构过程的统计理论；社会、经济及金融中的数学方法

原文出自 Mathematics 期刊：https://www.mdpi.com/2694486

期刊主页：https://www.mdpi.com/journal/mathematics

Mathematics 期刊介绍

主编：Francisco Chiclana, School of Computer Science and Informatics, De Montfort University, UK

期刊主题涵盖纯数学和应用数学所有领域，重点发表代数、几何和拓扑、函数插值、差分和微分方程、计算和应用数学、概率与统计、数学物理、动力系统、工程数学、数学和计算机科学、数学生物学、网络科学、金融数学、以及模糊集、系统和决策等相关领域的文章。现已被SCIE (Web of Science)、Scopus等重要数据库收录，JCR Category Rank: 21/489 (Q1)。

2023 Impact Factor：2.3

2023 CiteScore：4.0

Time to First Decision：17.1 Days 

Acceptance to Publication：2.6 Days