研究进展|核空间互学习可得到更稳定的可判别空间分布

本工作是对2021年6月在线发表在人工智能领域TOP期刊《IEEE Transactions on Cybernetics》论文“Composite Kernel of Mutual Learning on Mid-Level Features for Hyper-spectral Image Classification”的一个简单介绍。（论文链接：http://dx.doi.org/10.1109/TCYB.2021.3080304）

1、 问题的来由：

我们知道，高光谱图像蕴含了丰富的多维空间的信息。其中不仅蕴含较宽的光谱覆盖范围和较高的空间分辨率信息，还包含图像空间的位置关系以及光谱空间相关信息。对于高光谱图像地物分类任务中，利用少量样本的学习得到精准预测结果一直是遥感领域的研究热点。在实际遥感数据中，数据往往表现为复杂的结构和无序特征 ，这给高光谱图像识别带来极大挑战。

2、 解决方案：

为了解决图像识别中数据结构复杂并且无序这一问题，我们采用了群体智能技术。具体来说，我们基于“众人拾柴火焰高”这一基本思想，采用了多个智能体来协同学习数据中的多种特征，在技术上称为多特征学习。由于多特征学习可有效地寻找若干不同空间的特征描述，并将复杂不可分数据映射到可判别空间，因此多特征协同学习是一种能取得优秀图像分类结果的行之有效的方法。

3、 算法描述：

本研究针对高光谱数据分类研究中的问题，将三类中层视觉特征引入高光谱分类的多特征融合学习。这三种特征包括：1)多层超像素约束的稀疏重建特征(SR);2)超像素平均光谱特征(M)和, 3)基于流型排序的超像素Uniqueness特征(U)。 其中，超像素是利用不同计算策略获取了三种超像素的分割结果， 最后将上述多特征用集成学习技术融合于复合核的协同学习的过程中，并利用支撑向量机（SVM）进行分类。

通常来讲，协同学习模型一般利用KL散度度量作为代价函数去实现分类任务中预测分布来指导网络模型优化[1]。本研究工作将多特征的核空间的分布通过交互学习得到优化的核分布。利用理想核的原理，将待学习核K矩阵与另外两个特征空间的核矩阵K0进行互学习，得到目标核矩阵，数学描述如下：

中层特征交互学习利用冯诺依曼散度计算目标核：

交互矩阵的优化求解核矩阵计算简化结果为：

特征核矩阵融合：

经过互学习优化的复合核进行线性相加并利用SVM进行分类，相比之前的分类准确度有较大的提升并且分类结果更加鲁棒稳定。部分实验结果如下：

上述研究成果已于2021年6月在线发表，该论文第一作者为河南理工大学司马海峰副教授，通讯作者为北京师范大学郭平教授。该项研究得到了“新一代人工智能” 重大项目课题的资助（(No. 2018AAA0100203）。

4、 进一步工作：

在后续的研究中，我们拟基于协同学习系统的理论与方法[2]，在多特征多任务问题上,进一步优化深度神经网络结构[3]，构建适用于高光谱图像分类的轻量化深度神经网络。在学习算法方面，改进伪逆学习算法[4]，提高深度学习优化算法的效率，构建高效的高光谱图像处理平台。

参考文献：

[1] Ke Wang, Ping Guo, “A Robust Automated Machine Learning System with Pseudoinverse Learning”, Cognitive Computation, 13(1), May 2021.

[2] Ping Guo, Qian Yin, “Synergetic Learning Systems (I): Concept, Architecture, and Algorithms”, preprint, researchgate.net, January 2019, DOI: 10.13140/RG.2.2.13681.12644/1

[3] Ping Guo, “On the Structure Evolutionary of the Pseudoinverse Learners in Synergetic Learning Systems”, preprint, researchgate.net, December 2020, DOI: 10.13140/RG.2.2.12262.45121

[4] Qian Yin, Bingxin Xu, Kaiyan Zhou, and Ping Guo, “Bayesian Pseudoinverse Learners: From Uncertainty to Deterministic Learning”, IEEE Transactions on Cybernetics,  PP. (99):1-12, (Online) June 2021.