引用本文

王肖锋, 陆程昊, 郦金祥, 刘军. 广义余弦二维主成分分析. 自动化学报, 2022, 48(11): 2836−2851 doi: 10.16383/j.aas.c190392

Wang Xiao-Feng, Lu Cheng-Hao, Li Jin-Xiang, Liu Jun. Generalized cosine two-dimensional principal component analysis. Acta Automatica Sinica, 2022, 48(11): 2836−2851 doi: 10.16383/j.aas.c190392

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190392 

关键词

二维主成分分析，广义余弦模型，鲁棒性，范数，降维

摘要

主成分分析(Principal component analysis, PCA) 是一种广泛应用的特征提取与数据降维方法, 其目标函数采用L2范数距离度量方式, 对离群数据及噪声敏感. 而L1范数虽然能抑制离群数据的影响, 但其重构误差并不能得到有效控制. 针对上述问题, 综合考虑投影距离最大及重构误差较小的目标优化问题, 提出一种广义余弦模型的目标函数. 通过极大化矩阵行向量的投影距离与其可调幂的2范数之间的比值, 使得其在数据降维的同时提高了鲁棒性. 在此基础上提出广义余弦二维主成分分析(Generalized cosine two dimensional PCA, GC2DPCA), 给出了其迭代贪婪的求解算法, 并对其收敛性及正交性进行理论证明. 通过选择不同的可调幂参数, GC2DPCA可应用于广泛的含离群数据的鲁棒降维. 人工数据集及多个人脸数据集的实验结果表明, 本文算法在重构误差、相关性及分类率等性能方面均得到了提升, 具有较强的抗噪能力.

文章导读

伴随人工智能与模式识别的迅猛发展, 从海量高维数据中提取能够有效表征事物或现象本质属性的特征是一件十分有意义的工作. 主成分分析(Principal component analysis, PCA)[1]是一种常见的特征提取与数据降维方法, 其目标是利用一组新的正交基向量去描述原始高维数据, 且满足在投影后的子空间中数据方差最大, 从而使得由投影方向构成的低维特征空间能够较好体现原高维数据的空间结构信息. 随后, 针对二维图像矩阵的特征提取, 相继提出了二维主成分分析(Two-dimensional PCA, 2DPCA)[2]、双向二维主成分分析(Two-directional 2DPCA, (2D)2PCA)[3]、行列顺序二维主成分分析(Sequential row-column 2DPCA, RC-2DPCA)[4]和对角线主成分分析(Diagonal PCA, Diagonal-PCA)[5]. RC2DPCA和(2D)2PCA分别在行列两个方向上实现了数据降维, 而Diagonal-PCA在对角线上进一步保留了数据行列间的相关性. 近年来, 相关PCA研究已在人脸识别[6]、语音识别[7]、字符识别[8]及姿势识别[9]等众多领域得到广泛应用.

上述提及的PCA方法均采用欧氏距离的平方作为目标函数的距离度量方式, 对噪声、离群数据或其他扰动较为敏感, 重构误差很大, 使得实际投影方向偏离了真实的投影方向, 进而影响到算法的鲁棒性. 针对鲁棒特征提取研究, 主要有两个思路: 1)将高维数据P∈Rh×w分解成低秩结构矩阵A和含噪稀疏矩阵E, 考虑到优化模型的凸松弛问题, 得到优化模型min∥A∥∗+λ∥E∥1s.t.P=A+E, 其各种求解算法均需进行奇异值分解, 计算复杂度高. 在处理海量高维数据时, 其求解算法容易受到复杂度的制约[10-12]; 2)沿用PCA投影方差最大的思路, 在其目标函数中采用其他范数代替欧氏距离的平方进行距离度量, 使得算法具有鲁棒性.

L1范数被认为是基于投影距离进行鲁棒降维的最有效手段[13-14]. Kwak[15]提出了基于L1范数的PCA-L1方法, 试图在投影子空间中寻求基于L1范数的最大投影距离, 并采用了贪婪迭代求解算法, 相较于欧氏距离平方的度量方式, 该方法具有较强的鲁棒性. Nie等[16]提出了基于PCA-L1的非贪婪迭代求解算法, 且满足基于L1范数的目标函数最优. 针对L1范数在不同数据结构相关信息进行正则化时所遇到的稳定性问题, Lu等[17]提出了基于L1范数的自适应正则化的PCA-L1/AR方法, 同时考虑了鲁棒性及数据的相关性. Wang[18]和Li等[19]针对块主成分分析(Block PCA, BPCA)分别提出了基于L1范数的BPCA-L1方法的贪婪求解和非贪婪求解算法. 为了更有效表征数据空间结构, 如同将PCA扩展到2DPCA[2]一样, Li等[20]和Wang等[21]则将PCA-L1延伸到2DPCA-L1, 分别提出了2DPCA-L1的贪婪求解和非贪婪求解算法. Wang等[22]结合2DPCA-L1的鲁棒性和稀疏诱导回归模型, 提出了具有稀疏约束的2DPCA-L1-S方法. Pang等[23]和Zhao等[24]则进一步将PCA-L1推广到基于L1范数的鲁棒张量子空间学习. 考虑到L1范数和L2范数均为Lp范数的特例, 相继提出了PCA-Lp[25]、LpSPCA[26]和G2DPCA-Lp[27]. 所有的上述鲁棒降维方法均寻求在不同范数下样本投影距离最大的目标优化问题, 但其原始图像与重构图像之间的重构误差并未优化, 且失去了PCA和2DPCA原欧氏距离平方中L2范数的旋转方差属性.

为了更有效获得旋转方差属性, Li等[28]则用F范数替代2DPCA的平方F范数, 作为距离度量方式构建目标函数. 与现有2DPCA-L1相比, 基于F范数的2DPCA不仅对离群数据具有较强的鲁棒性, 还能很好揭示其旋转不变性的几何结构. Wang等[29]提出了F范数最小化的最优均值2DPCA(OMF-2DPCA), 空间属性维度的距离采用F范数度量, 而不同数据点求和则采用L1范数度量. 上述方法利用F范数度量重构误差[29]或者子空间下投影距离[28], 其重构误差最小并不等效于投影距离最大, 因此, 需考虑同时将重构误差与数据投影距离两者集成到目标函数中. 为此, Gao等[30]提出了Angle-2DPCA方法, 采用F范数作为目标函数的距离度量方式, 通过最小化重构误差与投影距离的比率获得最优的投影矩阵, 实现了在投影距离最大的基础上使其重构误差尽可能小. 但Angle-2DPCA直接针对数据矩阵进行降维, 忽略了矩阵行列之间的异常信息, 其鲁棒性受到了一定程度的限制.

本文借鉴前人研究成果, 提出一种基于广义余弦模型的二维主成分分析, 并给出其迭代贪婪的求解算法. 本文结构如下: 第1节对相关目标函数的优化问题进行分析, 给出了广义余弦模型的目标函数; 第2节提出GC2DPCA的求解算法并进行理论分析; 第3节在人工数据集及Yale、ORL及FERET人脸数据集上进行实验并加以分析; 第4节进行总结.

图 1  广义余弦模型

图 2  人工数据集的平均重构误差

图 6  哑噪声示例

本文提出了一种基于广义余弦模型的GC2DPCA及其贪婪求解算法. 广义余弦模型的引入使得样本中混入较多噪声数据时, 算法依然能够呈现较好的鲁棒性, 且其对于不同的遮盖噪声和哑噪声均具有一定的适应性. GC2DPCA算法求解过程简单、易实现, 理论层面证明了算法的收敛性及提取的主成分之间的正交性. 其次, 通过选择不同的S参数, 可应用于更广泛的含离群数据的鲁棒降维, 并在实验层面得到了S参数对算法的影响规律. 将GC2DPCA与PCA算法、PCA-L1算法、2DPCA算法、2DPCA-L1算法、2DPCA-L1 (non-greedy)算法及Angle-2DPCA算法在平均重构误差、相关性、分类率及时间复杂度等方面进行比较, 本文算法在人工数据集、Yale、ORL以及FERET人脸数据集上的实验结果均具有更优的性能. 然而, 本文的算法并不能实现样本的增量迭代求解, 将影响到算法的增量学习能力. 因此, 探索GC2DPCA算法的增量求解形式值得进一步研究.

作者简介

王肖锋

博士, 天津理工大学机械工程学院副教授. 2018年获得河北工业大学工学博士学位. 主要研究方向为发育机器人, 模式识别与机器学习. 本文通信作者. E-mail: wangxiaofeng@tjut.edu.cn

陆程昊

天津大学机械工程学院硕士研究生. 2019年获得天津理工大学机械电子工程学士学位. 主要研究方向为数据降维, 机器学习与机器人学. E-mail: chenghaolu_bit@163.com

郦金祥

天津理工大学机械工程学院硕士研究生. 2018年获得天津理工大学机械工程学士学位. 主要研究方向为数据降维, 机器学习与机器人学. E-mail: lijinxiang_go@163.com

刘军

博士, 天津理工大学机械工程学院教授. 2002获得日本名古屋大学工学博士学位. 主要研究方向为转子故障信号的特征提取与分类识别. E-mail: liujunjp@tjut.edu.cn