引用本文

杜柏阳, 孔祥玉, 罗家宇. 主成分提取信息准则的加权规则. 自动化学报, 2021, 47(12): 2815−2822 doi: 10.16383/j.aas.c190226

Du Bo-Yang, Kong Xiang-Yu, Luo Jia-Yu. Weighted rules for principal components extraction information criteria. Acta Automatica Sinica, 2021, 47(12): 2815−2822 doi: 10.16383/j.aas.c190226

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190226

关键词

主子空间提取算法, 加权规则, 并行主成分分析, 信息准则 

摘要

并行主成分提取算法在信号特征提取中具有十分重要的作用, 采用加权规则将主子空间(Principal subspace, PS)提取算法转变为并行主成分提取算法是很有效的方式, 但研究加权规则对状态矩阵影响的理论分析非常少. 对加权规则影响的分析不仅可以提供加权规则下的主成分提取算法动力学的详细认知, 而且对于其他子空间跟踪算法转变为并行主成分提取算法的可实现性给出判断条件. 本文通过比较Oja的主子空间跟踪算法和加权Oja并行主成分提取算法, 通过两种算法的差异分析了加权规则对算法提取矩阵方向的影响. 首先, 针对二维输入信号, 研究了提取两个主成分时加权规则的信息准则对状态矩阵方向的作用方式. 进而, 针对大于二维输入信号的情况, 给出加权规则影响多个主成分提取方式的讨论. 最后, MATLAB仿真验证了所提出理论的有效性.

文章导读

在信息处理领域, 主成分分析(Principal component analysis, PCA)又称为KL变换(Karhunen-Loéve transform), 广泛应用于信号压缩[1]、模式识别[2]、图像处理[3]、噪声估计[4]、神经网络建模[5]等问题. 通常, 主成分(Principal component, PC)可以通过求解自相关矩阵的特征分解求得, 具体是指自相关矩阵中前个最大特征值对应的特征向量. 由这些特征向量张成的特征子空间被称为主子空间(Principal subspace, PS).

当前, 在大量跟踪输入信号主成分主子空间的算法中, 神经网络算法因为计算复杂度低等多种优良的性能而引起许多学者的兴趣[6]. 学者们提出大量的神经网络学习算法, 用于提取主成分或者跟踪主子空间. 例如, 建立在启发推理机制上的Oja主子空间跟踪算法[7]、对称误差校正算法[8], 以及建立在信息准则基础上的最小均方误差重构(Least mean square error reconstruction, LMSER) 算法[9]、投影近似子空间跟踪(Projection approximation subspace tracking, PAST)算法[10].

早期的算法结构简单, 但是在自稳定性、平滑性以及鲁棒性等方面还有待于优化. 针对这些问题, Kong等[11]提出了双目的的自稳定主成分提取神经网络算法, Kakimoto等[12]提出了基于最小噪声准则的平滑自适应特征提取方法, Ouyang等[13]提出了递归的鲁棒主成分分析算法. 不仅如此, 算法提取的对象还扩展到信号次成分[14]和广义特征成分[15]. 通过研究这些算法, 可以知道提取信号多个成分和跟踪信号子空间的算法虽然实现提取的对象不同, 但是在算法的原理上存在一定程度的关联. 以主成分提取算法为例分析, 多个主成分提取算法和主子空间跟踪算法都能够退化为单一主成分的提取算法, 这反映出两个类型的算法具有某种相同的基本特性. 反过来, 如果存在一个能够提取单个主成分的提取算法, 是否能遵循一定的原理或者规律, 使得该算法能够转化为提取多个主成分或者跟踪主子空间的算法？这个问题的解答对灵活转换各种先进的成分提取算法, 增加人们对提取算法本质和多种性质的理解具有十分重要的意义.

多个主成分可以张成一个主子空间, 因而通常认为多个主成分的提取算法是主子空间跟踪算法的进步. 一般而言, 多个主成分的提取算法的提出方式有两种. 一种是根据实际需求直接提出一种新的信息准则, 通过推导信息准则的梯度函数得出对应的提取算法; 另一种是在已有的主子空间跟踪算法的基础上, 引入加权规则, 使得转变后的算法能够提取多个主成分. Tanaka[16]通过研究多个主成分提取算法的广义加权规则, 分析出广义加权规则的参数对提取算法的收敛速度有影响. 加权规则的参数变化会引起算法的性质变化. 当参数的取值沿着实数轴负方向变化时, 加权矩阵则逐渐近似为单位阵, 算法的提取能力逐渐由多个主成分提取退化为主子空间跟踪.

实际上, 有的主子空间提取算法在使用加权规则后可以转化为多个主成分的提取算法, 而有的算法则不具有这种能力. 主子空间的组成向量与主成分之间的夹角能够说明主子空间与主成分的偏离程度. 有的主子空间跟踪算法能够转化为多个主成分提取算法, 原因在于这些跟踪算法在运行过程中能够减小夹角的大小. 而本质上, 确定这个夹角关系的是信息准则, 信息准则函数在算法对信息的归类方式、算法提取信息的方式等具有非直接的规定. 因此, 在信息准则的角度分析加权规则对主子空间跟踪算法和多个主成分提取算法的作用能够反映算法的一些本质特性.

本文主要针对加权规则对主成分提取算法的信息准则的作用进行分析, 以Oja主子空间跟踪算法为例, 通过构建提取算法的动力学表达, 对比存在和缺失加权规则下的主子空间跟踪信息准则, 挖掘出信息准则对状态矩阵与主成分的方向夹角的梯度差异.

图 9  原始和重建的Lena图像

本文通过分析Oja信息准则和加权Oja信息准则的差异, 推导出加权规则能够改变状态矩阵和信号主成分的旋转矩阵梯度的结论. 一方面这对于其他主子空间跟踪算法的转变提供了理论支撑, 提高在信息准则层次影响算法性能的认识; 另一方面, 对于不能通过加权规则转化为多个主成分提取算法的主子空间跟踪算法, 本文也给出转变的基本思路. 研究为推进未来并行提取多个主成分分析算法发展提供了研究思路和转变方向, 最后通过数值实例仿真验证了理论的有效性.

作者简介

杜柏阳

西安高科技研究所博士, 96901部队助理研究员. 主要研究方向为信号特征提取. E-mail: duboyangepgc@163.com

孔祥玉

西安高科技研究所副教授. 2004年获得西安交通大学博士学位. 主要研究方向为多元信号分析, 信号处理. 本文通信作者. E-mail: xiangyukong01@163.com

罗家宇

西安高科技研究所硕士研究生. 2017年获得湖南大学学士学位. 主要研究方向为偏最小二乘分析. E-mail: luojiayuepgc@163.com