尹明, 吴浩杨, 谢胜利, 杨其宇. 基于自注意力对抗的深度子空间聚类. 自动化学报, 2022, 48(1): 271−281 doi: 10.16383/j.aas.c200302

Yin Ming, Wu Hao-Yang, Xie Sheng-Li, Yang Qi-Yu. Self-attention adversarial based deep subspace clustering. Acta Automatica Sinica, 2022, 48(1): 271−281 doi: 10.16383/j.aas.c200302

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200302?viewType=HTML

子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架. 近年来, 由于深度神经网络能够有效地挖掘出数据深层特征, 其研究倍受各国学者的关注. 深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示, 计算出数据集的相似度矩阵, 然后利用谱聚类获得数据的最终聚类结果. 然而, 现实数据存在维度过高、数据结构复杂等问题, 如何获得更鲁棒的数据表示, 改善聚类性能, 仍是一个挑战. 因此, 本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC). 利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束, 引导所学习的特征表示更具有鲁棒性, 从而提高聚类精度. 通过在多个数据集上的实验, 结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.

聚类作为无监督学习的技术, 是许多领域中常用的统计数据分析技术, 如图像分割、人脸识别、文本分析等. 给定一组数据, 聚类算法旨在将数据分成若干簇, 同一簇内的数据具有相似特征, 而不同簇的数据具有较大差异的特征, 通常衡量数据相似性可采用某种距离函数, 如欧氏距离、闵可夫斯基距离、信息熵等. 目前较流行的聚类方法有k均值(k-means)聚类、层次聚类、谱聚类等. 然而现实生活中存在高维数据, 单独使用以上方法聚类的效率极低, 并且在数据存在噪声干扰时结果也不够鲁棒.

近年来各国学者发现, 虽然高维数据的结构在整个数据空间很难聚类, 但高维数据的内在结构通常小于实际维度, 并且簇结构可能在某个子空间很容易被观测到[5]. 因此, 为了聚类高维数据, 子空间聚类(Subspace clustering, SC)假定高维空间可分成若干个低维子空间, 然后将这些低维子空间中提取的数据点分割成不同的簇. 子空间聚类目前主要有4大类: 迭代法、代数法、统计法、基于谱聚类的方法. 其中基于谱聚类的子空间聚类一经提出就受到了广泛的关注, 其基本思想是首先计算数据点间的相似性来构建相似度矩阵, 然后再采用谱聚类算法获得最终聚类结果. 其中最成功的两种子空间聚类算法为: 稀疏子空间聚类(Sparse subspace clustering, SSC)通过ℓ_0范数正则化迫使每个数据由用同一子空间的其他数据点尽可能稀疏地表示, 再利用表示系数构建相似度矩阵, 所得的相似度矩阵可捕捉到数据的局部结构; 低秩子空间聚类(Low-rank representation, LRR)通过核范数正则化来获得数据的最低秩表示, 这样获得的相似度矩阵具有数据的全局结构信息. 这两种算法都采用了数据“自表示”机制, 有效地刻画出数据的子空间结构.

另一方面, 随着神经网络的发展, 自动编码器(Autoencoders, AEs)成为流行的特征学习方法. 其通过编码器将原始数据编码成一个低维的编码, 然后再通过解码器把低维的编码重构回原始数据, 这个低维的编码数据可近视作原始数据的低维表示. 2006年, Hinton等对自动编码器进行改进提出深度自动编码器(Deep autoencoder, DAE), 相较于自动编码器, 由于加深了网络深度的DAE可获得更鲁棒的数据表示. 之后, Vincent等提出了去噪自动编码器(Denoising autoencoders, DAEs)通过在数据中加入噪声来进一步提高鲁棒性. 为了去掉数据的冗余信息, 获得稀疏的数据表示, Bengio等提出稀疏自动编码器(Sparse autoecoders, SAE). Masci等将编码器和解码器的全连接层网络替换为卷积神经网络提出堆叠卷积自动编码器(Stacked convolutional autoencoders, CAE)从而减少网络的参数量. 基于自动编码器网络在特征学习上的优势, 有研究者将其与聚类算法相结合: 例如, 深度嵌入聚类(Deep embedded Clusterng, DEC), 同时进行深度学习与聚类算法(Simultaneous deep learning and clustering, DCN), 深度连续聚类(Deep continuous clustering, DCC)以及Ren等提出基于深度密度的图像聚类算法(Deep density-based image clustering, DDC)和半监督深度嵌入聚类(Semi-supervised deep embedded clustering, SDEC)等.

在数据表示学习时, 我们可以加深网络深度学习更深层的表示, 但通常来说网络并不是越深越好, 由于AE网络深度过长导致一些信息丢失, 尤其是某个特定特征. 为了解决这一问题, 注意力模型(Attention model)被提出来. 其基本思想是模仿人类的注意力机制, 即人类会根据内部经验、外部感觉从一个庞大的信息快速聚焦于局部信息. 其计算可分为两步: 首先对输入信息计算注意力分布, 然后根据注意力分布计算输入信息的加权平均. 采用了自注意力机制的网络相较于其他特征学习网络, 会忽视无关的背景信息. 目前注意力模型主要包括软注意力模型(Soft attention model)、硬注意力模型(Hard attention model)、自注意力模型(Self-attention model)、局部注意力模型(Local attention model)和全局注意力模型(Global attention model)等.

深度学习另一个突破的进展为2014年Goodfellow等提出生成对抗网络(Generative adversarial networks, GAN), 由一个生成网络与一个判别网络组成, 通过让两个神经网络相互博弈的方式进行学习. 首先, 生成网络从潜在空间(Latent space)中随机采样作为输入, 其输出结果需要尽量模仿训练集里的真实样本. 而判别网络的输入则为真实样本或生成网络的输出, 其目的是将生成网络的输出从真实样本中尽可能分辨出来. 最终生成器生成的样本近似于真实样本. 近些年有学者发现生成对抗模型也可以在聚类分析上起到作用, Chen等提出的Info-GAN在原本的输入增加一个新的潜在编码(Latent code), 来控制生成结果, 当这个编码为离散编码时, 该算法具有聚类的作用. Mukherjee等提出ClusterGAN, 在Info-GAN的基础上增加一个编码器来对生成器生成的图像再进行编码来对输入的潜在编码进行约束, 从而获得更好的聚类性能. 值得注意的是, Makhzani在2016年将自动编码器和生成对抗网络相结合的对抗自动编码器(Adversarial autoencoders, AAE), 该算法在半监督分类和无监督聚类均有效果.

尽管上述方法在某种程度上提升了聚类精度, 但如何有效地挖掘数据内蕴的子空间结构, 获得更鲁棒的数据表示仍待进一步研究. 因此, 本文拟提出一种基于自注意力对抗机制的深度子空间聚类方法. 在包含“自表示”网络层的深度自动编码器网络中, 我们引入自注意力机制以捕捉重要特征信息, 而且利用对抗网络增强特征学习的鲁棒性. 由此, 学习到更鲁棒的数据子空间结构, 获得更优的聚类结果. 归纳而言, 本文的主要贡献为:

1) 提出一种利用对抗机制提升子空间聚类的算法, 使得编码器学习到的特征表示更具有鲁棒性;

2) 引入自注意力模型来解决聚类分析中特征学习的长距离依赖问题.

本文章节安排如下: 第1节描述了和基于自注意力对抗的子空间聚类相关的算法, 第2节描述基于自注意力对抗的子空间聚类的网络结构以及原理, 第3节通过在MNIST, Fashion-MNIST等数据集实验并分析, 第4节总结全文, 并提出进一步的研究方向.

图 2  生成对抗网络结构图

图 4  基于自注意力对抗的深度子空间聚类网络框架