IEEEJAS的个人博客分享 http://blog.sciencenet.cn/u/IEEEJAS

博文

基于自注意力对抗的深度子空间聚类

已有 1145 次阅读 2022-4-27 09:43 |系统分类:博客资讯

引用本文


尹明, 吴浩杨, 谢胜利, 杨其宇. 基于自注意力对抗的深度子空间聚类. 自动化学报, 2022, 48(1): 271−281 doi: 10.16383/j.aas.c200302

Yin Ming, Wu Hao-Yang, Xie Sheng-Li, Yang Qi-Yu. Self-attention adversarial based deep subspace clustering. Acta Automatica Sinica, 2022, 48(1): 271−281 doi: 10.16383/j.aas.c200302

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200302?viewType=HTML


文章简介


关键词


子空间聚类, 生成对抗网络, 自注意力模型, 深度学习


摘   要


子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架. 近年来, 由于深度神经网络能够有效地挖掘出数据深层特征, 其研究倍受各国学者的关注. 深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示, 计算出数据集的相似度矩阵, 然后利用谱聚类获得数据的最终聚类结果. 然而, 现实数据存在维度过高、数据结构复杂等问题, 如何获得更鲁棒的数据表示, 改善聚类性能, 仍是一个挑战. 因此, 本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC). 利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束, 引导所学习的特征表示更具有鲁棒性, 从而提高聚类精度. 通过在多个数据集上的实验, 结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.


引   言


聚类作为无监督学习的技术, 是许多领域中常用的统计数据分析技术, 如图像分割、人脸识别、文本分析等. 给定一组数据, 聚类算法旨在将数据分成若干簇, 同一簇内的数据具有相似特征, 而不同簇的数据具有较大差异的特征, 通常衡量数据相似性可采用某种距离函数, 如欧氏距离、闵可夫斯基距离、信息熵等. 目前较流行的聚类方法有k均值(k-means)聚类、层次聚类、谱聚类等. 然而现实生活中存在高维数据, 单独使用以上方法聚类的效率极低, 并且在数据存在噪声干扰时结果也不够鲁棒.


近年来各国学者发现, 虽然高维数据的结构在整个数据空间很难聚类, 但高维数据的内在结构通常小于实际维度, 并且簇结构可能在某个子空间很容易被观测到[5]. 因此, 为了聚类高维数据, 子空间聚类(Subspace clustering, SC)假定高维空间可分成若干个低维子空间, 然后将这些低维子空间中提取的数据点分割成不同的簇. 子空间聚类目前主要有4大类: 迭代法、代数法、统计法、基于谱聚类的方法. 其中基于谱聚类的子空间聚类一经提出就受到了广泛的关注, 其基本思想是首先计算数据点间的相似性来构建相似度矩阵, 然后再采用谱聚类算法获得最终聚类结果. 其中最成功的两种子空间聚类算法为: 稀疏子空间聚类(Sparse subspace clustering, SSC)通过ℓ_0范数正则化迫使每个数据由用同一子空间的其他数据点尽可能稀疏地表示, 再利用表示系数构建相似度矩阵, 所得的相似度矩阵可捕捉到数据的局部结构; 低秩子空间聚类(Low-rank representation, LRR)通过核范数正则化来获得数据的最低秩表示, 这样获得的相似度矩阵具有数据的全局结构信息. 这两种算法都采用了数据“自表示”机制, 有效地刻画出数据的子空间结构.


另一方面, 随着神经网络的发展, 自动编码器(Autoencoders, AEs)成为流行的特征学习方法. 其通过编码器将原始数据编码成一个低维的编码, 然后再通过解码器把低维的编码重构回原始数据, 这个低维的编码数据可近视作原始数据的低维表示. 2006年, Hinton等对自动编码器进行改进提出深度自动编码器(Deep autoencoder, DAE), 相较于自动编码器, 由于加深了网络深度的DAE可获得更鲁棒的数据表示. 之后, Vincent等提出了去噪自动编码器(Denoising autoencoders, DAEs)通过在数据中加入噪声来进一步提高鲁棒性. 为了去掉数据的冗余信息, 获得稀疏的数据表示, Bengio等提出稀疏自动编码器(Sparse autoecoders, SAE). Masci等将编码器和解码器的全连接层网络替换为卷积神经网络提出堆叠卷积自动编码器(Stacked convolutional autoencoders, CAE)从而减少网络的参数量. 基于自动编码器网络在特征学习上的优势, 有研究者将其与聚类算法相结合: 例如, 深度嵌入聚类(Deep embedded Clusterng, DEC), 同时进行深度学习与聚类算法(Simultaneous deep learning and clustering, DCN), 深度连续聚类(Deep continuous clustering, DCC)以及Ren等提出基于深度密度的图像聚类算法(Deep density-based image clustering, DDC)和半监督深度嵌入聚类(Semi-supervised deep embedded clustering, SDEC)等.


在数据表示学习时, 我们可以加深网络深度学习更深层的表示, 但通常来说网络并不是越深越好, 由于AE网络深度过长导致一些信息丢失, 尤其是某个特定特征. 为了解决这一问题, 注意力模型(Attention model)被提出来. 其基本思想是模仿人类的注意力机制, 即人类会根据内部经验、外部感觉从一个庞大的信息快速聚焦于局部信息. 其计算可分为两步: 首先对输入信息计算注意力分布, 然后根据注意力分布计算输入信息的加权平均. 采用了自注意力机制的网络相较于其他特征学习网络, 会忽视无关的背景信息. 目前注意力模型主要包括软注意力模型(Soft attention model)、硬注意力模型(Hard attention model)、自注意力模型(Self-attention model)、局部注意力模型(Local attention model)和全局注意力模型(Global attention model)等.


深度学习另一个突破的进展为2014年Goodfellow等提出生成对抗网络(Generative adversarial networks, GAN), 由一个生成网络与一个判别网络组成, 通过让两个神经网络相互博弈的方式进行学习. 首先, 生成网络从潜在空间(Latent space)中随机采样作为输入, 其输出结果需要尽量模仿训练集里的真实样本. 而判别网络的输入则为真实样本或生成网络的输出, 其目的是将生成网络的输出从真实样本中尽可能分辨出来. 最终生成器生成的样本近似于真实样本. 近些年有学者发现生成对抗模型也可以在聚类分析上起到作用, Chen等提出的Info-GAN在原本的输入增加一个新的潜在编码(Latent code), 来控制生成结果, 当这个编码为离散编码时, 该算法具有聚类的作用. Mukherjee等提出ClusterGAN, 在Info-GAN的基础上增加一个编码器来对生成器生成的图像再进行编码来对输入的潜在编码进行约束, 从而获得更好的聚类性能. 值得注意的是, Makhzani在2016年将自动编码器和生成对抗网络相结合的对抗自动编码器(Adversarial autoencoders, AAE), 该算法在半监督分类和无监督聚类均有效果.


尽管上述方法在某种程度上提升了聚类精度, 但如何有效地挖掘数据内蕴的子空间结构, 获得更鲁棒的数据表示仍待进一步研究. 因此, 本文拟提出一种基于自注意力对抗机制的深度子空间聚类方法. 在包含“自表示”网络层的深度自动编码器网络中, 我们引入自注意力机制以捕捉重要特征信息, 而且利用对抗网络增强特征学习的鲁棒性. 由此, 学习到更鲁棒的数据子空间结构, 获得更优的聚类结果. 归纳而言, 本文的主要贡献为:


1) 提出一种利用对抗机制提升子空间聚类的算法, 使得编码器学习到的特征表示更具有鲁棒性;


2) 引入自注意力模型来解决聚类分析中特征学习的长距离依赖问题.


本文章节安排如下: 第1节描述了和基于自注意力对抗的子空间聚类相关的算法, 第2节描述基于自注意力对抗的子空间聚类的网络结构以及原理, 第3节通过在MNIST, Fashion-MNIST等数据集实验并分析, 第4节总结全文, 并提出进一步的研究方向.


10.16383-j.aas.c200302-Figure2.jpg

图 2  生成对抗网络结构图


10.16383-j.aas.c200302-Figure4.jpg

图 4  基于自注意力对抗的深度子空间聚类网络框架


作者简介


尹   明

广东工业大学自动化学院教授. 主要研究方向为图像处理, 模式识别, 计算机视觉, 机器学习.

E-mail: yiming@gdut.edu.cn


吴浩杨

广东工业大学自动化学院硕士研究生.主要研究方向为子空间学习, 深度聚类.

E-mail: tarkovskyfans@163.com


谢胜利

广东工业大学自动化学院教授, IEEE Fellow. 主要研究方向为盲信号处理, 生物医学信号处理.

E-mail: shlxie@gdut.edu.cn


杨其宇

广东工业大学自动化学院讲师. 主要研究方向为信号处理, 实时数据处理. 本文通信作者.

E-mail: yangqiyu@gdut.edu.cn


相关文章


[1]  周林, 平西建, 徐森, 张涛. 基于谱聚类的聚类集成算法. 自动化学报, 2012, 38(8): 1335-1342. doi: 10.3724/SP.J.1004.2012.01335

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.01335?viewType=HTML


[2]  王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃. 生成式对抗网络GAN的研究进展与展望. 自动化学报, 2017, 43(3): 321-332. doi: 10.16383/j.aas.2017.y000003

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.y000003?viewType=HTML


[3]  张泽辉, 富瑶, 高铁杠. 支持数据隐私保护的联邦深度神经网络模型研究. 自动化学报. doi: 10.16383/j.aas.c200236

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200236?viewType=HTML


[4]  胡铭菲, 左信, 刘建伟. 深度生成模型综述. 自动化学报, 2022, 48(1): 40-74. doi: 10.16383/j.aas.c190866

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190866?viewType=HTML


[5]  林文瑞, 丛爽. 基于深度学习LDAMP网络的量子状态估计. 自动化学报. doi: 10.16383/j.aas.c210156

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210156?viewType=HTML


[6]  林泓, 任硕, 杨益, 张杨忆. 融合自注意力机制和相对鉴别的无监督图像翻译. 自动化学报, 2021, 47(9): 2226-2237. doi: 10.16383/j.aas.c190074

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190074?viewType=HTML


[7]  赖轩, 曲延云, 谢源, 裴玉龙. 基于拓扑一致性对抗互学习的知识蒸馏. 自动化学报. doi: 10.16383/j.aas.200665

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.200665?viewType=HTML


[8]  蒋芸, 谭宁. 基于条件深度卷积生成对抗网络的视网膜血管分割. 自动化学报, 2021, 47(1): 136-147. doi: 10.16383/j.aas.c180285

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180285?viewType=HTML


[9]  刘建伟, 谢浩杰, 罗雄麟. 生成对抗网络在各领域应用研究进展. 自动化学报, 2020, 46(12): 2500-2536. doi: 10.16383/j.aas.c180831

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180831?viewType=HTML


[10]  胡旭光, 马大中, 郑君, 张化光, 王睿. 基于关联信息对抗学习的综合能源系统运行状态分析方法. 自动化学报, 2020, 46(9): 1783-1797. doi: 10.16383/j.aas.c200171

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200171?viewType=HTML


[11]  张宁, 王永成, 张欣, 徐东东. 基于深度学习的单幅图片超分辨率重构研究进展. 自动化学报, 2020, 46(12): 2479-2499. doi: 10.16383/j.aas.c190031

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190031?viewType=HTML


[12]  孔锐, 蔡佳纯, 黄钢. 基于生成对抗网络的对抗攻击防御模型. 自动化学报. doi: 10.16383/j.aas.2020.c200033

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2020.c200033?viewType=HTML


[13]  刘一敏, 蒋建国, 齐美彬, 刘皓, 周华捷. 融合生成对抗网络和姿态估计的视频行人再识别方法. 自动化学报, 2020, 46(3): 576-584. doi: 10.16383/j.aas.c180054

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180054?viewType=HTML


[14]  付晓, 沈远彤, 李宏伟, 程晓梅. 基于半监督编码生成对抗网络的图像分类模型. 自动化学报, 2020, 46(3): 531-539. doi: 10.16383/j.aas.c180212

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180212?viewType=HTML


[15]  赵树阳, 李建武. 基于生成对抗网络的低秩图像生成方法. 自动化学报, 2018, 44(5): 829-839. doi: 10.16383/j.aas.2018.c170473

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170473?viewType=HTML


[16]  张龙, 赵杰煜, 叶绪伦, 董伟. 协作式生成对抗网络. 自动化学报, 2018, 44(5): 804-810. doi: 10.16383/j.aas.2018.c170483

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170483?viewType=HTML


[17]  张一珂, 张鹏远, 颜永红. 基于对抗训练策略的语言模型数据增强技术. 自动化学报, 2018, 44(5): 891-900. doi: 10.16383/j.aas.2018.c170464

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170464?viewType=HTML


[18]  唐贤伦, 杜一铭, 刘雨微, 李佳歆, 马艺玮. 基于条件深度卷积生成对抗网络的图像识别方法. 自动化学报, 2018, 44(5): 855-864. doi: 10.16383/j.aas.2018.c170470

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170470?viewType=HTML


[19]  随婷婷, 王晓峰. 一种基于CLMF的深度卷积神经网络模型. 自动化学报, 2016, 42(6): 875-882. doi: 10.16383/j.aas.2016.c150741

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150741?viewType=HTML


[20]  刘展杰, 陈晓云. 局部子空间聚类. 自动化学报, 2016, 42(8): 1238-1247. doi: 10.16383/j.aas.2016.c150335

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150335?viewType=HTML


[21]  王卫卫, 李小平, 冯象初, 王斯琪. 稀疏子空间聚类综述. 自动化学报, 2015, 41(8): 1373-1384. doi: 10.16383/j.aas.2015.c140891

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c140891?viewType=HTML


[22]  王利, 高宪文, 王伟, 王琦. 基于模型的子空间聚类与时间段蚁群算法的合同生产批量调度方法. 自动化学报, 2014, 40(9): 1991-1997. doi: 10.3724/SP.J.1004.2014.01991

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.01991?viewType=HTML




https://blog.sciencenet.cn/blog-3291369-1335855.html

上一篇:【视频】北京大学喻俊志教授等:水下多机器人系统综述
下一篇:基于自适应LASSO先验的稀疏贝叶斯学习算法

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-7-7 11:55

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部