博文
知识堆叠降噪自编码器
|
引用本文
刘国梁, 余建波. 知识堆叠降噪自编码器. 自动化学报, 2022, 48(3): 774−786 doi: 10.16383/j.aas.c190375 Liu Guo-Liang, Yu Jian-Bo. Knowledge-based stacked denoising autoencoder. Acta Automatica Sinica, 2022, 48(3): 774−786 doi: 10.16383/j.aas.c190375 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190375?viewType=HTML 文章简介 关键词 深度学习, 堆叠降噪自编码器, 知识发现, 符号规则, 分类规则 摘 要 深度神经网络是具有复杂结构和多个非线性处理单元的模型, 广泛应用于计算机视觉、自然语言处理等领域. 但是, 深度神经网络存在不可解释这一致命缺陷, 即“黑箱问题”, 这使得深度学习在各个领域的应用仍然存在巨大的障碍. 本文提出了一种新的深度神经网络模型 —— 知识堆叠降噪自编码器(Knowledge-based stacked denoising autoencoder, KBSDAE). 尝试以一种逻辑语言的方式有效解释网络结构及内在运作机理, 同时确保逻辑规则可以进行深度推导. 进一步通过插入提取的规则到深度网络, 使KBSDAE不仅能自适应地构建深度网络模型并具有可解释和可视化特性, 而且有效地提高了模式识别性能. 大量的实验结果表明, 提取的规则不仅能够有效地表示深度网络, 还能够初始化网络结构以提高KBSDAE的特征学习性能、模型可解释性与可视化, 可应用性更强. 引 言 知识的表述和推理一直是人工智能的热点话题, 其中知识所代表的是数据特征与标签间存在的一般规律. 在人工智能发展早期, 符号规则用来表述知识并进行推理, 研究者企图通过这种方式来以人类的思维模式解释机器的结论, 而在这一过程中的规则定义为知识. 符号形式的优点在于可以通过推导对知识进行验证, 并且其规则推导过程都是可以理解的. 在大数据时代, 以连接主义为核心的神经网络相较于符号系统具有更好的适应性. 其中, 深度学习凭借其良好的特征学习性能近些年已经在各个领域得到了广泛应用. 通过深度学习得到的深度网络即为具有深度结构的神经网络. 在深度神经网络领域, Hinton等基于深度置信网络(Deep belief network, DBN)提出非监督贪心逐层训练算法, 为解决深层结构优化难题提供了解决办法, 并进一步提出了堆叠自动编码器(Stacked auto encoder, SAE). Lecun等提出了卷积神经网络(Convolutional neural networks, CNN), 利用空间相对关系以减少参数数目来提高反向传播算法的训练效果, 在图像识别方面应用前景广阔. 此外, 深度学习还出现了一些变形结构, 如堆叠降噪自编码器(Stacked denoising auto encoder, SDAE). 深度网络凭借其强大的学习能力广泛地应用于各个领域, 但同时也据有不可忽视的 “黑箱问题”, 即人类不能通过了解网络内部的结构和数值特性来得到数据特征和数据标签之间的关系, 这一问题从根本上限制了深度神经网络的发展. 近年来, 一些研究者开始探究如何将符号系统和神经网络相结合, 其中一部分人希望通过符号规则所表示的逻辑关系来解释网络内部的结构和数值特性, 另一部分希望将人类已知的知识通过符号系统传入神经网络以提高网络性能. Gallant最先提出了一种使用IF-THEN规则解释推理结论的神经网络专家系统. 其后Towell等提出基于知识的人工神经网络(Knowledge-based artificial neural network, KBANN), 利用MofN规则实现对神经网络的知识抽取和插入, 通过这种方式解释网络并增强网络性能. Garcez等在KBANN的基础上提出了 CILP (Connectionist inductive learning and logic programming)系统, 该系统将逻辑规则应用到初始化网络过程中, 使网络可以更好地学习数据和知识. Fernando 等在KBANN的基础上提出了INSS (Incremental neuro-symbolic system)系统, 成功利用包含实数的分类规则初始化人工神经网络. Setiono在前人的基础上从标准的三层前馈神经网络中抽取了IF-THEN规则, 该抽取算法最大的亮点在于将隐藏节点的激活值离散化. 袁静等尝试利用符号逻辑语言描述神经网络, 并通过激活强度从理论上帮助规则进行推导. 钱大群等根据神经网络节点的输出值建立约束并生成规则. 这种规则被用来解释神经网络的行为. 黎明等将模糊规则与神经网络相结合以提高模型的模式识别能力. 在深度学习上更进一步的研究中, Penning等提出神经符号认知代理模型(Neural-symbolic cognitive agent, NSCA), 试图将时间符号知识规则与RTRBM (Recurrent temporal restricted Boltzmann machine)结合实现在线学习. Odense等将受限玻尔兹曼机(Restricted Boltzmann machine, RBM)与MofN规则相结合. 深度置信网络(DBN)是由RBM堆叠形成的, 而这一研究的意义则在于这是对DBN网络进行模块化解释的主要基础, 也是对神经网络与符号结合的一种新思考. Tran等在NSCA的基础上将置信度规则与DBN相结合, 实现知识的抽取和插入. Li等通过将符号系统与神经网络相结合形成神经符号系统, 将符号主义与连接主义的优点集成, 形成新的推理学习模型. Garcez等提出了神经符号计算的概念, 其中知识以符号的形式表示, 而学习和推理由神经元计算. 通过这种方式将神经网络的鲁棒学习和有效推理与符号的可解释性相结合. 论文从知识的表示、提取、推理和学习方面进行讨论, 并分别对基于规则、基于公式和基于嵌入的神经符号计算方法进行了论述. 但是, 上文所提到的知识提取与插入方法通常在浅层神经网络模型实施, 对于深度神经网络模型的知识提取与插入有待深入展开. 本文提出了一种新的深度神经网络模型 —— 知识堆叠降噪自编码器 (Knowledge-based stacked denoising autoencoder, KBSDAE), 实现了符号系统与深度SDAE之间的有效集成, 解决了深度神经网络的知识发现, 特征提取与网络可视化问题. 本文的主要贡献如下: 1)提出了一种新的深度知识神经网络KBSDAE模型, 显著地提高了特征学习及模式识别性能; 2)提出了一种从深度网络发现知识的方法, 实现了深度网络可解释的目的; 3)有效地将符号规则与分类规则相结合, 获得了一种具有高推导性能的规则系统. 最后采用各类标杆数据验证了本文所提出方法的有效性与可应用性. 图 1 堆叠降噪自编码器工作原理示意图 图 2 KBSDAE模型结构图 图 7 不同DNA promoter数据量训练的SDAE与KBSDAE分类性能对比 图 8 不同Fine-tuning训练步数的SDAE与KBSDAE分类性能对比 作者简介 刘国梁 同济大学机械与能源工程学院硕士研究生. 2018年获上海大学机械工程及其自动化学院学士学位. 主要研究方向为机器学习, 深度学习, 智能质量管控. 本文通信作者. E-mail: guoliangliutt@163.com 余建波 同济大学机械与能源工程学院教授. 2009年获上海交通大学机械工程学院博士学位. 主要研究方向为机器学习, 深度学习, 智能质量管控, 过程控制, 视觉检测与识别. E-mail: jbyu@tongji.edu.cn 相关文章 [1] 钱大群, 孙振飞. 神经网络的知识获取与行为解释. 自动化学报, 1994, 20(3): 348-351 http://www.aas.net.cn/article/id/14101?viewType=HTML [2] 范家伟, 张如如, 陆萌, 何佳雯, 康霄阳, 柴文俊, 石珅达, 宋美娜, 鄂海红, 欧中洪. 深度学习方法在糖尿病视网膜病变诊断中的应用. 自动化学报, 2021, 47(5): 985-1004. doi: 10.16383/j.aas.c190069 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190069?viewType=HTML [3] 刘国梁, 余建波. 基于堆叠降噪自编码器的神经-符号模型及在晶圆表面缺陷识别. 自动化学报. doi: 10.16383/j.aas.c190857 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190857?viewType=HTML [4] 侯建华, 张国帅, 项俊. 基于深度学习的多目标跟踪关联模型设计. 自动化学报, 2020, 46(12): 2690-2700. doi: 10.16383/j.aas.c180528 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180528?viewType=HTML [5] 许玉格, 钟铭, 吴宗泽, 任志刚, 刘伟生. 基于深度学习的纹理布匹瑕疵检测方法. 自动化学报. doi: 10.16383/j.aas.c200148 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200148?viewType=HTML [6] 梁星星, 冯旸赫, 马扬, 程光权, 黄金才, 王琦, 周玉珍, 刘忠. 多Agent深度强化学习综述. 自动化学报, 2020, 46(12): 2537-2557. doi: 10.16383/j.aas.c180372 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180372?viewType=HTML [7] 付晓, 沈远彤, 李宏伟, 程晓梅. 基于半监督编码生成对抗网络的图像分类模型. 自动化学报, 2020, 46(3): 531-539. doi: 10.16383/j.aas.c180212 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180212?viewType=HTML [8] 林金花, 姚禹, 王莹. 基于深度图及分离池化技术的场景复原及语义分类网络. 自动化学报, 2019, 45(11): 2178-2186. doi: 10.16383/j.aas.2018.c170439 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170439?viewType=HTML [9] 张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望. 自动化学报, 2018, 44(6): 961-977. doi: 10.16383/j.aas.2018.c170190 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170190?viewType=HTML [10] 吴志勇, 丁香乾, 许晓伟, 鞠传香. 基于深度学习和模糊C均值的心电信号分类方法. 自动化学报, 2018, 44(10): 1913-1920. doi: 10.16383/j.aas.2018.c170417 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170417?viewType=HTML [11] 陈伟宏, 安吉尧, 李仁发, 李万里. 深度学习认知计算综述. 自动化学报, 2017, 43(11): 1886-1897. doi: 10.16383/j.aas.2017.c160690 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160690?viewType=HTML [12] 罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述. 自动化学报, 2017, 43(8): 1306-1318. doi: 10.16383/j.aas.2017.c160425 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160425?viewType=HTML [13] 段艳杰, 吕宜生, 张杰, 赵学亮, 王飞跃. 深度学习在控制领域的研究现状与展望. 自动化学报, 2016, 42(5): 643-654. doi: 10.16383/j.aas.2016.c160019 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c160019?viewType=HTML [14] 郭潇逍, 李程, 梅俏竹. 深度学习在游戏中的应用. 自动化学报, 2016, 42(5): 676-684. doi: 10.16383/j.aas.2016.y000002 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.y000002?viewType=HTML [15] 刘康, 张元哲, 纪国良, 来斯惟, 赵军. 基于表示学习的知识库问答研究进展与展望. 自动化学报, 2016, 42(6): 807-818. doi: 10.16383/j.aas.2016.c150674 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150674?viewType=HTML [16] 耿杰, 范剑超, 初佳兰, 王洪玉. 基于深度协同稀疏编码网络的海洋浮筏SAR图像目标识别. 自动化学报, 2016, 42(4): 593-604. doi: 10.16383/j.aas.2016.c150425 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150425?viewType=HTML [17] 唐朝辉, 朱清新, 洪朝群, 祝峰. 基于自编码器及超图学习的多标签特征提取. 自动化学报, 2016, 42(7): 1014-1021. doi: 10.16383/j.aas.2016.c150736 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150736?viewType=HTML [18] 邱桃荣, 刘清, 黄厚宽. 关系数据库中知识发现的一种粒计算方法. 自动化学报, 2009, 35(8): 1071-1079. doi: 10.3724/SP.J.1004.2009.01071 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2009.01071?viewType=HTML [19] 杨炳儒, 李晋宏, 宋威, 李欣. 面向复杂系统的知识发现过程模型KD(D&K)及其应用. 自动化学报, 2007, 33(2): 151-155. doi: 10.1360/aas-007-0151 http://www.aas.net.cn/cn/article/doi/10.1360/aas-007-0151?viewType=HTML [20] 郑斌祥, 席裕庚, 杜秀华. 基于离群指数的时序数据离群挖掘. 自动化学报, 2004, 30(1): 70-77. http://www.aas.net.cn/cn/article/id/16349?viewType=HTML [21] 洪家荣. 知识发现的理论及其实现. 自动化学报, 1993, 19(6): 663-669. http://www.aas.net.cn/cn/article/id/14185?viewType=HTML 
https://blog.sciencenet.cn/blog-3291369-1330380.html
上一篇：【热点综述】水下多机器人系统
下一篇：基于非凸复合函数的稀疏信号恢复算法
