博文
乔俊飞, 贾庆山等：深度信念网络研究现状与展望
|
深度信念网络是指一种概率生成模型, 其分层学习机理克服了传统梯度算法在处理深层结构所面临的梯度消失问题, 近几年来已成为深度学习领域的研究热点之一。
王功明, 乔俊飞, 关丽娜, 贾庆山.深度信念网络研究现状与展望.自动化学报, 2021, 47(1): 35-49 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190102?viewType=HTML 近年来，深度信念网络的结构设计问题引起了众多学者的关注。著名深度学习专家Bengio曾提出一个令人深思的问题, 该问题原文描述为：“Is there a depth that is mostly sufficient for the computations necessary to approach human-level performance of AI tasks?”。然而，由于深度信念网络的结构复杂和参数多样化，其结构设计注定是一个充满挑战的问题，往往面临诸多困难。例如： 1）基于规则的结构动态设计方法可解释性差，不具有普遍性； 2）深层结构含有大量的超参数，结构设计需要首先解决超参数赋值问题； 3）由于隐含层神经元间的双向连接特性，计算复杂度是制约结构设计的最大因素。 面对这些问题，深度信念网络的研究逐渐形成了以问题为导向的发展模式，即根据实际需求，最大化某种特征或功能。因此，本文： 1）介绍了深度信念网络的基本模型结构以及其标准的学习框架, 并分析了深度信念网络与其他深度结构的关系与区别； 2）分别介绍了深度信念网络的固定结构、稀疏结构、自组织结构、增量式结构、递归结构等不同结构学习模式的研究进展及成果； 3）分别介绍了深度信念网络的无监督学习和有监督学习变种算法的研究进展及成果； 4）总结并分析了深度信念网络今后的发展趋势及未来研究方向。 作者简介 王功明 清华大学自动化系智能与网络化系统研究中心博士后. 主要研究方向为深度学习, 神经网络结构设计与优化控制.本文通信作者. E-mail: wanggm@tsinghua.edu.cn 乔俊飞 北京工业大学信息学部人工智能与自动化学院教授. 主要研究方向为污水处理过程智能控制, 神经网络结构设计与分析. E-mail: junfeiq@bjut.edu.cn 关丽娜 北京工业大学信息学部人工智能与自动化学院博士研究生.主要研究方向为双曲系统稳定性分析及鲁棒控制. E-mail: guanlina@emails.bjut.edu.cn 贾庆山 清华大学自动化系智能与网络化系统研究中心副教授。主要研究方向为网络化信息物理融合能源系统的优化理论与方法，特别在序优化及事件驱动优化的理论、方法与应用方面做出了贡献. E-mail: jiaqs@tsinghua.edu.cn
https://blog.sciencenet.cn/blog-3291369-1273993.html
上一篇：【当期目录】IEEE/CAA JAS 第8卷 第2期
下一篇：王永利, 孙建红等：基于字典学习和拓展联合动态稀疏表示的SAR目标识别
