NJU1healer的个人博客分享 http://blog.sciencenet.cn/u/NJU1healer

博文

[转载]神经网络梯度消失与梯度爆炸问题

已有 2849 次阅读 2020-8-23 23:48 |个人分类:机器学习|系统分类:科研笔记|文章来源:转载

见博客:https://www.cnblogs.com/pinking/p/9418280.html

对于梯度消失和梯度爆炸的理解

一、梯度消失、梯度爆炸产生的原因

   说白了,对于1.1 1.2,其实就是矩阵的高次幂导致的。在多层神经网络中,影响因素主要是权值和激活函数的偏导数。

1.1 前馈网络

  假设存在一个网络结构如图:

  其表达式为:

 

  若要对于w1求梯度,根据链式求导法则,得到的解为:

 

  通常,若使用的激活函数为sigmoid函数,其导数:

  这样可以看到,如果我们使用标准化初始w,那么各个层次的相乘都是0-1之间的小数,而激活函数f的导数也是0-1之间的数,其连乘后,结果会变的很小,导致梯度消失。若我们初始化的w是很大的数,w大到乘以激活函数的导数都大于1,那么连乘后,可能会导致求导的结果很大,形成梯度爆炸

   当然,若对于b求偏导的话,其实也是一个道理:

  推出:

1.2 RNN

  对于RNN的梯度下降方法,是一种基于时间的反向求导算法(BPTT),RNN的表达式:

  通常我们会将一个完整的句子序列视作一个训练样本,因此总误差即为各时间步(单词)的误差之和。

  而RNN还存在一个权值共享的问题,即这几个w都是一个,假设,存在一个反复与w相乘的路径,t步后,得到向量:

  若特征值大于1,则会出现梯度爆炸,若特征值小于1,则会出现梯度消失。因此在一定程度上,RNN对比BP更容易出现梯度问题。主要是因为RNN处理时间步长一旦长了,W求导的路径也变的很长,即使RNN深度不大,也会比较深的BP神经网络的链式求导的过程长很大;另外,对于共享权值w,不同的wi相乘也在一定程度上可以避免梯度问题。

 1.3 悬崖和梯度爆炸

  对于目标函数,通常存在梯度变化很大的一个“悬崖”,在此处求梯度,很容易导致求解不稳定的梯度爆炸现象。

 

  二、梯度消失和梯度爆炸哪种经常出现

  事实上,梯度消失更容易出现,因为对于激活函数的求导:

  可以看到,当w越大,其wx+b很可能变的很大,而根据上面sigmoid函数导数的图像可以看到,wx+b越大,导数的值也会变的很小。因此,若要出现梯度爆炸,其w既要大还要保证激活函数的导数不要太小。

 

、如何解决梯度消失、梯度爆炸

  1、对于RNN,可以通过梯度截断,避免梯度爆炸

  2、可以通过添加正则项,避免梯度爆炸

  3、使用LSTM等自循环和门控制机制,避免梯度消失,参考:https://www.cnblogs.com/pinking/p/9362966.html

  4、优化激活函数,譬如将sigmold改为relu,避免梯度消失

参考博客:

https://www.cnblogs.com/pinking/p/9418280.html

https://www.jianshu.com/p/3f35e555d5ba



https://blog.sciencenet.cn/blog-3428464-1247594.html

上一篇:Python中OrderedDic与sorted和lambda函数结合使用
下一篇:Python中算数运算符之注意及np.logspace
收藏 IP: 211.162.81.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

全部作者的其他最新博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-25 18:26

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部