博文
Coursera: Neural Networks for ML- Lecture 8
|||
Hessian Free Optimization(optional)
ICML_2010_Deep learning via Hessian-free optimization 
这一章的内容属于可选章节，因为hessian free这个东西很数学化了，不一定要完全理解，完全属于了解一下，以后如果需要可以深入研究。
首先了解一下什么叫hessian矩阵，其实Jacobian矩阵就是 一阶导数矩阵，其目的很明显，就是求曲线的极值点，而hessian矩阵就是二阶偏导矩阵，它的motivation就是，二阶导数的零点就是一阶导数的极值点，比如在信号处理中，一阶导数的极值点说明信号变换最剧烈，它描述的其实是变化程度。具体的还是得google吧，网上资料很多。
1. A brief overview of Hessian Free Optimization
问题描述：如果一个误差平面是椭圆的，那么事实上最好的减小误差的方向并不是梯度方向，而在于梯度和曲率的比例。
接下来Hinton讲解了一个RNN运用HF方法在language model上的一个例子，其中还讲到了multiplicative connection和echo state network这两个trick，因为我是做图像的，所以对language model不熟悉，所以就不细看了，毕竟本来实力就不足，还是术业有专攻比较好，有希望了解的请自己看coursera上的视频吧。
https://blog.sciencenet.cn/blog-1583812-815062.html
上一篇：Coursera: Neural Networks for ML- Lecture 7
下一篇：Coursera: Neural Networks for ML- Lecture 9
扫一扫，分享此博文