||
如何求解和优化(优化方法)--使经验误差最小的值?
方法一:随机梯度下降法
方法二:牛顿法(二阶优化方法)
凸优化问题:刚开始步子迈大一点,后来小一点,自适应去调整,比随机梯度速度更快。
eta的本质:移动步长
缺点:收敛性不好保证,可学习其思维。
方法延伸:加入正则项
点滴分享,福泽你我!Add oil!
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-9 07:12
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社