NJU1healer的个人博客分享 http://blog.sciencenet.cn/u/NJU1healer

博文

Logistic Regression(逻辑斯蒂回归)(续)

已有 2312 次阅读 2020-5-4 19:21 |个人分类:机器学习|系统分类:科研笔记

image.png


image.png

如何求解和优化(优化方法)--使经验误差最小的值?

image.png


方法一:随机梯度下降法

image.png

image.png

image.png

image.png

方法二:牛顿法(二阶优化方法

image.png

凸优化问题:刚开始步子迈大一点,后来小一点,自适应去调整,比随机梯度速度更快。

image.png

image.png

     eta的本质:移动步长

image.png

缺点收敛性不好保证,可学习其思维。


方法延伸:加入正则项

image.png


       点滴分享,福泽你我!Add oil!



https://blog.sciencenet.cn/blog-3428464-1231597.html

上一篇:概率论和统计学的区别
下一篇:决策树
收藏 IP: 118.74.90.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

全部作者的其他最新博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-9 07:12

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部