xi123的个人博客分享 http://blog.sciencenet.cn/u/xi123

博文

机器学习之logistic

已有 1506 次阅读 2018-3-12 10:08 |个人分类:机器学习|系统分类:科研笔记


原理:二项logistic回归模型是由条件概率分布P(X|Y)表示,形式为参数化的logistic分布(实际上是一个sigmoid函数)。通过监督学习的方式来估计模型参数。然后比较两个条件概率的大小,将样本分到概率值较大的那一类。


logistic模型的特点:一个事件的几率是指该事件发生的概率与该事件不发生概率的比值,如果时间发生的概率为p,则该事件的几率为p/(1-p),该事件的对数几率为log(p/(1-p)).在logistic回归模型中,输出Y=1的对数几率是输入x的线性函数,即输出Y=1的对数几率是有输入x的线性函数表示的模型,也就是logistic模型。


模型参数估计:应用极大似然估计模型参数,使用梯度下降的方法进行学习。使用随机梯度下降占用更少的资源,随机梯度下降是一个在线算法,它可以在新数据到来时就完成参数更新,而不需要读取整个数据集来进行批处理运算。


优点:计算代价不高,易于理解和实现;

缺点:容易欠拟合,分类精度可能不高;



https://blog.sciencenet.cn/blog-3360373-1103466.html

上一篇:机器学习之朴素贝叶斯
下一篇:机器学习之SVM
收藏 IP: 124.16.148.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-20 00:21

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部