||
Logistic Regression是统计学中的经典分类方法(给出的结果是概率性的,没有是或否);最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型(maximum entropy model)。Logistic Regression 和 maximum entropy model 都属于对数线性模型。
(一)基本框架和概念
本质:Logistic Regression把不确定引入线性分类器。
(二)机器学习框架:
(三)Logistic Regression模型架构
(处理灰色地带)
(1)Sigmoid Function(一维形式)
(2)maximum entropy model
Logistic Regression模型回归假设具有普适性,是线性模型中使用最广泛的模型之一,最好用的线性分类器。
关于最大熵的详细介绍和具体理解,推荐参考以下三篇博文:
① 最大熵模型中的数学推导 ②图解最大熵原理 ③关于最大熵的理解
模型推导过程中所涉及到拉格朗日乘数法(见《微积分》6.6 二元函数极值)和 极大似然估计法(见《概率论与数理统计》7.1.2 极大似然估计法)。
(3)Sigmoid Function(二维形式)
(4)逻辑斯蒂回归结构图
(5)求解逻辑斯蒂的代价函数(或目标函数)
需要用的极大似然函数去求解,对于似然函数与极大似然的估计,推荐参考以下博文:
③似然函数(likelihood)、最大似然函数、最小二乘解(√)
④什么是似然函数(Likelihood function)? (√)
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-1 14:42
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社