NJU1healer的个人博客分享 http://blog.sciencenet.cn/u/NJU1healer

博文

理解判别模型与生成模型

已有 2283 次阅读 2021-4-22 14:01 |个人分类:机器学习|系统分类:科研笔记

       在机器学习中,模型可以分为两种:判别模型生成模型。两者的区别在于找到决策边界的过程不同:

image.png

       下面就来进一步解释下其中的细节。

1 垃圾邮件分类数据集

       垃圾邮件分类是机器学习中常用的例子,本文以此为例来进行讲解:


image.png

       这里为了简化问题,我们用作例子的垃圾邮件分类数据集中只包含一个特征,就是邮件正文的长度。普通邮件用正类image.png 来表示,垃圾邮件用负类image.png  来表示:

image.png

       从上图可以看出,垃圾邮件(也就是负类image.png)的正文更长,可能是因为其中有很多推销的信息吧。

2 判别模型的决策边界

       先来看看判别模型如何进行垃圾邮件分类。比如感知机模型就是一种判别模型,它的算法是尽可能找到犯错最少的位置作为决策边界。在垃圾邮件分类数据集上,下面两条虚线都只犯了一个错(图中的黑色虚线表示决策边界,周围的红色和蓝色虚线指出哪侧是正类image.png  ,哪侧是负类image.png  ),也都是犯错最少的,所以可以任选其一作为决策边界:


image.png

       除了感知机外,逻辑回归、支持向量机这些也是判别模型,只是对错误的定义不一样:

image.png

       这三者的共同点就是都是通过数据集,尽可能找到犯错最少的位置(也就是“经验误差最小原则”)作为决策边界: 

image.png

       因为是通过判别错误来得到决策边界的,所以都称为 判别模型(Discriminative model)

3 生成模型的决策边界


       其实还有另外一种思考方向,比如我们猜测正、负类都分别符合某正态分布,那么根据数据集可以算出这两个分布的参数 image.png 和image.png  ,从而可以得到各自分布的曲线,也就是下图中的红色、蓝色曲线:
image.png
       就上图而言,可以将这两个分布的交点作为边界(这里有很多细节,我们后面再讨论),这是因为当某点出现在决策边界左侧时,根据正、负类的正态分布,该点为正类的概率更大;同理在右侧的话,为负类的概率更大。比如下图中的 image.png  就应该判定为正类 image.png  :
image.png
       这种先根据数据集生成正、负类的分布,再得到决策边界的模型就称为 生成模型(Generative model)
image.png

4 判别模型 vs 生成模型

       综上,判别模型和生成模型的区别如下:

image.png

       可见,生成模型多了生成正、负类分布的过程,而这个过程就是在尝试学习这些数据到底是怎么生成的,或者说在尝试学习真正的知识。可以这么比喻,判别模型就是不断刷题,不太去理解,这样也可以很好地应付考试(预测);而生成模型在刷题同时还会尝试理解其中的知识,只要理解得当,完全可以考出好的成绩:

       从上面的比喻出发,可以进一步理解两者的优劣

     (1)刷得题够多,考试成绩就会很好;但如果有些题型没有刷到就会束手无策。也就是说,判别模型只要数据量足够就有很好的泛化能力,但如果遇到没有出现过的情况,那么是无法解决的,这样的例子后面会看到。

     (2)理解如果出错,考试反而糟糕;但是如果能够正确理解,那么在刷题量不够的情况下,也可以举一反三,甚至可以解决没有遇到过的题型。也就是说,数据量少的时候,生成模型可能有奇效,甚至可以解决历史上没有出现过的问题。

【参考】

https://mp.weixin.qq.com/s/QDlRSGRUQ7gngriDZNsJFA

点滴分享,福泽你我!Add oil!



https://blog.sciencenet.cn/blog-3428464-1283227.html

上一篇:[转载]概率和期望
下一篇:拉格朗日乘子法
收藏 IP: 36.152.24.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

全部作者的其他最新博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 04:21

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部