（二）：贝叶斯分类器

         贝叶斯定理：

有人说，概率论只不过是把常识用数学公式表达了出来。上面的式子在概率课上大家都推导过，很简单，但是在所有需要作出概率预测的地方都可以见到贝叶斯方法的影子，而且，贝叶斯是机器学习的核心方法之一。

         回到贝叶斯定理，假设X表示属性集，Y表示类变量，P(Y|X)表示在属性集已知的情况下属于某一类的概率。P(Y|X)被称为Y的后验概率，P(Y)称为Y的先验概率。在比较不同的Y值的后验概率时，P(X)总是常数，因此可以忽略。P(Y)可以通过计算训练集中属于每个类的训练记录所占的比例很容易估计。对P(X|Y)的估计，有朴素贝叶斯和贝叶斯信念网络。

（1）：朴素贝叶斯

         假设属性之间条件独立。设X，Y，Z表示三个随机变量的集合，给定Z,X条件独立于Y，有P(X|Y,Z)=P(X|Z)，那么

         

有了上式后将贝叶斯公式改写成

               

这样对于给定的Y只要计算每一个Xi的条件概率

    （2）：贝叶斯信念网络

    朴素贝叶斯的条件独立假设过于严格，贝叶斯信念网络则不需要所有属性都条件独立

主要有两个组成成分：

    1: 一个有向无环图，表示变量之间的依赖关系

    2：一个概率表，把各节点和它的直接父节点连接起来

性质：如果一个节点的父母节点已知，则它条件独立于所有非后代的节点。

关联的概率表

（1）：如果没有父母节点，则表中只包含先验概率P(X)；

（2）：如果只有一个父母节点，则表中包含条件概率P(X|Y)；

（3）：如果有多个父母节点，则表中包含条件概率P(X|Y1,Y2,…,Yk)