WHU Bruisefree分享 http://blog.sciencenet.cn/u/bruisefree Link together

博文

贝叶斯网络简介(学习笔记)

已有 20731 次阅读 2015-11-30 14:32 |个人分类:Machine Learning|系统分类:科研笔记| 人工智能, 贝叶斯网络

贝叶斯网络(BayesianNetwork, BN)是人工智能领域的一种重要的处理概率问题的技术。贝叶斯网络是不确定性推理的图模型。在图模型中,节点表示变量(可以是离散的,也可以连续的),弧表示变量之间的有向关系(往往是因果关系)。在贝叶斯网络中,这种关系是可以被量化的(概率表示),从而使得在获取新信息之后,可以更新概率。


贝叶斯网络的图结构

节点表示领域的变量X= X1;::Xi; :::Xn

两个节点对之间的有向弧Xi! Xj表示节点之间的直接依赖关系,以条件概率表示;

           弧约束:不允许出现有向弧组成的循环,这样的图模型也称作directedacyclic graphs/dags.

               

知识工程师领域建模时,需要考虑

               首先,识别领域变量,变量的值/状态应该是互斥、穷尽的。常用的离散型变量有布尔型、顺序型、整型。

               变量的设计不仅需要有效地表示领域,同时还要有足够的细节来支持推理/推算。

               其次,设计图结构。

               节点、子节点、父节点、后代、祖先,根节点、叶节点、中间节点;

               节点的马尔可夫毯(Markov blanket consistsof the node’s parents, its children, and its children’s parents.

               

          接下来就是最主要的计算条件概率了。CàX,就可以表示为条件概率P(X|C)

          如果是离散型变量的话就列一下conditional probabilitytable (CPT),考虑父节点和子节点的所有值组合。

               对于根节点,没有父节点,但是也可以有先验概率Prior

               另外还需要注意的是:

               马尔可夫性质(Markov property):所有的直接依赖间,应当不存在除已有弧之外的其他建模方式。

              具有马尔可夫性质的贝叶斯网络也称为Independence-maps(or, I-maps for short),即不存在依赖边的节点间的独立性都是真实的,但是,并不意味着,存在依赖边的节点之间的依赖关系是真实的。意思就是,如果节点之间没有依赖关系,那么这个在真实环境中确实如此。但是存在依赖关系的节点,在真实环境中并不一定如此。比如,一个完全图中,节点之间都有依赖关系,那么0对节点之间没有依赖关系。针对这0对节点而言,确实没有观察到他们之间的依赖关系。然而,并不是所有的节点对之间的依赖关系都是真实的,有些可能具有冗余,那么就存在一个minimalI-maps

               如果BN中每一条边都是系统中的依赖的话,那么BN也称作Dependence-map, D-map。如果BN即是I-map又是D-map的话,那它就是完美的mapperfectmap.


贝叶斯网络上的推理

           在对领域进行合理建模后,可以根据新观察到的数据进行推理。当观察到某一变量的新数据时,可以在上面做条件概率更新了,probabilitypropagation or inference or belief updating。需要注意的是,这一更新并不一定受限于边的方向。

推理类型(Reasoning)

diagnostic reasoning:观察到子节点,推理父节点,推理方向与依赖方向相反;

predictive reasoning:观察到父节点,推荐子节点;

intercausal reasoning:观察到的数据同时涉及因果两种节点,

explaining awayintercausal reasoning的一种特例。

               

 

证据类型(Evidence

               具体证据:明确的证据;

               证据也可能不明确;AOR B

               反例negative evidenceNOT A

Virtual evidencelikelihood evidence):不明确,具有一定的概率的

               

数值推理

               Belief updating can be doneusing a number of exact and approximate inference

algorithms.

 

               

 

理解BN

           BN事实上是一种联合概率分布的表现形式。

P(x1;x2; : : : ;xn) =P(x1)P(x2jx1) :: : ;P(xnjx1; : : : ;xn-1)

根据图结构中的依赖关系,当前节点仅与其父节点有关,可以表示为条件概率:

P(x1;x2; : : : ;xn) =连乘P(xijParents(Xi))

 

后续的求解过程才是关键,不过暂且不看。

         

 

 

 

 

其他参考资料

Introducing Bayesian Networks. http://www.csse.monash.edu.au/bai/book/BAI_Chapter2.pdf

Heckerman, D. (2008). Atutorial on learning with Bayesian networks. InInnovations inBayesian Networks (pp. 33-82). Springer Berlin Heidelberg.

Tutorial: Graphical Models and Bayesian Networks with R. http://people.math.aau.dk/~sorenh/misc/2014-useR-GMBN

 



https://blog.sciencenet.cn/blog-563898-939911.html

上一篇:First Order Logic 一阶逻辑
收藏 IP: 68.230.53.*| 热度|

1 haipengzhangdr

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-10-8 08:30

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部