liyanbo的个人博客分享 http://blog.sciencenet.cn/u/liyanbo

博文

概率图模型

已有 2981 次阅读 2016-3-23 10:28 |个人分类:ML|系统分类:科研笔记

概率图模型是一类用图来表达变量相关关系的概率模型.

分为两类:有向无环图表示变量间的依赖关系,称为有向图模型或贝叶斯网.

     无向图表达变量相关关系,称为无向图模型或马尔可夫网.

HMM(隐马尔可夫模型)是结构最简单的动态贝叶斯网.

MRF(马尔可夫随机场,也称最大熵)是典型的马尔可夫网,是对联合分布建模,属于生成式模型.

   全局马尔可夫性:

   极大团:

   一组势函数

CRF(条件随机场),对条件分布建模,属于判别式模型.


推断:根据联合分布求目标变量的边际分布,或以可观察变量为条件的条件分布进行推断.

概率图模型的推断方法分为两类:精确推断:变量消去.信念传播

               近似推断:采样:MCMC采样

                    确定近似完成近似推断:变分推断  

MCMC采样:先设法构造一条马尔可夫链,使其收敛至平稳分布洽为待估计参数的后验分布.

Metropolis-Hastings(MH)是MCMC的代表,它基于"拒绝采样",根据上一轮的采样结果得到这一轮的采样结果,但是以一定的概率拒绝.  

Gibbs sampling(吉布斯采样 )有时被视为MH算法特例,也使用马尔可夫链获取样本,马尔可夫链的平稳分布也是采样的目标分布.



https://blog.sciencenet.cn/blog-1515646-964340.html

上一篇:动态规划学习1——Best Time to Buy and Sell Stock题系列窥DP
下一篇:常量指针和指向常量的指针
收藏 IP: 159.226.43.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-7-20 13:23

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部