||
概率图模型是一类用图来表达变量相关关系的概率模型.
分为两类:有向无环图表示变量间的依赖关系,称为有向图模型或贝叶斯网.
无向图表达变量相关关系,称为无向图模型或马尔可夫网.
HMM(隐马尔可夫模型)是结构最简单的动态贝叶斯网.
MRF(马尔可夫随机场,也称最大熵)是典型的马尔可夫网,是对联合分布建模,属于生成式模型.
全局马尔可夫性:
极大团:
一组势函数
CRF(条件随机场),对条件分布建模,属于判别式模型.
推断:根据联合分布求目标变量的边际分布,或以可观察变量为条件的条件分布进行推断.
概率图模型的推断方法分为两类:精确推断:变量消去.信念传播
近似推断:采样:MCMC采样
确定近似完成近似推断:变分推断
MCMC采样:先设法构造一条马尔可夫链,使其收敛至平稳分布洽为待估计参数的后验分布.
Metropolis-Hastings(MH)是MCMC的代表,它基于"拒绝采样",根据上一轮的采样结果得到这一轮的采样结果,但是以一定的概率拒绝.
Gibbs sampling(吉布斯采样 )有时被视为MH算法特例,也使用马尔可夫链获取样本,马尔可夫链的平稳分布也是采样的目标分布.
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-24 10:35
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社