具有丢失数据的贝叶斯网络结构学习研究

  王双成, 苑森淼

软件学报  2004

 

摘 要:

  目前主要基于EM算法和打分-搜索方法进行具有丢失数据的贝叶斯网络结构学习,算法效率较低,而且易于陷入局部最优结构.针对这些问题,建立了一种新的具有丢失数据的贝叶斯网络结构学习方法.首先随机初始化未观察到的数据,得到完整的数据集,并利用完整数据集建立最大似然树作为初始贝叶斯网络结构,然后进行迭代学习.在每一次迭代中,结合贝叶斯网络结构和Gibbs sampling修正未观察到的数据,在新的完整数据集的基础上,基于变量之间的基本依赖关系和依赖分析思想调整贝叶斯网络结构,直到结构趋于稳定.该方法既解决了标准Gibbs sampling指数复杂性问题,又避免了现有学习方法所存在的主要问题,为具有不完整数据的不确定性知识表示、推断和推理提供了有效和可行的方法.

关键词: 贝叶斯网络;结构学习;丢失数据;Gibbs抽样;依赖分析;最大似然树

 

  完整数据贝叶斯网络结构学习方法可分为两类

  -- 一类是基于打分-搜索的学习方法

  -- 另一类是基于依赖分析的学习方法.

 

  solution: 

  1) 首先基于梯度的优化(gradient-based optimization)或EM(expectation-maximization)算法进行最大后验参数估计

  2) 然后使用拉普拉斯近似(Laplace approximation)或贝叶斯信息标准(Bayesian information criterion)等大样本近似方法进行近似结构打分,

 

  the work of this paper:    建立一种新的具有丢失数据的贝叶斯网络结构学习方法——BN-GS(Bayesian network & Gibbs sampling).

  -- 使用Gibbs sampling修复丢失的数据,基于依赖分析方法进行贝叶斯网络结构学习和调整.

  -- 首先随机初始化丢失的数据,并建立最大似然树作为初始贝叶斯网络结构,

  -- 然后进行数据集和贝叶斯网络的迭代修正-调整,直到结构趋于稳定或满足给定的终止条件为止.

  -- 每一次数据集修正后进行贝叶斯网络结构调整,使调整后的贝叶斯网络适合于当前的数据集,并且不会陷入局部最优结构.Gibbs sampling迭代收敛到平稳分布,

 

 

1 数据集和贝叶斯网络的初始化