|||
介绍见:https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm
https://wizardforcel.gitbooks.io/dm-algo-top10/content/em.html
光是标题中有 EM algorithm 的论文就有3000多篇。
它通常用于混合模型(比如高斯混合模型)。 比如根据两个似然函数不同比例的混合, 求解最为符合的似然函数参数(两个高斯模型有4个参数)和比例(1个参数)。现在大数据热, 研究的人更多。
我碰巧赶上了。实验结果见下图。求出结果不算什么, 简单快速才算好。能证明收敛才算厉害。
我可是用Excel做的喔。证明嘛,我用的是语义信息方法,特别是R(G)函数(上一篇介绍的)。 具体方法和证明正在整理。
迭代收敛过程:
5次迭代后符合程度:
迭代开始:
想不到Excel做研究工具还真不错, 不但计算简单, 画图也方便。通过绘图, 容易发现错误。
补充:假设
Py1= | 0.10000 | c1= | 35 | d1= | 8.000000 | |||
Py2= | 0.90000 | c2= | 65 | d2= | 12.000000 |
所有EM算法都面临这个例子挑战! 因为在M-step和E-step之间,有一个巨大裂缝, ElogP(z,y|模型)能大幅下降。如果这样, 那些收敛证明成立?
但是信道匹配算法没有问题。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-2 07:22
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社