鲁晨光的科学和哲学研究分享 http://blog.sciencenet.cn/u/lcguang 兴趣:色觉, 哲学, 美学, 进化论,广义信息,投资组合

博文

我捡到大漏了——发现混合模型收敛严格证明方法

已有 3999 次阅读 2018-4-2 13:11 |个人分类:信息的数学和哲学|系统分类:论文交流| 机器学习, 人工智能, 信息论

 我一直说EM算法收敛证明有问题,我把它改进为CM算法。我以前提供的CM算法收敛证明要比EM算法的收敛证明好得多,但是还不严格。 现在发现,采用分析Shannon的信息率失真函数用到的变分和迭代方法,可以严格严格证明CM迭代方法收敛。

EM算法的问题和CM算法收敛证明详见:

http://survivor99.com/lcg/CM/EMwayout.pdf

混合模型问题, 对于经典通信来说也是重要的, 因为它是典型的数据压缩问题。


感谢周炯槃先生, 我是在他的《信息论基础》中找到解决办法的:


Shannon的那篇文章我也找到了, 没那么详细。不知道周先生书中这些方法是周先生自己研究出来的, 还是介绍别人的。现在国外书籍介绍信息论失真函数都不用参数方法, 也不讲迭代方法, 所以找来找去,只有周先生这本书讲得最详细。可惜周先生不在了。我还真去过他家, 老先生平易近人,要是他在多好!

    




https://blog.sciencenet.cn/blog-2056-1106971.html

上一篇:一个新的数学框架用于机器学习——挑战流行的贝叶斯主义推理...
下一篇:令人惊讶的评审
收藏 IP: 99.199.188.*| 热度|

1 张学文

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 23:54

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部