鲁晨光的科学和哲学研究分享 http://blog.sciencenet.cn/u/lcguang 兴趣:色觉, 哲学, 美学, 进化论,广义信息,投资组合

博文

公布求解最大互信息和最大似然度的信道匹配算法—用以取代EM算法

已有 821 次阅读 2017-6-12 12:25 |个人分类:信息的数学和哲学|系统分类:论文交流|关键词:互信息, 似然度,机器学习, 统计推理, 语义信息

搜索最大似然度, 可见有33万篇文章:

http://www.sciencedirect.com/science?_ob=ArticleListURL&_method=list&_ArticleListID=-1217372240&_sort=r&_st=13&view=c&md5=32025f8bcf94febd17e33e7009f377cd&searchtype=a

搜索EM算法有8万多篇文章:

http://www.sciencedirect.com/science?_ob=ArticleListURL&_method=list&_ArticleListID=-1217372349&_sort=r&_st=13&view=c&md5=1c0dbe77532804b292213415558828cb&searchtype=a

最大互信息难以求解的, 所以Shannon用失真准则, 而不是互信息准则。

最大似然度——指香农信道没有确定时的最大平均对数似然度——也是难求的。

这两个难题应该说是信息论和统计理论中最顽固的堡垒。

两者只能用迭代方法求解。通常用牛顿法, 梯度法和EM算法。其中EM算法最具神秘性。

本文不是要在么庞大数子上增加一个1, 而是要重新评估以前的做法, 特别是EM算法!

本文提出新的算法是信道匹配算法——多数情况下3-5次就收敛。文中和EM算法做了比较,大多数情况下迭代次数降到1/3。还证明了前人的EM算法收敛证明完全错了。

新的算法是否简洁, 高效,易于理解,详见最新文章:

http://survivor99.com/lcg/CM.html

本来是想先投稿, 争取发表的, 但是一想到那么多人在最大互信息和最大似然度上耗费那么多宝贵时间,想到审稿之漫长, 辩解之麻烦, 我还是先公布算法吧!

语义信息方法历来遭遇主流歧视,因为要权威理解非常困难。这篇文章也是要向主流显示: 语义信息论是怎样powerful, 它可以解决经典方法难以解决的难题!

我有没有做到, 请看完理解再说!

欢迎批评!






http://blog.sciencenet.cn/blog-2056-1060321.html

上一篇:[转载]汪培庄教授的因素空间理论简介
下一篇:绕过香农的瑞典国际信息科学和信息哲学大会
收藏 分享 举报

2 张学文 邹晓辉

该博文允许注册用户评论 请点击登录 评论 (5 个评论)

数据加载中...

Archiver|手机版|小黑屋|科学网 ( 京ICP备14006957 )

GMT+8, 2017-9-19 23:14

Powered by ScienceNet.cn

Copyright © 2007-2017 中国科学报社

返回顶部