鲁晨光的科学和哲学研究分享 http://blog.sciencenet.cn/u/lcguang 兴趣:色觉, 哲学, 美学, 进化论,广义信息,投资组合

博文

EM算法是炼金术吗?

已有 14216 次阅读 2017-12-17 22:40 |个人分类:信息的数学和哲学|系统分类:观点评述| 人工智能, 机器学习, 炼金术, EM算法

人工智能很火, 人工智能大神很火。大神们的神器是什么? 有人说找到了,就是EM算法。 请看这篇:

EM算法的九层境界:HintonJordan理解的EM算法http://mp.weixin.qq.com/s/NbM4sY93kaG5qshzgZzZIQ

      但是最近网上引人关注的另一传闻是,一位人工智能论文获奖者在获奖感言中说人工智能方法是炼金术,从而引起大神家族成员反驳。报道见:

http://baijiahao.baidu.com/s?id=1586237001216079684&wfr=spider&for=pc

      看到上面两篇,使我想到:EM算法是炼金术码?

我近两年碰巧在研究用以改进EM算法的新算法:http://survivor99.com/lcg/CM/Recent.html,对EM算法存在的问题比较清楚。我的初步结论是:EM算法虽然在理论上有问题,但是确实炼出金子了。反过来也可以说,虽然EM算法练出金子了,但是收敛很不可靠,流行的解释EM算法的收敛理由更是似是而非。有人使之神秘化,使得它是有炼金术之嫌。论据何在?下面我首先以混合模型为例,简单介绍EM算法,并证明流行的EM算法收敛证明是错的(没说算法是错的)


因为公式太多,详见PDF文件: http://survivor99.com/lcg/CM/cm-ljs.pdf



http://blog.sciencenet.cn/blog-2056-1090214.html

上一篇:兼容Shannon, Popper, Fisher, Zadeh思想的语义信息论
下一篇:交叉熵是谁最早提出和应用的?

4 陈洋 邹晓辉 徐绍辉 徐明昆

该博文允许注册用户评论 请点击登录 评论 (3 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-11-30 21:23

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部