我写了篇文章：《EM算法的问题和出路》，全文见：http://survivor99.com/lcg/CM/EMwayout.pdf 

投稿某会议。得到令人惊讶的评审。

 我批评EM算法， 认为用Q不可靠， Q也就是负的联合交叉熵。 我说应该用相对熵或最大似然度——两者是等价的（参看Cover的信息论教科书 https://www.google.com.hk/search?q=Cover+information+theory&gws_rd=ssl  ）

  我证明存在反例，并且提供的两个例子， 其中一个说明Q并不是一直增加的，用以证伪EM算法的收敛证明。

我提出改进算法， 通过相对熵证明新算法严格收敛。 

 三个评审， 两个放弃， 一个给出负面评价，理由：

 1）文章用Q做收敛指标， 不明确——天那！但是，那正是我批评的啊！

    2）我的新算法没有对比。还要怎样对比？ 我的第二个例子已经证明， 用Q存在反例。关于迭代次数，5次收敛已经很快了。 EM算法通常十几次收敛。 

   评审还说没有用其他分布。 EM算法文章多得很， 谈到其他分部的不到1/10. 理论说明用高斯分布就够了嘛。

 看来， 审稿人不熟悉EM算法！并且没看清楚就下结论。

    文章摘要：

摘要: 求解混合模型需要最大化预测的分布和样本分布之间的似然度或最小化相对 熵。流行的 EM 算法收敛证明中有两个结论：1)只增不减 Q(负的联合交叉熵)可以 最大化似然度；2)每个 E-step 不会减少 Q. 然而，有反例证明上面两个结论都错 了，并且第二个错误掩盖了第一个错误。EM 算法经常导致收敛困难, 原因是模型 混合比例没有匹配样本分布. 一个改进的算法——信道匹配算法即 CM 算法——可 以提高混合模型迭代收敛的正确性. 文中得到一个重要公式：最小化相对熵等于最 小化 Shannon 互信息 R 减去语义互信息 G（即平均 log（normalized likelihood））. 重复增大 G（而不是 Q）和减小 R 就可以最小化相对熵。新算法的收敛可以得到 严格证明——通过 Shannon 等人分析信息率失真函数用到的变分方法和迭代方法. 使用交叉熵方法和语义信息方法分析 CM 算法和 EM 算法及 VBEM 算法的区别和 联系, 可以加深我们对几种算法的理解. CM 算法不仅可用于混合模型， 也可以用于 半监督学习和多标签学习。

评审信见：

    然而， 评审意见原文如下：

尊敬的 Lu Chenguang 先生/女士：

非常遗憾！您的如下投稿经过专家评审，未能被***会议（2018）录用。

----------------------------

[论文编号]：71

[论文标题]：EM算法的问题和出路

----------------------------

尽管您的论文未被录用，我们仍诚挚地欢迎您参加CCDM2018会议。本次会议将邀请数据挖掘领域的杰出学者做大会特邀报告，并举行多场专题研讨会和工业界高峰论坛。CCDM2018注册代表均可参加。

敬请访问CCDM2018网站（http://ccdm2018.sdufe.edu.cn/ ）了解会议详情与最新消息，会议注册信息将于近期发布。

再次感谢您的大力支持！

祝好！

********

----------------------- REVIEW 1 ---------------------

PAPER: 71

TITLE: EM算法的问题和出路

AUTHORS: Chenguang Lu

Overall evaluation: 1 (weak accept)

----------- Overall evaluation -----------

审稿人对该文所研究的内容不太熟悉，请参照其他审稿人的建议。

----------------------- REVIEW 2 ---------------------

PAPER: 71

TITLE: EM算法的问题和出路

AUTHORS: Chenguang Lu

Overall evaluation: 0 (borderline paper)

----------- Overall evaluation -----------

本文首先面对常见的期望最大算法（EM）的收敛困难问题，指出了EM算法的收敛性证明中存在的问题，并给出了反例来佐证；然后提出了新的信道匹配算法（CM），并严格证明了CM的收敛性；最后从交叉熵的角度分析了几种算法之间的联系。

1.本文在给出反例指出EM算法的问题时，单纯的使用了Q的变化量来衡量EM算法是否收敛不够直接，应该直接使用EM算法在每一步的优化目标（似然）。

2.文中的实验虽然显示了CM算法的收敛性，但仅测试了混合的高斯分布，并没有测试其他种类的概率分布，缺少一般性；文中提到的CM算法收敛速度优于EM或其改进算法也缺少明确的对比实验。

----------------------- REVIEW 3 ---------------------

PAPER: 71

TITLE: EM算法的问题和出路

AUTHORS: Chenguang Lu

Overall evaluation: -2 (reject)

----------- Overall evaluation -----------

该论文的创新度一般，实验对比不充分。