mimizhu2003的个人博客分享 http://blog.sciencenet.cn/u/mimizhu2003

博文

learning multiple layers of representation 总结(4)

已有 5564 次阅读 2013-3-20 21:33 |个人分类:文章读后感|系统分类:科研笔记| multiple, Learning

关于用于多层产生式模型的近似推理:

      作者指出: 除了考虑产生每个训练样例的log概率,还应考虑推理过程的准

确度;如果其他都一样,我们希望近似推理方法尽可能精确;我们会选择一个

模型也许它产生数据的概率不是最高,但是却能有对隐表示的更加准确的推理。

因此很有意义的是当最大化观察数据的log概率时,对每个训练样例使用不精确

推理作为一个惩罚项。这也将导致一个新的目标函数,它更加容易最大化,并

且在产生训练数据的log概率上有一个变化的低边界(lower-bound)。

      对于处理复杂产生式模型的推理问题的一个标准方法就是通过优化一个变化

边界来学习。



https://blog.sciencenet.cn/blog-401369-672324.html

上一篇:Learning multiple layers of representation 总结(3)
下一篇:learning multiple layers of representation总结(5)
收藏 IP: 1.203.49.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-25 22:32

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部