mimizhu2003的个人博客分享 http://blog.sciencenet.cn/u/mimizhu2003

博文

Learning multiple layers of representation 总结(3)

已有 4682 次阅读 2013-3-15 23:18 |系统分类:科研笔记| 模型, multiple

关于多层产生式模型:

作者指出:仅仅有一个隐层的产生式模型对于建模到达脑皮层的高维、具有丰富结构的

感知数据是太简单的一个模型了,对于多层网络,对每个数据矢量如果我们能发现某种

方法能推出基于隐变量的后验概率,则学习一个多层产生是模型就相对直接了;如果我

们能从后验分布中获得无偏样本,则学习也相对直接了。在这种情况下,我们简单的调

整参数以便来增加在每一层中的隐变量的样本状态的概率,将产生下一个隐层或可见变

量的样本状态。

      在logistic信念网络的例子中,对每个训练样例的学习规则是某种形式的deta规则,

所推理的状态hi,它是后突触单元i的状态,作为目标值;给定在上一层的所有的前突触单

元j的推理状态hj,激活i的概率$\hat{h}$ 作为预测:$\Delta wij\propto hj(hi-\hat{hi}))$

$\Delta wji$ 是连接j和i之间的权值的变化。

     如果i是可见单元,hi就被训练样例中的i的实际状态来代替。如果训练矢量以相等的概率从

训练集中选择,并且隐状态从给定训练矢量的后验分布中采样,上式的学习规则对产生式模型如果

运行N次将产生确定的N个训练矢量的概率有正期望效果。

 

 

 



http://blog.sciencenet.cn/blog-401369-670686.html

上一篇:learning multiple layers of representation 总结(2)
下一篇:learning multiple layers of representation 总结(4)

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-21 02:43

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部