mimizhu2003的个人博客分享 http://blog.sciencenet.cn/u/mimizhu2003

博文

learning multiple layers of representation总结(5)

已有 5009 次阅读 2013-3-20 22:54 |个人分类:文章读后感|系统分类:科研笔记| multiple, Learning

具有快速准确推理的非线性模型:

 

      介绍受限波尔兹曼机(RBM),并指出它是寻找用于深度、有向产生式模型的

高效学习算法的关键。

      像素具有二值的图像能用RBM的隐层来建模像素间的更高阶的相互关系。为了

从训练图像集合中学习一个好的特征检测子的集合,先将像素i和特征检测子j之间的

初始权值置为0;然后使用下式重复更新每个权值wij:

      $\Delta W_{ij}=\varepsilon ({_{data}}-_{recogn})$

$\varepsilon$ 为学习率;<V $_{i}$ h ${_{j}}$ > $_{data}$ 是当特征检测子受训练集中的图像驱动时像素i和特征检测子j

同时出现的频率;<V $_{i}$ h $_{j}$ > $_{recogn}$ 当特征检测子受重构后的图像驱动时像素i和特征检测

子j同时出现的频率。一个相似的学习规则也能用于偏差。

      给定一个训练图像,设定每个特征检测子为1的概率为:

     P(hj=1)= $\sigma (%uFF08b_{j}+\sum_{i}{V_{i}W_{ij}}%uFF09)$ )其中 $\sigma$ 为logistic函数,bj是偏差,Vi是像素i的二值状态;一旦为

隐单元选择了二值状态,则通过用如下概率设定每个像素的值为1将产生一个图像的重构:

P(vi=1)=

    在此,所学习的权值和偏差直接根据上两式决定了条件分布P(h|v)和P(v|h);非直接的,

权值和偏差定义了联合和边缘概率P(v,h)和P(v),P(h)。

    从联合概率中采样是困难的,但是可以使用轮流的Gibbs采样。如果Gibbs采样时间足够

长,网络将达到热平衡。

    RBM的两个优点:首先,推理容易;给定可视矢量,在隐矢量上的后验分布因式分解为

每个隐单元独立分布的乘积;因此为了从后验中获得采样,只需简单按照相应的概率打开

每个隐单元;其次,通过堆叠RBM,很容易一次一层的学习深度有向网络。

 

 



http://blog.sciencenet.cn/blog-401369-672347.html

上一篇:learning multiple layers of representation 总结(4)
下一篇:生成模型Generative models和判别模型discriminative models

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-23 16:16

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部