|||
具有快速准确推理的非线性模型:
介绍受限波尔兹曼机(RBM),并指出它是寻找用于深度、有向产生式模型的
高效学习算法的关键。
像素具有二值的图像能用RBM的隐层来建模像素间的更高阶的相互关系。为了
从训练图像集合中学习一个好的特征检测子的集合,先将像素i和特征检测子j之间的
初始权值置为0;然后使用下式重复更新每个权值wij:
$\Delta W_{ij}=\varepsilon (
$\varepsilon$ 为学习率;<V $_{i}$ h ${_{j}}$ > $_{data}$ 是当特征检测子受训练集中的图像驱动时像素i和特征检测子j
同时出现的频率;<V $_{i}$ h $_{j}$ > $_{recogn}$ 当特征检测子受重构后的图像驱动时像素i和特征检测
子j同时出现的频率。一个相似的学习规则也能用于偏差。
给定一个训练图像,设定每个特征检测子为1的概率为:
P(hj=1)= $\sigma (%uFF08b_{j}+\sum_{i}{V_{i}W_{ij}}%uFF09)$ )其中 $\sigma$ 为logistic函数,bj是偏差,Vi是像素i的二值状态;一旦为
隐单元选择了二值状态,则通过用如下概率设定每个像素的值为1将产生一个图像的重构:
P(vi=1)=
在此,所学习的权值和偏差直接根据上两式决定了条件分布P(h|v)和P(v|h);非直接的,
权值和偏差定义了联合和边缘概率P(v,h)和P(v),P(h)。
从联合概率中采样是困难的,但是可以使用轮流的Gibbs采样。如果Gibbs采样时间足够
长,网络将达到热平衡。
RBM的两个优点:首先,推理容易;给定可视矢量,在隐矢量上的后验分布因式分解为
每个隐单元独立分布的乘积;因此为了从后验中获得采样,只需简单按照相应的概率打开
每个隐单元;其次,通过堆叠RBM,很容易一次一层的学习深度有向网络。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-4-26 01:30
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社