具有快速准确推理的非线性模型：

      介绍受限波尔兹曼机（RBM），并指出它是寻找用于深度、有向产生式模型的

高效学习算法的关键。

      像素具有二值的图像能用RBM的隐层来建模像素间的更高阶的相互关系。为了

从训练图像集合中学习一个好的特征检测子的集合，先将像素i和特征检测子j之间的

初始权值置为0；然后使用下式重复更新每个权值wij：

      $\Delta W_{ij}=\varepsilon ({_{data}}-_{recogn})$

$\varepsilon$ 为学习率；<V $_{i}$ h ${_{j}}$ > $_{data}$ 是当特征检测子受训练集中的图像驱动时像素i和特征检测子j

同时出现的频率；<V $_{i}$ h $_{j}$ > $_{recogn}$ 当特征检测子受重构后的图像驱动时像素i和特征检测

子j同时出现的频率。一个相似的学习规则也能用于偏差。

      给定一个训练图像，设定每个特征检测子为1的概率为：

     P(hj=1)= $\sigma (%uFF08b_{j}+\sum_{i}{V_{i}W_{ij}}%uFF09)$ )其中 $\sigma$ 为logistic函数，bj是偏差，Vi是像素i的二值状态；一旦为

隐单元选择了二值状态，则通过用如下概率设定每个像素的值为1将产生一个图像的重构：

P(vi=1)=

    在此，所学习的权值和偏差直接根据上两式决定了条件分布P(h|v)和P(v|h)；非直接的，

权值和偏差定义了联合和边缘概率P(v,h)和P(v),P(h)。

    从联合概率中采样是困难的，但是可以使用轮流的Gibbs采样。如果Gibbs采样时间足够

长，网络将达到热平衡。

    RBM的两个优点：首先，推理容易；给定可视矢量，在隐矢量上的后验分布因式分解为

每个隐单元独立分布的乘积；因此为了从后验中获得采样，只需简单按照相应的概率打开

每个隐单元；其次，通过堆叠RBM，很容易一次一层的学习深度有向网络。