autoencoder的思想非常巧妙，它其实就是一个神经网络，只不过当我们让

神经网络的输出层矢量等于输入层矢量时，网络就成了自编码器，而且对它

的训练算法也是无监督的了（因为输出我们都知道）。假设一个三层的自编

码器，如果隐层神经元的数量少于输入层，训练好的网络在隐层其实是学习

到了输入数据的压缩表示，当然前提是数据之间具有相关性，否则很难学习

成功；当隐层神经元的数量大于输入层神经元的数量时，通过施加一些约束，

比如“稀疏化”的约束，也可以学习到数据之间的一些关系。如果是只有一个

隐层,它的训练算法可以采用基于梯度下降的方法，即误差反向传播算法。

denoising autoencoder的思想是给输入数据添加噪音，然后让网络学习出未

添加噪音的原始图像，这样所学习到的特征将具有抗噪音的鲁棒性。