||
autoencoder的思想非常巧妙,它其实就是一个神经网络,只不过当我们让
神经网络的输出层矢量等于输入层矢量时,网络就成了自编码器,而且对它
的训练算法也是无监督的了(因为输出我们都知道)。假设一个三层的自编
码器,如果隐层神经元的数量少于输入层,训练好的网络在隐层其实是学习
到了输入数据的压缩表示,当然前提是数据之间具有相关性,否则很难学习
成功;当隐层神经元的数量大于输入层神经元的数量时,通过施加一些约束,
比如“稀疏化”的约束,也可以学习到数据之间的一些关系。如果是只有一个
隐层,它的训练算法可以采用基于梯度下降的方法,即误差反向传播算法。
denoising autoencoder的思想是给输入数据添加噪音,然后让网络学习出未
添加噪音的原始图像,这样所学习到的特征将具有抗噪音的鲁棒性。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-10-19 22:03
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社