mimizhu2003的个人博客分享 http://blog.sciencenet.cn/u/mimizhu2003

博文

关于自编码器autoencoder

已有 9644 次阅读 2013-7-3 22:54 |系统分类:科研笔记| 编码器

autoencoder的思想非常巧妙,它其实就是一个神经网络,只不过当我们让

神经网络的输出层矢量等于输入层矢量时,网络就成了自编码器,而且对它

的训练算法也是无监督的了(因为输出我们都知道)。假设一个三层的自编

码器,如果隐层神经元的数量少于输入层,训练好的网络在隐层其实是学习

到了输入数据的压缩表示,当然前提是数据之间具有相关性,否则很难学习

成功;当隐层神经元的数量大于输入层神经元的数量时,通过施加一些约束,

比如“稀疏化”的约束,也可以学习到数据之间的一些关系。如果是只有一个

隐层,它的训练算法可以采用基于梯度下降的方法,即误差反向传播算法。

denoising autoencoder的思想是给输入数据添加噪音,然后让网络学习出未

添加噪音的原始图像,这样所学习到的特征将具有抗噪音的鲁棒性。



http://blog.sciencenet.cn/blog-401369-705032.html

上一篇:一点儿感想
下一篇:统计推理的参数推理体系和非参数推理

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-21 03:01

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部