Deep learning

深度学习（综述）

Deep learningallows computational models that are composed of multiple processing layers tolearn representations of data with multiple levels of abstraction. Thesemethods have dramatically improved the state-of-the-art in speech recognition,visual object recognition, object detection and many other domains such as drugdiscovery and genomics. Deep learning discovers intricate structure in large data sets by using the back propagationalgorithm to indicate how a machine should change its internal parameters thatare used to compute the representation in each layer from the representation inthe previous layer. Deep convolutional nets have brought aboutbreakthroughs in processing images, video, speech and audio, whereas recurrentnets have shone light on sequential data such as text and speech.

深度学习允许通过多处里层组合起来的计算模型学习通过多水平的抽象学习数据的表示。这些方法很大地提高了语音识别，视觉目标识别，目标探测以及其他的很多领域的例如药物发现和基因组学中最好的（state-of-the-art）性能。深度学习通过使用反向传播算法来预示一个机器是如何改变自己内部的来自上一层并用来计算每一层表示的参数发现大型数据错综复杂的结构。深度卷积网络在处理图像、时评、讲话和音频上提出了突破性的想法，而循环网络在例如文本和讲话等序列数据中上也展现出一线曙光。

这是Hinton，LeCun和Bengio去年在nature上写的综述，回顾这十年来deep learning的发展。文章第一句先说深度学习的特征，即什么是深度学习。深度学习就是允许多个处理层通过多水平的抽象来表示数据。看到了没，本质上还是对数据的抽象表示。这就为我们理解Hinton的文章，理解Distributed Representation提供了一个非常好的perspective（视角），原来他们做了那么多工作就是为了表示数据。想想是不是这样，对的，就是这样。以自然语言处理为例，独热表示（One-hot Representation）可能有利于人的理解，但是无法表示不同单词之间的关系，也由于维数太多而无法进行大规模计算。但是分布式表示（Distributed Representation）可能人无法理解，但是在计算上有非常好的性能（维数不高），可以表示词语之间的关系。深度学习可以表示大型数据的复杂的内部结构。这一点很重要。因为大型数据的分布空间是我们无法想象的，可能是一个高度抽象的东西，无法用我们直观的思维去理解，但是可以通过深度学习去理解。深度学习通过什么理解的呢？就是用方向传播的机制来理解的，每一层都是对上一层数据的一个抽象，然后通过反向传播来调整参数。这可能就是深度学习区别于传统的神经网络的地方。就是这里的训练方法有了新的思路。