8 总结 在本文中，我们重温了现代深度学习模型的进化路径。我们重新研究了深度学习模型的三个主要家族的路径：深度生成模型家族，卷积神经网络家族和循环神经网络家族以及一些优化技术的主题。 本文可以实现两个目标： 1）首先，它记录了科学历史中影响当前深度学习发展的主要里程碑。这些里程碑不仅限于计算机科学领域的发展。 2）更重要的是，通过重新审视主要里程碑的发展路径，本文应该能够给予读者建议，这些杰出作品是如何在数千种其他同期出版物中发展的。在这里，我们总结了许多这些里程碑追求的三个方向：  Occam’s razor：虽然似乎社会上一部分人倾向于通过将一个架构分层到另一个架构来支持更复杂的模型，并希望反向传播可以找到最佳参数，但是历史上人们更倾向于简单思考：Dropout被广泛认可，不仅是因为它的性能，更多是因为它的实现简单和推理直观。从Hopfield网络到受限玻尔兹曼机，模型在迭代中简化，直到RBM准备好堆积。  Be ambitious：如果一个模型具有比同时期模型更多的参数，它必须解决一个其他人不能很好地解决的问题。 LSTM比传统的RNN复杂得多，但它很好地绕过了消失梯度问题。 深度信念网络的出现并不是因为他们是第一个提出将一个RBM放到另一个RBM的想法，而是由于他们提出了一个算法，允许深层架构被有效地训练。  Widely read：许多模型受机器学习或统计学习以外的领域知识的启发。人类视觉皮层极大地激发了卷积神经网络的发展。最近流行的Residual网络可以找到人类视觉皮层中的相应机制。生成对抗网络也可以找到一些与几年前开发的游戏理论的连接。 我们希望这些方向可以帮助一些读者更多地影响到当前社会。通过对里程碑的回顾，也许能总结出更多的研究方向。

转载本文请联系原作者获取授权，同时请注明本文来自张宪超科学网博客。
链接地址：https://blog.sciencenet.cn/blog-612724-1054385.html

上一篇：深度学习起源翻译4