向深度学习三剑客学习四种科研精神（上）

陈德旺

深度学习，尤其是深度神经网络学习算法的兴起和大数据的加持，结合GPU的算力，如同 “三英战吕布”，终于搞定了人工智能这一反复无常的“吕布”， 使得人工智能得以第三次复兴。

如今，人工智能技术向各行各业渗透，智能产业的发展正如火如荼。 饮水思源，我们不能忘记，提出深度学习核心算法并于2019年获得图灵奖的三位英雄：深度学习三剑客: Hinton, LeCun 和Bengio. 尤其，是要向他们学习以下四种创新精神，以更好地实现我国创新能力的提升。

1.    坚持神经网络研究三十年的坚定执着精神

Hinton, LeCun 和Bengio虽然在不同的国家，处于不同的阶段，从20世纪八十年代开始，不约而同就对人工神经网络，尤其是神经网络学习算法，非常感兴趣。Hinton年纪较大，在另外2位还在读上大学或读研究生的时候，Hinton已经博士毕业，到斯坦福大学做博后了。1986年，Hinton与美国科学院院士Rumelhart等在Nature 上发表论文，提出了著名的BP（反向传播）算法： 多层神经网络参数学习算法，引起了神经网络第二次复兴的浪潮。 该经典论文至今已经被引用2万多次。 这次复兴之后，基于BP算法的神经网络解决了很多问题，相关研究和论文呈现井喷状态。 

可惜，好景不长在。几年后，研究人员发现：BP算法虽然好用，但也存在收敛速度慢，容易陷入局部最小值和网络的初始化参数密切相关。尤其，由于训练时间太长，训练参数太多，内存经常溢出，难以处理如图像识别这类高维度和大量样本数据问题。于是，神经网络的研究陷入了第二次低潮： 很难拿到课题，很难发表论文 ，很多研究人员就放弃了，转向别的研究方向。

但是，Hinton不气馁，始终坚持研究方向不动摇，苦思冥想破解之道不懈怠， 转移到加拿大多伦多大学继续开展研究。在共同发明BP算法20年后，2006年Hinton，通过深度思考和编程实践，终于想出了针对高维数据的破解之道，在Science上发表了用神经网络减少数据维度的新方法，为深度学习的兴起奠定了理论基础，至今被引用1万余次。 之后，深度神经网络的发展可谓波澜壮阔，气势如虹。由于篇幅关系，就不逐一描述了。

2.    合作与争论并重的和谐团队精神

1987博士毕业后，LeCun 去加拿大多伦多大学，追随神经网络的旗手人物Hinton 做了一年的博士后。在Hinton的启发和指导下，LeCun提出卷积神经网络用于手写体识别，大幅度提高了精度，引起了关注。但好景不长，该方法的通用性不强，还是难以处理更高维的彩色图像数据。

2003年，LeCun到纽约大学任教并发展了第三个合作者：前公司同事 蒙特利尔大学教授Yoshua Bengio，与Hinton一起组成了所谓的“深度学习的阴谋（ Deep Learning Conspiracy）”。据说，Bengio 在读研究生时，读到了Hinton的一篇论文，如被电击，找到了儿时非常喜欢的科幻故事的感觉。如今有机会加入偶像领导的神秘小组，自然是喜出望外。

2004年机会终于来了，Hinton拿到了一个加拿大政府支持的大项目，很快就组建了研究组，并邀请LeCun和Bengio加入了他的项目组。至此，三剑客正式进入了蜜月期 。为了证明神经网络是有用的，他们开发了更多层的神经网络(深度神经网络），用更大的数据集来训练网络，并在更强大的计算机上运行网络参数的学习算法。 Hinton 曾开玩笑地表示：三人平均每周都要见一次，而聚会经常以吵架结束。我想Hinton2006年在Science上发表的经典论文应该和这些吵架相关，吵架和辩论使Hinton的思考更有深度（深度思考）。十年面壁思考，十年讨论争论，Hinton化了整整20年的时间，终于想出了神经网络第二次衰落的关键破解之法。 

达摩面壁9年（另说10年），9年后的2015年，三剑客合作写了一篇Deep Learning(深度学习)综述论文发表在Nature, 正式给他们的研究成果和无数相关研究树立了一面旗帜，影响了这些年AI的快速发展和智能产业的快速崛起，已经被引用2.5万余次了。

作者简介：陈德旺，IEEE高级会员，IEEE Trans.on ITS 编委，中国自动化学会混合智能专委会副主任，中国运筹学会智能计算分会副理事长，美国加州大学伯克利分校访问学者，福州大学数学与计算机科学学院教授、博士生导师，主要研究方向为人工智能、大数据和智能交通等。至今发表论文120余篇，其中SCI检索论文40余篇，IEEE Transaction论文13篇，他引3000余次；获得各类科研奖励10多项。