向深度学习三剑客学习四种科研精神（中）

陈德旺

深度学习三剑客Hinton, LeCun和Bengio，经过长时间的反复讨论，相互辩论和编码实现，终于合力搞定了深度神经网络学习算法这个怪兽。他们的贡献，主要体现为以下三个方面的新思路：1）利用新的激活函数ReLu等解决了梯度消失或发散问题；2）利用卷积运算和参数共享解决了高维图像的特征提取和降维问题；3）利用逐层训练和Dropout等技术解决了网络参数太多，训练时间长，容易过拟合等问题。如同神勇无敌的唐朝大将军薛仁贵“三箭定天上“，深度学习三剑客三箭齐发，终于合力搞定了深度学习算法，实现了对深度神经网络的多层庞大参数的学习和调整。

3.    注重编码实现和开源的实干开放精神

深度学习与其说是一种理论，不如说是一种高超的编程技术。深度学习的实现需要大数据，GPU（图形处理器）和深度学习算法同时发力，对深度神经网络的几百万，几千万的参数进行学习，不断降低误差，达到非常高的精度，在图像识别，语音识别和下围棋等领域都超过了人类专家。

LeCun亲手制作了被Hinton称为“机器学习界的果蝇”的经典数据集MNIST，并亲自编程实现了LeNet5网络，点燃了深度神经网络再度复兴的希望。Hinton年纪虽然有些大了，但有亲自实现BP算法的丰富编程经验。“老骥伏枥，志在千里“，在Hinton的循循善诱下，他的研究生Alex 编写出了著名的AlexNet网络，一举取得ImageNet大赛的冠军，并遥遥领先于第二名，标志着深度神经网络的第三次再度兴起。 Bengio也是编程实现的高手，率先带领了团队开发了深度学习算法库Theano，使得我们使用深度学习算法变得非常方便，极大地推动了深度神经网络的推广和普及。

 三剑客既各有所长，又相互补充，你中有我，我中有你，才形成了深度学习完整的理论体系和算法实现，因此分享图灵奖是非常合理的。历史上，图灵奖一般来说，1年只发给1人，很少发给2人，据我所知，这是第1次发给3人。 他们这种“亲力亲为，止于至善”的工匠精神非常值得我们科研人员学习。我国传统文化的"坐而论道"思维其实对今天科技的发展有一定阻碍作用。

尤其值得称道的是，这三位大专家不仅是埋头苦干的编程实干家，更是胸怀宽广的计算机科学家。在他们的个人网页，可以找到各种学习资源，从论文到PPT，从数据集到代码，均可下载，毫无保留。这种公开开放的精神，给深度学习的推广以非常大的助力。这就像一个武林高手公开了自己的武功秘籍和练功方法，不怕别人超越，也欢迎别人超越，比金庸笔下阴险毒辣，独占秘笈的东方不败和隐居山林，后继乏人的独孤求败境界要高很多。 

作者简介：陈德旺，IEEE高级会员，IEEE Trans.on ITS 编委，中国自动化学会混合智能专委会副主任，中国运筹学会智能计算分会副理事长，美国加州大学伯克利分校访问学者，福州大学数学与计算机科学学院教授、博士生导师，主要研究方向为人工智能、大数据和智能交通等。至今发表论文120余篇，其中SCI检索论文40余篇，IEEE Transaction论文13篇，他引3000余次；获得各类科研奖励10多项。

参考文献：

1） 陈德旺， 向深度学习三剑客学习四种科研精神（上） http://blog.sciencenet.cn/home.php?mod=space&uid=57940&do=blog&id=1237134