dwchen的个人博客分享 http://blog.sciencenet.cn/u/dwchen

博文

向深度学习三剑客学习四种科研精神(中) 精选

已有 6067 次阅读 2020-6-12 07:07 |个人分类:科技创新|系统分类:科研笔记| 深度学习, 图灵奖, 三剑客

向深度学习三剑客学习四种科研精神(中)

陈德旺

深度学习三剑客Hinton, LeCun和Bengio,经过长时间的反复讨论,相互辩论和编码实现,终于合力搞定了深度神经网络学习算法这个怪兽。他们的贡献,主要体现为以下三个方面的新思路:1)利用新的激活函数ReLu等解决了梯度消失或发散问题;2)利用卷积运算和参数共享解决了高维图像的特征提取和降维问题;3)利用逐层训练和Dropout等技术解决了网络参数太多,训练时间长,容易过拟合等问题。如同神勇无敌的唐朝大将军薛仁贵“三箭定天上“,深度学习三剑客三箭齐发,终于合力搞定了深度学习算法,实现了对深度神经网络的多层庞大参数的学习和调整。

                                                image.png image.png

3.    注重编码实现和开源的实干开放精神

深度学习与其说是一种理论,不如说是一种高超的编程技术。深度学习的实现需要大数据,GPU(图形处理器)和深度学习算法同时发力,对深度神经网络的几百万,几千万的参数进行学习,不断降低误差,达到非常高的精度,在图像识别,语音识别和下围棋等领域都超过了人类专家。

LeCun亲手制作了被Hinton称为“机器学习界的果蝇”的经典数据集MNIST,并亲自编程实现了LeNet5网络,点燃了深度神经网络再度复兴的希望。Hinton年纪虽然有些大了,但有亲自实现BP算法的丰富编程经验。“老骥伏枥,志在千里“,在Hinton的循循善诱下,他的研究生Alex 编写出了著名的AlexNet网络,一举取得ImageNet大赛的冠军,并遥遥领先于第二名,标志着深度神经网络的第三次再度兴起。 Bengio也是编程实现的高手,率先带领了团队开发了深度学习算法库Theano,使得我们使用深度学习算法变得非常方便,极大地推动了深度神经网络的推广和普及。

image.pngimage.png

 三剑客既各有所长,又相互补充,你中有我,我中有你,才形成了深度学习完整的理论体系和算法实现,因此分享图灵奖是非常合理的。历史上,图灵奖一般来说,1年只发给1人,很少发给2人,据我所知,这是第1次发给3人。 他们这种“亲力亲为,止于至善”的工匠精神非常值得我们科研人员学习。我国传统文化的"坐而论道"思维其实对今天科技的发展有一定阻碍作用。

image.pngimage.png

尤其值得称道的是,这三位大专家不仅是埋头苦干的编程实干家,更是胸怀宽广的计算机科学家。在他们的个人网页,可以找到各种学习资源,从论文到PPT,从数据集到代码,均可下载,毫无保留。这种公开开放的精神,给深度学习的推广以非常大的助力。这就像一个武林高手公开了自己的武功秘籍和练功方法,不怕别人超越,也欢迎别人超越,比金庸笔下阴险毒辣,独占秘笈的东方不败和隐居山林,后继乏人的独孤求败境界要高很多。 

image.pngimage.png



作者简介:陈德旺,IEEE高级会员,IEEE Trans.on ITS 编委,中国自动化学会混合智能专委会副主任,中国运筹学会智能计算分会副理事长,美国加州大学伯克利分校访问学者,福州大学数学与计算机科学学院教授、博士生导师,主要研究方向为人工智能、大数据和智能交通等。至今发表论文120余篇,其中SCI检索论文40余篇,IEEE Transaction论文13篇,他引3000余次;获得各类科研奖励10多项。

参考文献:

1) 陈德旺, 向深度学习三剑客学习四种科研精神(上) http://blog.sciencenet.cn/home.php?mod=space&uid=57940&do=blog&id=1237134



http://blog.sciencenet.cn/blog-57940-1237499.html

上一篇:向深度学习三剑客学习四种科研精神(上)
下一篇:向深度学习三剑客学习四种科研精神(下)

14 王宏琳 杨金波 曾杰 宁利中 黄永义 王安良 杨正瓴 农绍庄 晏成和 鲍海飞 李剑超 孙学军 贾玉玺 段法兵

该博文允许注册用户评论 请点击登录 评论 (24 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-10-21 13:29

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部