dwchen的个人博客分享 http://blog.sciencenet.cn/u/dwchen

博文

向深度学习三剑客学习四种科研精神(上) 精选

已有 6452 次阅读 2020-6-9 14:57 |个人分类:人工智能|系统分类:科研笔记| 人工智能, 图灵奖, 深度学习

向深度学习三剑客学习四种科研精神(上)

陈德旺

深度学习,尤其是深度神经网络学习算法的兴起和大数据的加持,结合GPU的算力,如同 “三英战吕布”,终于搞定了人工智能这一反复无常的“吕布”, 使得人工智能得以第三次复兴。

                                               image.png

如今,人工智能技术向各行各业渗透,智能产业的发展正如火如荼。 饮水思源,我们不能忘记,提出深度学习核心算法并于2019年获得图灵奖的三位英雄:深度学习三剑客: Hinton, LeCun 和Bengio. 尤其,是要向他们学习以下四种创新精神,以更好地实现我国创新能力的提升。

image.png

1.    坚持神经网络研究三十年的坚定执着精神

Hinton, LeCun 和Bengio虽然在不同的国家,处于不同的阶段,从20世纪八十年代开始,不约而同就对人工神经网络,尤其是神经网络学习算法,非常感兴趣。Hinton年纪较大,在另外2位还在读上大学或读研究生的时候,Hinton已经博士毕业,到斯坦福大学做博后了。1986年,Hinton与美国科学院院士Rumelhart等在Nature 上发表论文,提出了著名的BP(反向传播)算法: 多层神经网络参数学习算法,引起了神经网络第二次复兴的浪潮。 该经典论文至今已经被引用2万多次。 这次复兴之后,基于BP算法的神经网络解决了很多问题,相关研究和论文呈现井喷状态。 

image.png

可惜,好景不长在。几年后,研究人员发现:BP算法虽然好用,但也存在收敛速度慢,容易陷入局部最小值和网络的初始化参数密切相关。尤其,由于训练时间太长,训练参数太多,内存经常溢出,难以处理如图像识别这类高维度和大量样本数据问题。于是,神经网络的研究陷入了第二次低潮: 很难拿到课题,很难发表论文 ,很多研究人员就放弃了,转向别的研究方向。

但是,Hinton不气馁,始终坚持研究方向不动摇,苦思冥想破解之道不懈怠, 转移到加拿大多伦多大学继续开展研究。在共同发明BP算法20年后,2006年Hinton,通过深度思考和编程实践,终于想出了针对高维数据的破解之道,在Science上发表了用神经网络减少数据维度的新方法,为深度学习的兴起奠定了理论基础,至今被引用1万余次。 之后,深度神经网络的发展可谓波澜壮阔,气势如虹。由于篇幅关系,就不逐一描述了。

image.pngimage.png

 

2.    合作与争论并重的和谐团队精神

1987博士毕业后,LeCun 去加拿大多伦多大学,追随神经网络的旗手人物Hinton 做了一年的博士后。在Hinton的启发和指导下,LeCun提出卷积神经网络用于手写体识别,大幅度提高了精度,引起了关注。但好景不长,该方法的通用性不强,还是难以处理更高维的彩色图像数据。

2003年,LeCun到纽约大学任教并发展了第三个合作者:前公司同事 蒙特利尔大学教授Yoshua Bengio,与Hinton一起组成了所谓的“深度学习的阴谋( Deep Learning Conspiracy)”。据说,Bengio 在读研究生时,读到了Hinton的一篇论文,如被电击,找到了儿时非常喜欢的科幻故事的感觉。如今有机会加入偶像领导的神秘小组,自然是喜出望外。

2004年机会终于来了,Hinton拿到了一个加拿大政府支持的大项目,很快就组建了研究组,并邀请LeCun和Bengio加入了他的项目组。至此,三剑客正式进入了蜜月期 。为了证明神经网络是有用的,他们开发了更多层的神经网络(深度神经网络),用更大的数据集来训练网络,并在更强大的计算机上运行网络参数的学习算法。 Hinton 曾开玩笑地表示:三人平均每周都要见一次,而聚会经常以吵架结束。我想Hinton2006年在Science上发表的经典论文应该和这些吵架相关,吵架和辩论使Hinton的思考更有深度(深度思考)。十年面壁思考,十年讨论争论,Hinton化了整整20年的时间,终于想出了神经网络第二次衰落的关键破解之法。 

image.png

达摩面壁9年(另说10年),9年后的2015年,三剑客合作写了一篇Deep Learning(深度学习)综述论文发表在Nature, 正式给他们的研究成果和无数相关研究树立了一面旗帜,影响了这些年AI的快速发展和智能产业的快速崛起,已经被引用2.5万余次了。

 

image.png



作者简介:陈德旺,IEEE高级会员,IEEE Trans.on ITS 编委,中国自动化学会混合智能专委会副主任,中国运筹学会智能计算分会副理事长,美国加州大学伯克利分校访问学者,福州大学数学与计算机科学学院教授、博士生导师,主要研究方向为人工智能、大数据和智能交通等。至今发表论文120余篇,其中SCI检索论文40余篇,IEEE Transaction论文13篇,他引3000余次;获得各类科研奖励10多项。



http://blog.sciencenet.cn/blog-57940-1237134.html

上一篇:向Lotfi Zadeh院士学习四种创新思维
下一篇:向深度学习三剑客学习四种科研精神(中)

30 杨正瓴 郑永军 武夷山 黄永义 柳林涛 高峡 陈百利 宁利中 贺乐 王中任 朱清华 彭真明 李陶 杨宁 曾杰 赵志宏 王兴 晏成和 苏德辰 李剑超 贾玉玺 秦晓鹏 王立新 徐勇刚 王安良 唐凌峰 陈波 李毅伟 段法兵 杨小军

该博文允许注册用户评论 请点击登录 评论 (9 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-10-26 22:06

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部