L528420556的个人博客分享 http://blog.sciencenet.cn/u/L528420556

博文

投入深度学习领域之后

已有 1742 次阅读 2019-5-17 10:54 |个人分类:学习感想|系统分类:科研笔记| 深度学习、学习感想

一:系统的学习很重要,哪怕它会占据你短期内的绝大部分时间。

最近一个多月,借助于邱锡鹏教授的开源书籍《神经网络与深度学习》梳理了一下深度学习的理论知识和技术发展脉络。深有体会的是,通过这次系统的梳理对于之前自己学习的那些零零散散的理论和算法有了更加深刻的理解与感触。虽然之前也有参考其他深度学习教材数目,但没有完全坚持下去认真梳理。认为完完整整的看完一本书会比较浪费时间。因此在之前的一段时间里,个人更加偏向技术干货、或者博文。虽然网上也开源了非常多的相关资料与博文,零零散散良莠不齐,但是当自己真正的发现已经渐入佳境,慢慢步入到这个领域之后,会意识到之前的学习方法的缺陷。如果不系统的梳理与学习,通常来说很难构造出自己的理论与思想体系。也真正的意识到学习就像盖房子,你所学的知识点就是砖块,如果没有按照某个主体框架去搭建房屋,仅仅依靠砖块的堆砌是很难造出高大的房子的,而且也不牢固松松垮垮。系统的学习与梳理固然会占据大量的时间,但是从长远来看是值得我们投入的时间成本。

其二:不仅仅是理论,工程实践能力非常重要。

机器学习,深度学习的理论是一个涵盖统计、概率、计算机科学、神经科学等多学科多方面的领域,不仅要求对相关学科领域有较深的的理解,同时对于程实践能力也有很高的要求。因为我们必须将我们的想法借助于计算机语言将其实现。这对于任何计算机科学相关的研究领域来说都很重要。

这里有一个有趣的故事:lan Goodfellow在2014年提出的GAN网络现在是计算机视觉一个非常热门与火爆的神经网络。学术界关于GAN网络的诞生有一个非常有趣的故事。据说是lan Goodfellow喝酒喝多了跟同事讨论学术问题,突然灵光一闪,提出了GAN的初步想法,GAN的主要灵感来源于博弈论中零和博弈的思想,由一个生成网络与一个判别网络组成,两者不断的博弈,互相对抗直到达到一个平衡。但是当时没有得到他同事的认可。但是喝完酒后,lan Goodfellow回到家里,熬夜写了个代码,结果发现这个想法可行,于是经过一番研究,GAN就诞生了。

这虽然只是学术界的一个小故事,但是从这个故事我们可以获得至少两个重要的信息,第一个是:深度学习很多非常重要的算法和网络思想来自于其他学科,如GAN,如卷积神经网络,如感知机。因此这要求我们了解多领域学科知识和思想。第二个重要的信息是:必须具备较强的代码实现能力。只有将想法或者思想通过代码复现和验证才能得到预期的结果。

最后:我们都应该看远一点,无论是得失还是成败。




https://blog.sciencenet.cn/blog-3412955-1179570.html

上一篇:注意力在图像描述模型上的应用和改进
下一篇:《我的确》
收藏 IP: 183.238.79.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-25 14:44

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部