科研笔记2

20191204

  近期由博士生段玲玲翻译讲解，我们就Kim的Deep Learning一书进行了详细的学习，基本上清晰了深度学习的基本知识，这几周的学习非常有益。现就今后发展方向给大家介绍一下。

一：机器学习中的噪声有益性

  机器学习和深度学习有区别，机器学习算法非常多，最小二乘回归都属于其中一类，甚至有鲁棒学习，其他贝叶斯、聚类、决策树等等，而深度学习更好像偏重于基于网络结构的一种训练方法。下面这方面理论方面大家“各自为政”学习，老师我也是小白一个，各位如果自己看懂一部分，可以来周五讨论会给大家讲解！

  机器学习发展非常快，我建议大家第一步可以找噪声有益性的例证，然后发表，在这个方面取得所谓的研究基础，然后再寻找非常好的理论基础！

  我建议如下书籍：

1： Michael Nielsen著的Neural Network and Deep Learning书籍，有翻译稿，见后面PDF文件。这本书比较详细。

2：AI算法工程工程师手册，华校专著，没有PDF，网站http://www.huaxiaozhuan.com/

3：Matlab工具箱有MathWorks的关于该工具箱的超详细用户手册：Statistics and Machine Learning Toolbox User's Guide，共8000多页，大家机器如果能够承受的话，可以装任昱昊下载的2019版，里面内容挺成熟的，比如网络的搭建已经模块化！就是和Simulink一样可以拖曳搭建！输入deepNetworkDesigner 即可！

二：信号估计和滤波中的噪声有益性

  这个方向已经进行很久了，也出了不少论文，但是现在已经发展到了很艰难的阶段，从单参数到多参数发展，从批数据处理到序贯估计、滤波发展，这个方面需要吃透S Kay和H. L. von Trees两者的理论基础上继续进行，我们已经实验出了最小二乘、卡尔曼滤波的可行性，但是从理论上证明可行性，以及最优的可利用噪声分布方面都是非常艰难的部分。

三：个人能动性的重视

   从我读博士的经历，以及接触的各高校老师的博士，国外的博士，个人主观能动性非常重要，基本思路和框架在导师确定的基础上，那么自己如何广泛阅读文献，从基础理论推导弄清楚问题，设计实验，验证结果总结，形成论文，投稿，意见回复，这些研究生阶段训练的必要环节，同时还要锻炼自己中文写项目的能力，注意写科研论文严谨性和写项目的创新性（适当地talk big）！不少博导的基金本子都是出自博士生之手这个结论一点都不违背现实！一定要花时间补基础，改变老师讲授的习惯，养成自我探索的路子，循序渐近，从现象到本质，慢慢摸清背后规律，为自己毕业后自主研究打下基础！