题目： 神经网络的激活函数综述

主讲人：凌震

时间： 2021-09-14（周二） 上午10点30分

地点：工程学院513

简介：（1）什么是神经网络激活函数

          （2）常见的神经网络激活函数

参考文献：

[1] Misra D. Mish: A self regularized non-monotonic neural activation function[J]. arXiv preprint arXiv:1908.08681, 2019, 4: 2.

[2] Schmidt-Hieber J. Nonparametric regression using deep neural networks with ReLU activation function[J]. The Annals of Statistics, 2020, 48(4): 1875-1897.

[3] Sharma S, Sharma S. Activation functions in neural networks[J]. Towards Data Science, 2017, 6(12): 310-316.

[4] Zhu H, Zeng H, Liu J, et al. Logish: A new nonlinear nonmonotonic activation function for convolutional neural network[J]. Neurocomputing, 2021, 458: 490-499.

[5] 刘宇晴.一种新型自适应神经网络激活函数用于深度学习研究【D】.吉林大学.2020(08)