激活函数（Activation functions）对于人工神经网络模型、机器学习、模式识别等学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到所构造的网络中，换句话说激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。此外，若激活函数具有稀疏性，则可以更好的从有效的数据维度上，学习到相对稀疏的特征，起到特征自动解耦的作用。在支持向量机（是机器学习中一种重要的方法）中也常称为核函数（kernel method,kernel trick），一般定义是将原始表达转换到一个隐式特征空间去，该空间具有更好的特征可分性质。

图1总结了常用的激活函数类型（含名称、图形、算式、一阶导数、范围等详细信息），可供广大从业者参考。图2给出了ReLu激活函数映射示意图，图中红色点为映射s数据，W为权值，b为偏置。

原文与图片详见如下链接：

https://baijiahao.baidu.com/s?id=1592187927529881491&wfr=spider&for=pc