计算科学与人工智能分享 http://blog.sciencenet.cn/u/kinglandom 专注计算科学与人工智能的进展、原理及实现。

博文

人工智能领域常见激活(激励)函数类型(原创)

已有 2096 次阅读 2018-3-2 18:01 |个人分类:理论探索|系统分类:科研笔记


激活函数(Activation functions)对于人工神经网络模型、机器学习、模式识别等学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到所构造的网络中,换句话说激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。此外,若激活函数具有稀疏性,则可以更好的从有效的数据维度上,学习到相对稀疏的特征,起到特征自动解耦的作用。在支持向量机(是机器学习中一种重要的方法)中也常称为核函数(kernel method,kernel trick),一般定义是将原始表达转换到一个隐式特征空间去,该空间具有更好的特征可分性质。

图1总结了常用的激活函数类型(含名称、图形、算式、一阶导数、范围等详细信息),可供广大从业者参考。图2给出了ReLu激活函数映射示意图,图中红色点为映射s数据,W为权值,b为偏置。


原文与图片详见如下链接:

https://baijiahao.baidu.com/s?id=1592187927529881491&wfr=spider&for=pc




http://blog.sciencenet.cn/blog-85556-1101975.html

上一篇:《魅力温州》之 “山和水”
下一篇:世界首位机器人大学生尝试学习“什么是爱”(原创)

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-24 14:41

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部