spring63的个人博客分享 http://blog.sciencenet.cn/u/spring63

博文

漫谈KAN 精选

已有 4665 次阅读 2024-5-10 07:39 |个人分类:STEM札记|系统分类:海外观察

麻省理工和加州理工等机构提出的KAN(参考资料[1]),在过去7~8天中,受到国内外媒体关注。KAN是“Kolmogorov-Arnold Network柯尔莫哥洛夫-阿尔诺德网络)”英语首字母缩写。海外有媒体称之为“深度学习中可解释性和准确性的新时代”、“深度学习的新前沿”。国内评论说:“全新神经网络架构KAN一夜爆火!”、“用了几十年的MLP迎来挑战者KAN”、“MLP一夜被干掉!”等。

MLP多层感知机)是当今深度学习的基础构件,是逼近非线性函数的基石。但它也有其局限性。个显著的缺点是:它们缺乏可解释性和参数量巨大。另外,人们还希望不断提高精度KAN是一种有希望的MLP替代方案。

MLP的设计灵感来源于通用逼近定理,而KAN的设计灵感则来源于柯尔莫哥洛夫-阿尔诺德表示定理。与MLP类似,KAN拥有全连接的结构。然而,MLP在节点(神经元)上放置固定激活函数,KAN则在边(权重)上放置可学习的激活函数。1和图2简明揭示了KAN特征及其与MLP比对。

image.png 

1 KAN示意图

image.png 

2 MLPKAN

什么是柯尔莫哥洛夫-阿尔诺德表示定理(KAT)?什么是于柯尔莫哥洛夫-阿尔诺德网络(KAN)?附图3和4依据参考资料[2],给出极简要的数学描述

image.png

图3 KAT简要描述

image.png

图4 KAN简要描述

简单地说,KAN代表了深度学习范式的转变,利用数学原理来增强可解释性和准确性。

麻省理工学院Ziming Liu(刘子鸣,注1)等人的论文中提到,“我们提出的柯尔莫哥洛夫-阿尔诺德网络,是为了纪念两位伟大的已故数学家安德雷·柯尔莫哥洛夫和弗拉基米尔·阿尔诺德”。安德雷·柯尔莫哥洛夫(1903425-19871020日),俄国数学家,他的工作影响了现代数学的许多分支,尤其是对概率论、集合论、信息论、数论、算法和拓扑学做出了重大贡献。弗拉基米尔·阿尔诺德(1937612日—201063日),出生于前苏联敖德萨(现在是乌克兰第四大城市),主要致力于动力系统、微分方程和奇点理论方面的研究。

前面提到的论文的配套的程序代码,已经开源。可以通过github安装,也可以通过PyPI安装。其文档可以在GitHub(世界领先的软件开发、协作和安全平台)上找到(参考资料[2]),包括Hello KAN!APIAPI DemosEXAMPLES

据介绍,虽然之前的研究已经探索了柯尔莫哥洛夫-阿尔诺德定理(KAT)和神经网络的交叉,但大部分研究都局限于有限的网络架构和简单的实验。这项研究通过将KAN的范围,扩展到任意大小和深度,从而使其与当代深度学习要求保持一致。此外,深入研究了机械可解释性(MI),展示了在KAN中持续学习激活函数的潜力。特别是,在物理信息神经网络和数学人工智能应用等领域(如,纽结理论),KAN显示出了前景。

KAN被提议作为深度学习中MLP的替代方案。KAN在边上引入了可学习的激活函数,在准确性和可解释性方面超过了MLP。利用柯尔莫哥洛夫-阿尔诺德表示定理,采用单变量B样条曲线进行函数表示。与传统的MLP架构比较,KAN能用更少的参数在数学、物理问题上取得更高精度。在各种任务中,包括回归、解偏微分方程和持续学习,KAN的表现都优于MLPKAN通过揭示组成结构和拓扑关系提供了可解释性,为科学发现带来了希望。可解释性和准确性至关重要。

目前KAN训练速度比较慢,这是未来需要改进的工程问题。前几天(54日),GitHub的另外一个存储库(参考资料[3])声称包含了“一个高效的柯尔莫哥洛夫-阿尔诺德网络(KAN)实现”,对原来的实现做了一点改进(注2)。

注:

[1] Ziming Liu刘子鸣),20169月至20206月,北京大学物理学本科生,20212月至今,麻省理工学院物理学博士生,导师是Max Tegmark,他的研究兴趣主要集中在人工智能和物理学的交叉领域。

[2] 据参考资料[3]介绍,最初实现的性能问题主要是因为它需要扩展所有中间变量来执行不同的激活函数。对于具有in_features输入和out_features输出的图层,原始实现需要将输入扩展为具有形状(batch_size, out_features, in_features)的张量来执行激活功能。然而,所有的激活函数都是一组固定的B样条基函数的线性组合;鉴于此,他们将计算重新表述为用不同的基函数激活输入,然后将它们线性组合。这种重构可以显著降低内存成本,并使计算成为直接的矩阵乘法,并且可以自然地向前和向后传递。

参考资料:

[1] Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark. KAN: Kolmogorov-Arnold Networks. arXiv:2404.19756 (cs). Submitted on 30 Apr 2024 (v1), last revised 2 May 2024 (this version, v2)https://arxiv.org/pdf/2404.19756

[2] Kolmogorov Arnold Network (KAN) documentation. https://kindxiaoming.github.io/pykan/

[3 ] https://github.com/Blealtan/efficient-kan/tree/master

[4] Johannes Schmidt-Hieber. The KolmogorovArnold representation theorem revisited.Neural Networks 137 (2021) 119126



https://blog.sciencenet.cn/blog-3005681-1433430.html

上一篇:什么是光
下一篇:漫谈计算机与石油物探
收藏 IP: 219.142.27.*| 热度|

5 宁利中 李升伟 雷蕴奇 冯圣中 崔锦华

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-14 01:53

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部