四年前用PLDL解微分方程工作，两年半前用PNN做预测工作，这些对比KAN

文章来源：2020年12月投稿某顶刊论文，及arXiv预印v1版https://arxiv.org/abs/2203.11740v1。

不管是四年前PLDL求解疫情动力学微分方程把它称为a novel infectious disease model，两年半前PNN模拟大脑脑区,我们研究都是有开创性的。我们用这些研究对比KAN和KAN2.0。

关键词：KAN;KAN2.0;经典大脑

1.四年前PLDL

在求解疫情动力学SIR模型的感染率λ、治愈率μ和再次感染率α时，我们在2020年十月左右已经做出的用来预测疫情趋势的工作,并在2020年12月投稿某个顶刊。我认真看了20年12月投稿论文，在一条line内计算出院人数和感染人数，边k包含n₁(k)个点n，k是line的突触或神经元标号，n是line内的点标号。这段时间范围的一定天数边k里采用指数的共享感染率、治愈率和再次感染率α而不是每个点n的感染率、治愈率和再次感染率，实现了节约计算成本，基于这个目的设计了这个架构。计算这条line的出院人数和感染人数在line末端通过tanh函数激活每个Δy到下一个line的神经元和隐藏层，当时叫它多段线polyline的深度学习dl-PLDL。PLDL这个polyline也就是KAN的edges，而且KAN的样条和PLDL的多项式都符合KA表达定理。

审稿意见一个是国内教授说我的论文没有任何创新性，建议退稿。另一个是欧洲的教授，需要文字修改和加文献。

2.两年半前PNN

arXiv预印v1版塑性神经网络PNN主要通过时间序列研究大脑认知[2]，由于edge是可学习的，并且PNN连接权重进行了指数化处理，PNN的多项式还符合KA表达定理，可以叫PNN是edge学习的KAN-ELKAN，包括edge连接权重和edge强度学习，而PNN不是基于点的超越反向传播是基于边的超越反向传播[3]。

arXiv预印v1版PNN就是经典大脑，PNN对大脑的解释就是不同连接权重和范围权重对应不同类型的各脑区神经元。边的学习可以解释为突触强度的局部适应和胶质细胞吞噬突触。核函数映射到激活函数表示神经元和突触放电, 不同神经元和突触构成脑区, PNN也就是经典大脑。

在Fig.2(b)的式(2)，2022年三月PNN基于实际数据和计算结果的残差或梯度更新边k的范围权重可对比KAN2.0的树形expend，edge learning属于外部函数outer functions。不同edge的对应的共享权重作为隐函数可以指数化、或对数化或公式化处理边；edge共享连接权重作为隐函数在20年12月投稿的论文中已经实现，edge权重隐函数和KAN2.0edge端点的点乘，都是点乘处理edge上的点数据。PNN研究工作还包括模拟突触排列的头鱼效应，并且突触强度在局部协调[4]。

PLDL的Fig.1(b)和PNN的Fig.2(b)的公式差别是，Fig.1(b)公式计算了edge上共享连接权重治愈率、感染率和再次感染率；Fig.2(b)进行预测时不仅计算了edge连接权重，还计算了edge的范围权重。Fig.1(b)公式line的点样本用n表示，Fig.2(b)公式edge上点样本用t表示。

arXiv预印v1版比较constant edge、random edge和learning edge三种KAN预测时间序列的结果，见Fig.2(c)；PNN也模拟了突触成型会伤害大脑的认知[5]和突触被胶质细胞吞噬会改善大脑的认知[6]，和脑科学实验吻合。

3.PNN的进一步的研究

arXiv预印v3版本引入相对好和差长短期记忆[7]。参考窦的能量梯度理论研究湍流[8]，arXiv预印v15版本认为短期记忆变成长期记忆要符合层流变成湍流的临界条件[9]，短期记忆是大脑后部局部脑区架构矢量，长期记忆是大脑前部局部脑区架构梯度，见Fig.3。arXiv预印v16版本最早给出了深度认知、情感和记忆的大脑层级动力学[10]，见Fig.4。researchgate预印最早给出大脑各脑区edge的突触强度映射到激活函数[11]，属于内部函数inner functions，使得上游脑区低频逼近目标函数较慢，而下游脑区高频逼近目标函数较快。

这几年所有脑科学的工作都是基于PNN等做的。PNN除了可以用来解微分方程和时间序列，已经十分接近经典大脑脑区模拟，可以用PNN来验证脑科学的实验, 研究包括： 意识, 阿尔兹海默症, 长短期记忆, 量子纠缠, 大脑老化, 抑郁症, 偏见, 精神分裂症, 赫布假说, 成瘾的假说。PNN是脑科学、计算物理、理论物理和神经网络的交叉研究，将来还可以考虑非经典的大脑。

Fig.1是2020年12月投稿论文PLDL截图，包括(a) PLDL的算法思想、(b) PLDL的公式、(c) PLDL的仿真疫情动力学。

Fig.2是arXiv的预印PNN v1版截图，包括(a)arXiv的v1版PNN题目和摘要、(b)PNN的公式、(c)PNN的仿真时间序列。

Fig.3是短期记忆变成长期记忆。

Fig.4是大脑层级动力学的深度认知、记忆和情感。

(a) PLDL的算法思想

(b) PLDL的感染率、再次感染率和治愈率公式

(c) PLDL的仿真疫情动力学

Fig.1 2020年12月投稿论文MLDL截图

(a) arXiv的v1版PNN题目和摘要

(b)PNN的连接权重和范围权重公式

(c) PNN仿真时间序列

Fig.2 arXiv的预印v1版截图

Fig.3 短期记忆转化成长期记忆

Fig.4 大脑层级动力学的深度认知、记忆和情感

Reference

[1]. Liu, Z., et al. (2024). KAN: Kolmogorov-Arnold Networks. arXiv.

[2]. Tao, J., et al. (2022). Plasticity Neural Network Based on Astrocytic Influence at Critical Periods, Synaptic Competition and Compensation by Current and Mnemonic Brain Plasticity and Synapse Formation. arXiv.

[3]. Song, Y., Millidge, B., Salvatori, T., et al. (2024). Inferring neural activity before plasticity as a foundation for learning beyond backpropagation. Nature Neuroscience, 27, 348–358.

[4]. El-Boustani, S., et al. (2018). Locally coordinated synaptic plasticity of visual cortex neurons in vivo. Science (New York, N.Y.), 360(6395), 1349-1354. https://doi.org/10.1126/science.aao0862

[5] Takeo, Y. H., et al. (2021). GluD2- and Cbln1-mediated competitive interactions shape the dendritic arbors of cerebellar Purkinje cells. Neuron. https://doi.org/10.1016/j.neuron.2020.11.028

[6]. Lee, J. H., Kim, J. Y., Noh, S., Lee, H., Lee, S. Y., Mun, J. Y., Park, H., & Chung, W. S. (2021). Astrocytes phagocytose adult hippocampal synapses for circuit homeostasis. Nature, 590(7847), 612-617. https://doi.org/10.1038/s41586-020-03060-3

[7]. Tao, J., et al. (2023).Plasticity Neural Network Based on Astrocytic Influence at Critical Period, Synaptic Competition and Compensation by Current and Mnemonic Brain Plasticity and Synapse Formation. arXiv.

[8]. Dou, H.-S. (2022). Origin of turbulence-energy gradient theory. Springer. https://link.springer.com/book/10.1007/978-981-19-0087-7

[9]. Tao, J., et al. (2023). Based on Memory Generation-Consolidation-Loss and Synaptic Strength Rebalance by Current and Memory Brain Plasticity and Synapse Formation to simulate Artificial Brain. arXiv.

[10]. Tao, J., et al. (2023). Different brain regions and their functions to simulate Multiple cortexes Heart-Brain. arXiv.

[11]. Tao, J. (2024). Distribution of high and low frequency waves in brain regions and synaptic activity of higher-lower-order affection memory and cognition deep learning model. DOI: 10.13140/RG.2.2.16794.41923.