可能是时候完善人工神经网络的神经元了

中文摘要翻译：

近年来，人工神经网络（ANN）在模式识别，机器学习或人工智能领域赢得了无数竞赛。 ANNs的神经元根据70年前对生物神经元的陈旧知识而设计的。人工神经元表示为f（wx + b）或f（WX）。此设计未考虑树突的信息处理能力。但是，最近的一些研究表明，生物树突参与了输入数据的预计算。具体而言，生物树突在提取输入（特征）之间的交互信息提取中起着作用。因此，可能是时候改善人工神经网络的神经元了。本文将树突功能添加到人工神经元中。树状函数可以表示为W_i，i-1^{Ai-1○A0 | 1 | 2 | ... | i-1}。广义新神经元可以表示为f（W（W_i，i-1^{Ai-1○A0 | 1 | 2 | ... | i-1}））。简化新神经元可以表示为f（∑（WA○X ））。完善神经元后，可以尝试的网络有许多。本文展示了一些基本架构，以供参考。

有趣的事情：（1）串联的树突模块（W_i，i-1^Ai-1○Ai-1）的计算复杂度远低于秦九韶/Horner算法。这会加速计算机中基本函数的计算吗？ （2）动物的视线具有梯度，但是卷积层不具有此特性。本文提出了梯度感受野。 （3）使用Gang神经元的网络可以删除传统网络的全连接层。换句话说，“全连接层”的参数被分配给单个神经元，这样就减少了具有相同映射能力的网络参数。

强调：ResDD可以替代当前所有ANN的神经元（ResDD模块+一个线性模块）！ ResDD具有可控制的精度以获取更好的泛化能力！

GitHub代码：https://github.com/liugang1234567/Gang-neuron 

paper链接及截图：https://doi.org/10.36227/techrxiv.12477266