1.pdf

要点.pdf

这是我见过的讨论神经网络万有逼近问题的最好的文章。在文章中，给出了最清晰，简洁的构造性证明。揭示了它的本质。

三十年前，我们接触到神经网络的万有逼近问题。发表了几篇文章。这些文章把神经网络能力的来历、优点、缺点，都已讲清楚了。此博文中介绍的论文是 1990 年 Le Page 组织的一个会议的 Invited paper.

1. 一维阶梯函数的线性组合能逼近任何连续一维连续函数。

2. Sigmoidal 函数可以逼近阶梯函数。因此,一维Sigmoidal函数的线性组合能逼近任何连续函数。

3. 把坐标轴在R^{n}中沿各个方向旋转 （如同CT原理），在每一射线上，构造Sigmoidal函数的线性组合，就可以逼近R^{n}中任何连续函数。

4. 优点：用一个简单到不能再简单的函数的线性组合和叠合可以逼近任何连续函数。

5. 缺点：天下没有免费的午餐。

6. 为了R^{n} 中函数达到精度1/N。需要识别 O(n^{N}) 个参数。这是无法承受的。

7.  无论用阶梯函数还是Sigmoidal 函数，关键是利用其跳跃部分。因此，在用梯度法时，经常会发生导数不可控。

8. 上述两个致命缺点长期阻碍了神经网络的发展和应用。深度学习就是围绕着这些问题来做的。通俗的讲，是实现神经网络逼近能力的技术。

这是第一篇用构造性方法证明神经网络逼近能力的论文.