迭代算法从某种意义上来说与落到实地的学习算法几乎可以划等号了。

在信号处理里，迭代算法可能最早出现在自适应算法里，如60年代Widrow的LMS算法，在此当中变量是实或复变量，是连续的，无穷的。 后来又有各种各样的神经网，非线性信号处理的算法，其实它们都有自适应算法的形式，只是步长和下一步走向的选择不一样而已。

自适应迭代算法的一个最经典的应用就是在通信里的信道信息获取的应用。20多年前，工业界追求低成本，自适应算法在有线和无线的通信系统中已被在均衡器中广泛应用，如计算机的MODEM和早期北美的数字电视传输等。特别是在Data辅助下，再利用通信信号的有限性，作迭代前的非线性决策后的Decision Feedback Equalizer (DFE) 起到了决定性的应用。

在通信系统的编码领域，自从70和80年代的Trellis Coded Modulation (TCM)后，最成功的就算是Turbo和LDPC码的出现。我个人觉得，Turbo码主要的贡献是迭代解码的引进。我觉得，迭代算法并不希奇，希奇的是在迭代中间的信息传递过程(extrinsic information passing)，这一步是以前信号处理里的迭代算法所没有的，而又是充分利用了通信系统中有限信号个数的性质。

在大多数的机器学习算法中，变量都应是连续的无穷的不一定做非线性处理的，我觉得其迭代算法就与自适应迭代算法很接近了。当然在下棋中，变量/格数是有限的，我想这时就有走遍历还是求梯度的平衡了（我不懂深度学习没看过AlphaGo，只是猜测）。