拾起记忆：神经网在二十年前是怎么＂死＂的

许秋雨，2019年12月3日

现在可以说是神经网最史无前例的热潮期。它并不是无前例，只是以前没有现在范围大，广和深信不移。学生们可以忽视1加1等于2，但是不会放过＂深度学习＂。他们不会也不愿接受神经网二十年前＂死＂过的事实。

记忆这玩艺儿最有意思，在大热潮之中退色得更快，甚至会完全消失，特别是对随潮的人群。我也想随潮，但是总有一种心结，主要是怪我的记忆没有完全退色。当然，二十年是科研界中数代人的时间，记忆完全消失真有很大的可能。

神经网主要还是在信息领域中生和长，当然也包括＂死＂。二十年前，在信息领域中有两件最主要和流行的事情（或者说应用），其实它们都是围绕着数字通信这件事。它们是图像及视频压缩和通信系统的编解调。那时人们发现神经网在此两件事情中都无应用。

我认为在图像压缩中没有应用主要是由于对Vector Quantization（VQ）的抛弃，因为其它方法比VQ更好。我认为在通信系统中的没用主要是来自于对盲均衡和半盲均衡的抛弃，特别是由于CDMA和OFDM两种调制方式广泛的应用。这主要是因为数字通信中只有得到实际的釆用才算有用，辩别的准则相对比较清晰。记得那时，在整个通信界大家对神经网都嗤之以鼻和不屑一顾，而神经网也像是一笑柄成为过街老鼠。由于二十年前通信领域的革新技术是主宰社会的技术，神经网就那么＂死＂了，绝大多数做神经网的人员也转了行。

现如今，由于神经网的再度火爆，通信界早已顾不上二十年前的故事了，也许是由于二十年前的人已经退化了记忆，也许是现代年轻人生长在潮流中，要不难道是神经网真能复活？目前有很多做通信系统的人正在利用神经网来学习信道，这正好与二十年前在信源编码中的VQ类似，它们是两个Dual问题。二十年前VQ在信源编码，即图像压缩中已经被抛弃过了，难道会在通信系统中有用？对于更高层的网络，难道是用神经网来逼近通信网？如果这样，会是杀鸡用了宰牛刀么？

难道下一个二十年是要靠刷脸生活了？😂😂😂