[求证] 噪声有益成因机理分析的国际优先权

我国科学家丑纪范院士，1970年代首创并实现“集合预报 ensemble prediction”

http://casad.cas.cn/sourcedb_ad_cas/zw2/ysxx/dxb/200906/t20090624_1804478.html

（左） Professor Bart Kosko, Ph.D., J.D. IEEE fellow，

http://sipi.usc.edu/~kosko/index.html

（右） Yoshua Bengio 教授

https://mila.quebec/yoshua-bengio/

当前“noise benefit（噪音效益）”方面的代表性专家。

段法兵教授，“noise benefit（噪音效益）”研究的倡导者

http://blog.sciencenet.cn/home.php?mod=space&uid=1065241

  IEEE Fellow Bart Kosko 教授在2009年的2区SCI Top期刊《IEEE TRANSACTIONS ON SIGNAL PROCESSING》刊登的论文《Optimal noise benefits in Neyman–Pearson and inequality-constrained statistical signal detection》里，比较明确提出 noise benefit（噪音效益）一词。基本含义：合理地利用噪声，会使信息处理的结果更好。

一、噪声有益的机理分析（我们2007年）

  我们在2007年汉语论文《短期负荷预测的Ensemble混沌预测方法》里，实质性地解释过“noise benefit（噪音效益）”的核心成因：

（1）测量误差：

  现实世界里的测量误差，会引起“事物的真值”与输入到“信息处理系统的输入值”之间有一定的差异。这样，利用在输入值或处理过程中“额外加入的噪声”，假如施加得当，反而会使得“加入噪声”之后的信息，更接近事物的真值。

（2）数字计算机截断误差：

  因为数字计算机有效数字的长度是一定的。当数字的有效数字位数超过该长度后会被甩掉，引起“截断误差”。例如，实数的有效数字位数是无穷大。

  特别是当分母的绝对值接近0时，截断误差会引起一定量的“信息处理”误差。

  同理，“额外加入的噪声”的处理结果，可能更接近事物的真值。

  此外，我们2011年的会议论文《Reduce forecasting errors by low order nonlinear transformations for complex time series》的图1（Figure 1 The relations between the white noise intensity Q in the input data and the forecasting errors of AR(2). ）里有一个明确的曲线（低噪声有好处）：

二、相关背景

  我国科学家丑纪范先生早在1970年代在世界上率先（当然是独立于国外）提出“由历史资料反求大气要素和参数使之与长期预报模式相匹配的方法”，即“集合预报 ensemble prediction”。丑纪范先生1993年当选为中国科学院院士。

  杜钧老师2002年的汉语论文《集合预报的现状和前景》对我们有很大的启发。当初 ensemble prediction 的英文资料很多，但我们不是气象领域的，阅读英文文献困难。有了杜老师的汉语文献，再阅读英文文献就容易多了。所以【强制性要求发表汉语论文的好处】是切身体会。

  将“动力系统的方程”的“集合预报 ensemble prediction”移植到时间序列预测中，在世界上大约的确我们不是最早的。但是，是我们率先阐明时间序列里“集合预报 ensemble prediction”的机理？

三、对智能领域的建议

  在利用噪声方面，气象学的“集合预报 ensemble prediction”不仅在输入值方面进行了实践，还将模型不确定性进行了考虑（“超级集合预报 super-ensemble”）。建议智能领域的人员进行一定的借鉴，以加快噪声的利用。

  依托我们的机理解释，可以更好地在机器学习中利用好噪声。包括噪声类型（概率密度函数），噪声强度等的更好利用。如可以仿照集合预报，由机器学习的误差来反求噪声的类型与强度。依据“误差的成因”（误差的概率分布与强度等），可以更好地在输入量中加入噪声。这有些类似控制理论里的“前馈控制 Feedforward Control”。

  在深度学习里使用噪声，很类似天气预报里的“超级集合预报 super-ensemble”。建议感兴趣的老师们试验一下！

https://www2.eecs.berkeley.edu/Faculty/Homepages/zadeh.html

http://soft-computing.de/def.html

  按照 Lotfi A. Zadeh（模糊理论创始人，美国工程院院士）的观点，“chaos theory 混沌理论”属于“soft computing 软计算”，软计算属于“machine learning 机器学习”。为保卫中国人在“noise benefit（噪音效益）”核心成因方面的世界范围优先权，特写本文进行请教！

  注：这项发现好像不是很重要的工作。比“院士水平”大概低了2个量级？可能比“吉尼斯世界纪录 Guinness World Records”高了几个量级？所以，无论“拿到”还是“丢失”，应该都不是太大的事情。

  可能的前景：

  经过漫长的等待后，在未来的《机器学习 Machine Learning》、《时间序列分析与预测 Time Series Analysis and Forecast》、《非线性动力系统及其应用 Nonlinear Dynamic System and Its Applications》等教材里，会写到：“由于实际中测量误差和数字计算机的截断误差等，合理加入噪声会取得更好的效果。”之类。仅此而已，而已。

参考资料：

[1] 段法兵，2019-10-30，有关噪声有益性与机器学习相结合的研究方向倡导书

http://blog.sciencenet.cn/blog-1065241-1204108.html

[2] Ashok Patel, Bart Kosko. Optimal Noise Benefits in Neyman–Pearson and Inequality-Constrained Statistical Signal Detection [J]. IEEE TRANSACTIONS ON SIGNAL PROCESSING, 2009, 57(5): 1665-1669, MAY 2009

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4749305&tag=1

[3] Audhkhasi K, Osoba O, Kosko B. Noise-enhanced convolutional neural networks. Neural Networks, 2016, 78:15-23. https://doi.org/10.1016/j.neunet.2015.09.014

https://www.sciencedirect.com/science/article/pii/S0893608015001896

[4] Professor Bart Kosko, Ph.D., J.D.

http://sipi.usc.edu/~kosko/profile_1.html

[5] Yoshua Bengio

https://mila.quebec/yoshua-bengio/

[6] 杜钧. 集合预报的现状和前景（Present situation and prospects of ensemble numerical prediction）[J]. 应用气象学报，2002, 13(1): 16-28

http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=yyqxxb200201002

http://www.cnki.com.cn/Article/CJFDTotal-YYQX200201001.htm

[7] 丑纪范，中国科学院

http://casad.cas.cn/sourcedb_ad_cas/zw2/ysxx/dxb/200906/t20090624_1804478.html

  20世纪60年代首先将变分法和泛函分析引入到数值天气预报，提出的理论和方法比国外同类工作早近10年。70年代论证准地转模式大气温压场的演变与下垫面热状况的等价性，将正问题和反问题结合起来，提出由历史资料反求大气要素和参数使之与长期预报模式相匹配的方法。用最新颖的数学方法揭示大气动力学方程组的整体和全局行为，得到最好的结果。

[8] 2019-11-21，强制性要求发表汉语论文的好处（要点）

http://blog.sciencenet.cn/blog-107667-1207020.html

[9] A Definition of Soft Computing - adapted from L.A. Zadeh

http://soft-computing.de/def.html

  the principal constituents of Soft Computing (SC) are Fuzzy Logic (FL), Neural Computing (NC), Evolutionary Computation (EC) Machine Learning (ML) and Probabilistic Reasoning (PR), with the latter subsuming belief networks, chaos theory and parts of learning theory. 

[10] 短期负荷预测的Ensemble混沌预测方法(Ensemble chaotic forecasting method in short term load forecasting)[J]. 电力系统自动化，2007, 31(23): 34-37

http://www.cnki.com.cn/Article/CJFDTOTAL-DLXT200723009.htm

http://www.cqvip.com/Main/Detail.aspx?id=26107643

[11] Reduce forecasting errors by low order nonlinear transformations for complex time series [C]. 2011 International Conference on Electronics, Communications and Control, ICECC 2011 – Proceedings, , Volume 4, September 9, 2011 - September 11, 2011, Pages: 2209-2212 

https://ieeexplore.ieee.org/document/6067913

https://www.infona.pl/resource/bwmeta1.element.ieee-art-000006067913

感谢您的指教！

感谢您指正以上任何错误！

感谢您提供更多的相关资料！

—————— 后记 ——————

  噪声有益的两个成因：

（1）测量误差：

  至迟1970年代气象领域就知道（如我国丑纪范院士）。

（2）数字计算机截断误差：

  至迟1960年代气象领域就知道（如“Edward Norton Lorenz 在1963年发现混沌现象”）；以及1970年代的计算机数值计算与算法领域就知道（如“快速矩阵乘法的1969年Strassen算法之后”研究）。

  我们是将它们移植到《机器学习 Machine Learning》、《时间序列分析与预测 Time Series Analysis and Forecast》、《非线性动力系统及其应用 Nonlinear Dynamic System and Its Applications》。

  具体些：

  属于数理科学传统的《非线性动力系统及其应用 Nonlinear Dynamic System and Its Applications》，可能对“测量误差”关注不够，但在典型的气象领域是常识。

  从事《机器学习 Machine Learning》的年轻人，大概不是历史学家，所以不清楚 1970年代“数字计算机截断误差”这些老知识。

  《时间序列分析与预测 Time Series Analysis and Forecast》，近几十年主要是文科生在做研究。如 Robert F. Engle III、Clive W.J. Granger 拿的是 2003年诺贝尔经济奖（The Sveriges Riksbank Prize in Economic Sciences in Memory of Alfred Nobel 2003）。

https://www.nobelprize.org/prizes/economic-sciences/2003/summary/

  曾经的数学家 Carl Harald Cramér (Swedish: ; 25 September 1893 – 5 October 1985) 已经去世多年了。他肯定知道这些知识。

http://mathshistory.st-andrews.ac.uk/Biographies/Cramer_Harald.html

https://enacademic.com/dic.nsf/enwiki/142515

  总之，从人类科技的总体角度看，我们不是首创，顶多是有一定意义的“领域内创新”。

  比“院士水平”大概低了2个量级。还不是低了1个量级。比“吉尼斯世界纪录 Guinness World Records”用途大点吧？

世界太大了！

所以，福楼拜说：“大地有其边界，人类的愚蠢却没有尽头。”

Gustave Flaubert wrote that “Earth has its boundaries, but human stupidity is limitless.” 

—————— 后记（2） ——————

我不同意夏香根老师的观点，但捍卫他说话的权利。

是非成败转头空。青山依旧在，几度夕阳红。青山遮不住，毕竟东流去。

推荐阅读：

[1] 夏香根，2019-12-04，拾起记忆：神经网在二十年前是怎么＂死＂的

http://blog.sciencenet.cn/blog-3395313-1208708.html

  我认为在图像压缩中没有应用主要是对Vector Quantization（VQ）的抛弃，因为其它方法比VQ更好。我认为在通信系统中的没用主要是来自于对盲均衡和半盲均衡的抛弃，特别是由于CDMA和OFDM两种调制方式广泛的应用。这主要是因为数字通信中只有得到实际的釆用才算有用，辩别的准则相对比较清晰。记得那时，在整个通信界大家对神经网都嗤之以鼻和不屑一顾，而神经网也像是一笑柄成为过街老鼠。由于二十年前通信领域的革新技术是主宰社会的技术，神经网就那么＂死＂了，绝大多数做神经网的人员也转了行。

  现如今，由于神经网的再度火爆，通信界早已顾不上二十年前的故事了，也许是由于二十年前的人已经退化了记忆，也许是现代年轻人生长在潮流中，要不难道是神经网真能复活？目前有很多做通信系统的人正在利用神经网来学习信道，这正好与二十年前在信源编码中的VQ类似，它们是两个Dual问题。二十年前VQ在信源编码，即图像压缩中已经被抛弃过了，难道会在通信系统中有用？对于更高层的网络，难道是用神经网来逼近通信网？如果这样，会是杀鸡用了宰牛刀么？

  难道下一个二十年是要靠刷脸生活了？😂😂😂