博文

往日（17）：小忆“线性模型的稳健性”

已有 1945 次阅读 2022-12-25 20:34 |个人分类:科学 - 艺术 - 本质|系统分类:科研笔记

汉语是联合国官方正式使用的 6 种同等有效语言之一。请不要歧视汉语！

Chinese is one of the six equally effective official languages of the United Nations.

Not to discriminate against Chinese, please!

往日（17）：小忆“线性模型的稳健性”

限于精力和时间，以下回忆部分有可能不准确。

学术部分应该基本准确。有多篇论文和硕士学位论文可以核对。

一、简史

上个世纪 90年代后期，我做混沌分析与预测，属于非线性动力系统。有一些实在人跟我说：非线性模型还不如线性控制模型。有人做了实际设备，试过了。不行。

处在极端重压下的傻，那时肯定没兴趣关注这些问题。

转眼到了大约 2007年（眼下一时想不起是那年了），电力短期负荷预测有意告一段落，准备重点转向公路交通流，特别是有意转向风电功率预测。于是，专门有意看了看时间序列预测方面的几本经典专著。

于是乎，看到了范剑青、姚琦伟老师的《Nonlinear Time Series: Nonparametric and Parametric Methods》。在第 448 页“10.1.5 Nonlinear versus Linear Prediction”里，两位老师说：

But empirical studies indicate that linear methods often work well despite their simplicity, and the gain from nonlinear prediction is not always significant and sometimes is not even guaranteed; see §3.4.1 of Chatfield (2001) and the references therein. Although we should not take numerical comparisons on faith (see, §6.6.3 of Chan and Tong 2001), the robust performance of linear forecasting methods is undeniable.

但在实际应用中，线性方法尽管简单，但通常效果良好，非线性预测的收益并不总是显著的，有时甚至无法保证有用；参见 Chatfield (2001) 的 §3.4.1 及其参考文献。尽管我们不应基于信念进行数值比较（见 Chan 和 Tong 2001 的§6.6.3），但线性预测方法的稳健性能是不可否认的。

以及整个“10 Nonlinear Prediction”里的其它有关说法。我不能不重视这些现象了。

接着，在第 448、449页，他们“Since this issue has rarely been addressed explicitly in the literature, we provide an explanation below. 由于这个问题很少在文献中被讨论，所以我们提供下面的解释。”给出了一个基于统计学的证明。

二、好的理论，不仅要能解释过去，更要能预测未来

为什么理论上优美的非线性，在实践中经常行不通？这也太奇怪了。

到底“理论”和“实际”有什么差别？

至少两年以上的时间，对于上面的问题“无从下手”，根本找不到研究的入口。

爱因斯坦！还是伟大的爱因斯坦！！

俺的偶像爱因斯坦（Albert Einstein）1933-06-10 在 the Herbert Spencer lecture at Oxford 《On the Method of Theoretical Physics 关于理论物理学的方法》里说: “Pure logical thinking cannot yield us any knowledge of the empirical world; all knowledge of reality starts from experience and ends in it. Propositions arrived at purely by logical means are completely empty as regards reality. Because Galileo saw this, and particularly because he drummed it into the scientific world, he is the father of physics —— indeed of modern science altogether. 纯粹的逻辑思维不能给我们任何关于经验世界的知识；一切关于实在的知识，都是从经验开始，又终结于经验。就现实而言，纯粹通过逻辑手段得出的主张是完全空白的。由于伽利略看到了这一点，特别是因为他将其强力引入了科学界，因此他是物理学的父亲 —— 完全代表了现代科学。”

沿着这个思路，终于有一天发现：

实际中，总会存在“传感器引起的误差”，总会存在噪声！

那就从“误差传播”的角度看看吧！

三、物理学的全误差计算公式（数学里的多元函数微分）

如下图：

小忆“线性模型的稳健性” 11_拉曲线.jpg

解释过去：线性模型的误差，独立于变量自身。这是线性模型可靠性的一种解释。

预测未来：不能说“非线性”一定是“不稳健”的。“低阶非线性”有可能比“线性模型”更稳健。

所以，2013年3位硕士生的硕士论文，基本上都涉及了上面的观点。

[1] 2014-12，张伟涛，基于对数变换的交通流的研究

doi: 10.7666/d.D654614

[2] 2014-12，冯勇，互信息理论及在机器人主动嗅觉搜索策略评价中的应用

doi: 10.7666/d.D654578

[3] 2014-12，熊定方，季风相关性及其对风电预测影响的研究

doi: 10.7666/d.D654624

以及相关的学术期刊论文：

[1] Yang Zheng-Ling, Liu Ya-Di, Zhu Xin-Shan, Chen Xi, Zhang Jun. Removing forecasting errors with white Gaussian noise after square root transformation [J]. Journal of Forecasting, 2016, 35(8): 741-750.

https://doi.org/10.1002/for.2407

https://onlinelibrary.wiley.com/doi/abs/10.1002/for.2407

[2] 杨正瓴, 张玺, 张军, 杨钊, 刘亚迪. 采用反正切变换降低小波去噪对野值的敏感性[J]. 计算机工程与应用, 2017, 53(10): 241-245.

doi: 10.3778/j.issn.1002-8331.1512-0019

http://www.cqvip.com/QK/91690X/201710/7000201237.html

[3] 杨正瓴，张伟涛，刘亚迪，陈曦，张军. 对数变换下非平稳时间序列预测误差的解析分析[J]. 计算机应用与软件, 2015, 32(12): 38-41.

doi: 10.3969/j.issn.1000-386x.2015.12.010

http://www.cqvip.com/QK/90976X/201512/667626400.html

等论文。

参考资料：

[1] Jianqing Fan, Qiwei Yao. Nonlinear Time Series: Nonparametric and Parametric Methods [M]. New York: Springer Science+Business Media, Inc, 2005.

https://fan.princeton.edu/fan/nls.html