往日（20）：“线性模型稳健性”2023-06-16 终于正式出现

线性的： linear 

非线性的： nonlinear

模型： model

性能： performance

稳健： robust

核心：

线性模型的误差，

一般会独立于系统的自变量。 

特别说明：

   类似《数学》概率论里的正态分布历史上至少出现过 4种不同的推导路径，“P vs NP”也有至少（1+3）种论证途径，本文讨论的“线性模型的稳健性”，也应该有其它多种途径的论证。

   我们的“误差传播”角度论证，似乎比范剑青、姚琦伟老师论证的适用范围更大些。

   换言之，继续寻找到新的论证途径，并用于指导改进“非线性模型”在实际应用中的效果，仍然有很重要的意义。

    以下回忆，时间等不一定很准确，但应该差不太多。

一、背景

   以下是大致的时间。

   1970年代，随着混沌（chaos）、分形（fractal）的兴起，“非线性科学 nonlinear science”火了起来。

   1980年代，非线性动力系统热火朝天。并开始进入应用领域。

   1990年代，不幸的事情发生了：理论上很优越的“非线性”模型/方法，在实际应用中不少表现的还往往不如“线性”模型。

   2003年，Fan Jianqing, Yao Qiwei 老师专著《Nonlinear Time Series: Nonparametric and Parametric Methods》里的“10 Nonlinear Prediction”里，如“10.1.5 Nonlinear versus Linear Prediction”里专门讨论了这个问题。

https://blog.sciencenet.cn/blog-107667-1369135.html

二、线性模型的稳健性

   从范剑青、姚琦伟老师的书里看到这个问题后，才想起在控制里面也有这类现象。

   这应该是2005年之前了。因为我们 2006-12 投稿的论文《短期负荷预测的Ensemble 混沌预测方法》里，已经引用了范剑青、姚琦伟的专著。

   似乎是从2005年之前开始思考这个问题的。头两年根本无从下手，没有任何可以思考的线索。大约两年之后，忽然想到傻属于“天津大学 控制科学与工程”学科，里面有不少老师研究“传感器”。于是乎，恍然大悟！

   从误差传播角度看看吧！

   很快从大学物理实验里的“全误差”计算公式得到了：“线性模型的误差与自变量无关”的结论。并推断“低阶非线性可能比线性模型更稳健”。

   2007-11投稿的《超过指数增长速度的年度用电量曲线拟合预测》附录已经有了“（1）通过函数变换-反变换提高信噪比”。

   2009-05~2015年毕业的硕士生学位论文里，已经陆续有相关的内容。

三、2023-06-16 发明专利授权公告号 CN 110457800 B

图1  考虑机械惯性的水平轴风机风速出力折算方法

授权公告号 CN 110457800 B

授权公告日 2023.06.16

第 7 页截图

图2  专利发明授权 查询截图

http://epub.cnipa.gov.cn/Index

图3  专利发明证书

   终于首次“正式”公开了我们的观点。这已经是发现该观点的 15年之后了。

   其它细节，可见2022-12-25的博文《往日（17）：小忆“线性模型的稳健性”》

https://blog.sciencenet.cn/blog-107667-1369135.html

   “线性模型的误差与自变量无关”的结论，尽管很有用，但是太简单了。怕是找不到地方发表。不满足本世纪论文的流行特征。

参考资料：

[1] Jianqing Fan, Qiwei Yao. Nonlinear Time Series: Nonparametric and Parametric Methods [M]. New York: Springer-Verlag, 2003.

https://fan.princeton.edu/fan/nls.html

https://fan.princeton.edu/publications  

page 448, 10. Nonlinear Prediction

   But empirical studies indicate that linear methods often work well despite their simplicity, and the gain from nonlinear prediction is not always significant and sometimes is not even guaranteed; see §3.4.1 of Chatfield (2001) and the references therein. Although we should not take numerical comparisons on faith (see, §6.6.3 of Chan and Tong 2001), the robust performance of linear forecasting methods is undeniable.

[2] 2022-12-23，非线性科学/nonlinear science/刘寄星，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=104860&Type=bkzyb&SubID=95672

[3] 2023-10-18，分形/fractal/高继华，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=321765&Type=bkzyb&SubID=167796

   由美国数学家B.曼得布劳特在研究“英国海岸线有多长”这个问题之后于20世纪70年代提出。“fractal”一词来源于拉丁词汇“fractus”，用来形容“碎石”，原意是‘破碎而不规则’。

   分形集描述如下：①分形具有精细结构，或者说它具有任意小尺度下的比例细节；②分形具有不规则性，不能用传统的几何语言或微积分来描述；③分形具有某种自相似结构，可能是近似的自相似或者统计的自相似；④分形的分形维数大于它相应的拓扑维数；⑤在许多情况下，分形有着简单的递归定义，可以用迭代方法产生。

[4] 2023-03-16，分形/fractal/刘寄星，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=104862&Type=bkzyb&SubID=95672

   组成部分与整体以某种方式相似的几何形状。fractal是1975年由美国科学家B.B.曼得布劳特根据拉丁词fractus（破碎的，碎裂的）创造的一个英语新词，意指某些被传统的欧几里得几何学排除在外的不规则几何形状。

[5] 发明专利查询

http://epub.cnipa.gov.cn/Index

相关链接：

[1] 2022-12-25，往日（17）：小忆“线性模型的稳健性”

https://blog.sciencenet.cn/blog-107667-1369135.html

[2] 2018-03-22，从全误差看线性模型的可靠性

http://image.sciencenet.cn/album/201803/28/175327i3g1d863reqw331g.jpg

https://blog.sciencenet.cn/home.php?mod=space&uid=107667&do=album&picid=981302&goto=down#pic_block

[3] 2022-06-11，往日（10）：低阶非线性变换

https://blog.sciencenet.cn/blog-107667-1342532.html

[4] 2021-08-30，[小感想] 线性模型的稳健性与全误差计算

https://blog.sciencenet.cn/blog-107667-1302103.html

[5] 2023-08-26，[求证] 世界范围的领先情况：互容；“半电路、半电磁场”电路；安培定义；SI 词头；低风速风机（刚体定轴转动定律）

https://blog.sciencenet.cn/blog-107667-1400427.html

[6] 2021-07-13，[困惑与求证] 线性归一化 Normalization、标准化 Standardization 是否会引起额外的误差？

https://blog.sciencenet.cn/blog-107667-1295337.html

[7] 2020-01-15，标幺值和有名值、缩放和中心化；非线性与随机性；额外误差

https://blog.sciencenet.cn/blog-107667-1214367.html

[8] 2021-07-14，“归一化引起数据挖掘额外误差”（牛顿猜想）的一个糟糕的确定型证明尝试

https://blog.sciencenet.cn/blog-107667-1295438.html

[9] 2022-06-23，往日（11）之二：比 Fisher Z Transformation 更好：细节与相关的历史资料

https://blog.sciencenet.cn/blog-107667-1344208.html

[10] 2021-02-03，往日（4）：组合预测之谜 forecast combination puzzle

https://blog.sciencenet.cn/blog-107667-1270404.html

[11] 2023-03-04，往日（18）：SI “词头 prefixes”与科技话语权

https://blog.sciencenet.cn/blog-107667-1378891.html

[12] 2024-01-02，[汇报] 2023“大事”小结

https://blog.sciencenet.cn/blog-107667-1416360.html

[13] 2023-04-05，[讨论，擂台] 比真随机数更好的伪随机数（以[0,1] 区间上的均匀分布随机数为例）

https://blog.sciencenet.cn/blog-107667-1383089.html  

[14] 2024-04-13，[数学文化，P vs NP] 正态分布的四种推导

https://blog.sciencenet.cn/blog-107667-1429560.html

[15] 2023-06-28，[补充扼要说明] “P对NP, P vs NP”问题的“1+3”种证明与无穷

https://blog.sciencenet.cn/blog-107667-1393320.html

[16] 2024-06-04，[往日（19）, P vs NP]：从互容、排序、矩阵乘法、定性推理，到 P vs NP

https://blog.sciencenet.cn/blog-107667-1437048.html

[17] 2019-02-28，往日（1）：小样本数理统计学与“压缩感知 Compressed sensing”

https://blog.sciencenet.cn/blog-107667-1164730.html

[18] 2024-05-07，[怀旧，回顾，展望] 与非门 NAND Gate, 或非门 NOR Gate

https://blog.sciencenet.cn/blog-107667-1433097.html

[19] 2024-04-11，[请教，P vs NP] 从前（4）：从“排序 sorting”到“P对NP, P vs NP”

https://blog.sciencenet.cn/blog-107667-1429261.html

[20] 2024-03-08，从前（1）：名字上了《中国科学报》2021-06-24 第3版 信息技术

https://blog.sciencenet.cn/blog-107667-1424589.html

[21] 2019-07-02，记忆：南开大学2008年《科学素质教育课程骨干教师高级研修班》

https://blog.sciencenet.cn/blog-107667-1187783.html

感谢您的指教！

感谢您指正以上任何错误！

感谢您提供更多的相关资料！