LintaoLiu的个人博客分享 http://blog.sciencenet.cn/u/LintaoLiu 分享科学,体味人生

博文

话说无为原理——数据分析漫谈6 精选

已有 9256 次阅读 2017-3-21 08:34 |个人分类:科研随笔|系统分类:科研笔记

        早春二月,窗外白玉兰花轻轻开着,一场料峭的雨并没有把花儿打败,反而使其愈加清丽了。这样的时节里,我怀揣着无为原理,便想着为读者讲述关于这一原理的故事。


         所谓无为原理,就是一个和谐(或周期)信号会在其标准时频变换(NTFT)中自动显现出来(不必用反变换)。事实上,无为原理是NTFT的一种属性,是时频分析领域的一项基本原理,可谓时频分析领域中的勾股定理。


         根据无为原理,我们可以将一个信号中的周期性子信号准确而直接地提取出来。这一方法尽管2007年已被提出,直到2016年才被命名为无为方法。从信号中提取周期项并不是一件新鲜事,传统的最小二乘法已经可以做得很好了。无为方法的优势在于:信号中周期项的周期、相位和振幅存在变化的时候,无为方法也能把这些准周期项提取(或估计)出来,这是最小二乘法所望尘莫及的。


         提取准周期项的方法有很多,主要是一些窄带通滤波方法和奇异谱分析(SSA)方法。提出无为方法之后,我以为无为方法也就是这众多方法里的一种,只是她具有简捷的优势而已。然而,九年之后,也就是2016年,情况发生了变化:王国成发现了无为方法的鲁棒性!也就是说,当一个信号含有噪声的时候,无为方法能够比带通滤波和SSA方法更稳健地将准周期项提取出来!


         日后,当面对含有噪声的信号而想把其中的周期及准周期项提取出来的时候,人们应该想到尝试一下无为方法。


         罗马不是一天就建成的,无为方法也不是一天就完工的。仔细回顾,无为方法及其基础(无为原理)的故事可以从20多年前讲起,其中的曲曲折折也着实让人叹息。


         1995,当我开始攻读中科院博士学位的时候,我就发觉小波谱里有规律,或者说时频谱里有规律,只是我不知道该如何用数学语言表达这种规律。1999年博士毕业的时候,我尝试着提出小波振周谱(WAPS)的概念,希望能够表达出这种规律。但是,我知道WAPS概念并不完美,它只是个近似的规律表达。


         带着这种不满意,2001年我来到了德国Stuttgart做洪堡学者,导师是Grafarend教授。他原本希望我GPS模糊度解算上做些工作,而我却想在小波研究上有所作为。Grafarend教授爽快地支持了我的想法。于是,我又在德国继续浸淫在小波理论与应用的湖水里。


         2002年是我永远都不可能忘怀的一年。那一年的某个夜晚,我终于想通了如何用数学公式准确表达小波谱里蕴含的规律,也就说我想通了无为原理。那是一个美好的夜晚,妻女皆已睡去,而我却不能入眠,感受着一份无法言传的喜悦。Stuttgart之夜,万籁俱寂,星汉灿烂,似乎让人能够觉察出地球的转动。我感觉世界仿佛已经发生了变化,又好像没有发生什么变化。我后来明白,从那一刻起,变化的只是我自己。当我后来一次次地回顾那一时刻,才发现正是从那一时刻起,数学原理对于我,已经不仅仅是一种爱好,而是一种信仰。


         为了将无为原理和无为方法展现给读者,我费尽了周折。2003年初我已经回到中国,文章也在中国写成。然而,投稿的过程中我受到不少的斥责,以至于论文迟迟不能发表。在我的努力下,终于在2007年在JGR发表了。到目前为止,在中国,通读这篇论文的至少有两个人,一个是我的学生徐华君博士,另一个是中科院段鹏硕博士生。


         2007年的论文宣告了无为原理的诞生和无为方法的创立(只是当时未给她们命名而已)。其中,为了使得无为原理成立,我发现必须对小波变换的原始定义进行改造,即标准化改造。而这一改造,着实让小波权威们不爽了。至今,小波权威们依然轻视我做出的改造,他们不明白的是:那是对科学的轻视,这种轻视源自他们的傲慢与偏见。若不对小波变换定义进行标准化改造,小波谱就存在着频率偏移的缺陷。这一缺陷在现今的MATLAB小波分析工具箱里依然存在着,许多人就是不改正或者不知道如何改正。其实,只要改变一下小波变换的定义,这一缺陷就消失了,到今天为止,绝大部分小波应用者并没有注意到这一点。在小波领域,有一篇被引用了8000余次的小波应用指导性论文,其中运用小波变换已经达到随心所欲的地步,根本就不顾及小波谱的频率(或周期)偏移。这简直就是小波应用领域的一个冷笑话,我知道不能让这种错误继续蔓延了,因为这篇论文以及类似论文还在继续被广泛引用。


         同一时期,2003年,国外学者的广义S变换也诞生了(我是2014年才知道有S变换一说),那也是对小波变换标准化所做的努力,其工作原理与我的NTFT工作原理有一定的相似性。但是 S变换得不到优美的无为原理,这是后话。


         2007年的论文发表后,我仍然有不满意的地方:论文中提出的标准Morlet小波变换没有反变换公式。这里我想对年轻的科研人员说:对自己的工作不满意是件积极的事,这说明你日后有着发力点,若对自己的工作事事都满意,说明你已经没有发力点了。于是我又开始对着时频变换的反变换进行了研究,具体的可参见我的博客《标准时频变换的故事》。其中最让人扼腕的是论文六次投稿六次被拒,最后在2012年才被不起眼的数学杂志AMIS录用了。这篇文章正式提出标准时频变换(NTFT)的概念并给出其反变换。


         早在2002年的时候,我还以为只有小波变换经修正后才能满足无为原理,而在2008年,我发现Gabor变换(及加窗傅里叶变换或短时傅里叶变换)经修正后也能满足无为原理。于是我从那时起便不再满足于小波理论的探索,而是站在Gabor变换和小波变换这两类线性时频变换的基础之上考虑问题,于是,NTFT的概念便朦胧诞生了。同在2008年,当我想通NTFT的反变换不仅存在而且很简单的时候,我便下定决心推出NTFT的概念。一方面,NTFT满足无为原理,一方面NTFT有着简单的反变换,这两点足以确立NTFT的科学地位。


         2014年,苏晓庆博士创立了NTFT快速算法,为NTFT锦上添花。


         NTFT有一条重要性质(S变换也有):其单位与原信号单位一致。例如,原信号的单位是米,那么其NTFT的单位也是米。这样,NTFT就有了物理意义,可以对于信号的振幅进行直接的描述。如果你去问时频分析专家:你的时频变换的单位是什么?很多专家会感到困惑,因为以往时频变换是不讲究单位的。只有将时频变换标准化后,也就是NTFT(和S变换)出现后,时频变换才显现出清晰的单位。大家都知道信号分析领域有一个广泛应用的概念:功率谱。而我认为功率谱是一个只有数学意义而无物理意义的坏概念,原因在于其单位不可解释。功率谱的单位中有根号频率(根号HZ)一说,但谁能说出根号HZ是什么意义?事实上功率谱是信号分析人员参考概率论中的概率密度而生出的一个概念,这一参考很蹩脚,因为描述一个信号特征和描述一种概率分布是两回事。功率谱这样一个坏概念能够流行几十年有其理由:可以给出信号的频率成分。然而,功率谱却给不出这些频率成分的振幅与相位,尽管人们希望它能够做到。功率谱这样一个坏概念能够流行还有一个原因:没有一个更好的谱能够替代它。不过,现在有了替代它的谱,那就是NTFT谱,或者说标准时频谱。标准时频谱有着明确的单位,不仅能够揭示信号的频率成分,而且能够将这些频率成分的振幅、相位展现得清清楚楚。标准时频谱取代功率谱,这是信号分析发展的一个趋势,至少我这么认为。


         只有在新定义的NTFT中,无为原理才能显现其真容,这就是无为原理常年不被发现,发现了也不为人们所理解的原因。事实上,人们在无为原理的左右出入了很久,就是没有发现她,这主要是时频理论造成的。离无为原理很近的有三种数学变换:Gabor变换,小波变换和S变换。 i) Gabor变换只是平移了窗口而没有平移Fourier核,所以Gabor变换诞生70余年了而无为原理依然睡着;ii)小波变换离无为原理最近,例如Morlet小波变换不仅平移窗口还平移Fourier核,许多做小波的人几乎认识到无为原理了,然而小波变换由于其定义没有标准化而使得其谱存在频率偏移(且振幅也不准),这样无为原理也无法准确显现;iii) S变换尽管对小波变换进行了某种意义上的标准化,但却依然像Gabor变换那样不平移Fourier核,这样,无为原理又一次被埋没了。总之,这三种时频变换都在理论上错过了无为原理。只有NTFT,经过对以上三种变换的理论修正,才让无为原理准确、清楚和完整地展现出来。


         做科研,重要的是欣赏别人工作的优点,这样你才会把科研做好,而更重要的是关注别人工作的缺点和盲点,这样你才会把科研做得更好。NTFT正是汲取了Gabor变换和小波变换的优点而克服了两者的缺点而形成的。而导引NTFT创立的正是无为原理。从某种意义上讲,NTFT就是为无为原理而生。


         下面我们回到无为原理本身。无为原理如同勾股定理,揭示的是数学原理。基于无为原理的无为方法相当于对直角三角形勾股弦中的勾与股的确定,而这一确定是在弦的确定的基础上展开的。熟悉谱分析的人都知道时频谱分析分为振幅谱分析和相位谱分析。振幅谱相当于弦,而相位谱相当于勾与股。无为原理既讲究振幅谱又讲究相位谱,相当于在讲述勾股弦的关系,因而我称之为时频分析领域的勾股定理。小波变换没有讲好振幅谱(即弦),更不用提讲好相位谱(即勾与股),而Gabor变换和S变换讲好了振幅谱(即弦),而没有讲好相位谱(即勾与股)。S变换现在很火,如在电能质量扰动分析中。其实,NTFT能比S变换更火,因为NTFT能给出相位谱,而S变换却不能。


         当你面对一个含有准周期项与噪声的信号,而你想把准周期项从信号中提取出来,这时,你会发现,经典的时频变换(如Gabor变换,小波变换,S变换,甚至Wigner分布)已经不灵了。这是为什么呢?不是有反变换公式吗?以前,我也这么认为:既然有了反变换,准周期项尽管可能在频率、相位和振幅存在变化,但提取它并不是困难的。然而,王国成对我说:“当信号中含有噪声的时候,反变换也就失灵了。”这一点也不是王国成独自的发现,我后来读过小波专家Mallat的书,他在书中就讲:准确的反变换在将信号反演回去的同时也会将噪声准确地反演回去。我这才明白为什么国外信号分析专家对反变换那么不重视,也突然明白无为原理和无为方法的重要意义:无为方法i)不用反变换而能将准周期项直接提取出来,而且ii)可以抵抗噪声的干扰。


         无为方法这两点重要意义事实上体现了无为原理的美。无为原理没有借助反变换,这就是她的简捷之美,也是我以“无为”命名之的原因。无为原理又具有鲁棒性(抵抗噪声能力强),这就是无为原理的稳健之美。稳健之美并不是一下子看得清楚,至少我在发现无为原理之初并没有认识到,而王国成在2016年用实验证明了无为原理的稳健之美。后来,我从理论上分析了无为原理为什么具有稳健之美。原来,传统的提取准周期项方法属于“带通”滤波方法,而无为原理揭示的是一种“线通”滤波方法。大家可以想一下:一个带受到噪声影响的概率应该远远大于一条线受到噪声影响的概率。这就是为什么无为方法抗噪声能力那么强了。无为原理的这两种美让无为方法在众多数据分析方法中处于一种无与伦比的地位。


         到今天,无为原理并不为大多数时频分析人员所熟知,但随着时间的推移,人们一定会了解并认同这一原理,我相信人们会欣赏她的美。其实,王国成,段鹏硕等初次接触无为原理的时候,第一反应都是不敢相信。不过很快,他们就开始认同了她,并开始了积极的应用。段对我说:“柳老师,你的无为方法把传统的调和分析方法给取代了。”这话听上去很受用,毕竟它出自年轻人,而年轻人代表着未来。我也知道,有一位国外信号处理专家读懂了无为原理并给予了恰如其分的评价。


         在一个专业领域,如果有一两条基本数学原理贯穿其间,那么该领域就会井然有序。例如,在解析几何中,若不是有勾股定理支撑着,一切就会杂乱无章。我感觉,在五彩缤纷的时频分析领域,无为原理的出现立刻使得该领域有章可循了,这当然需要时光的验证。


         无为原理目前已见证的应用包括:海平面分析;地球自由震荡检测;地球极移预测与分析;日长信号检测等。很显然,无为原理将见证更多的应用,如GPS钟差信号分析和潮汐预测等,而且,无为原理的应用领域也不仅限于地学。


         现在,我对无为原理的载体NTFT依然有着不满意的地方:i)NTFT有边缘效应,这会导致无为方法提取的信号在边缘处不准确;ii)NTFT的定义仍然不完美,似乎没有充分体现出应有的滤波意义。这些不满意也让自己找到今后努力的方向。让我感到欣慰的是:段鹏硕发展出一种NTFT边界极值点镜像延拓方法,这种方法充分利用了无为方法确定相位准确的特点,可以很大程度上消除准周期信号提取时的边缘效应,这是时频分析领域中一个艰难而可喜的进步。


         无为原理的长成正如白玉兰花轻轻的开放。冰封大地之际,白玉兰花树光秃秃的,似乎失去了活力,殊不知她正孕育着生机。乍暖还寒的时节一到,白玉兰花便悄然开放,圣洁的身姿传递出春天来临的消息,即便是风雨(噪声)也吹打她不败。就在我的窗外,白玉兰花年年开放,春春相守。以前,我以为白玉兰花年年守望着我,我很是幸运。随着年龄的增长,我渐渐发现其实自己也在守望着白玉兰花,守望着无为原理。在这种守望里,我同样有着幸运的感觉;在这种守望里,多病的我变得坚强了许多,怯懦的我变得勇敢了不少;在这种守望里,我获得了重生。


         窗外的白玉兰花谢了,那圣洁的身姿似乎不见了,而我知道:白玉兰花就开在我的心里,而且在那里,她圣洁如初,永不凋零。



附:我们的论文

#1 Liu L, Hsu H, Grafarend E W. Normal Morlet wavelettransform and its application to the Earth's polar motion[J]. Journal ofGeophysical Research Atmospheres, 2007, 112(B8).

#2 Liu L, Hsu H. Inversion and normalization of time-frequencytransform[J]. 2012, 6(1):67-74.

#3 柳林涛, 苏晓庆, 王国成. 标准时频变换探讨[J]. 导航定位学报, 2016, 4(4).







https://blog.sciencenet.cn/blog-634454-1040692.html

上一篇:小波变换定义之争鸣-------数据分析漫谈5
下一篇:墙外花开——关于小波和小波变换
收藏 IP: 171.83.32.*| 热度|

24 李伟钢 陆泽橼 何成文 李欣海 黄永义 杨正瓴 张忆文 蔡松 鲍海飞 王林平 徐旭东 籍利平 郎骏健 蔡庆华 马雷 李曙 刘明超 王恪铭 李红 黄河宁 crossing twhaotw icgwang Global001

该博文允许注册用户评论 请点击登录 评论 (24 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-19 16:11

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部