邹谋炎

                   中国科学院大学    “现代数字信号处理”课程讲座  
                                           2016年5月27日
   
一、科学和工程中的信号处理：一个快速发展的领域

       科学和工程中信号处理技术已经得到广泛应用，由此已经发展出系统性的理论和方法，成为一门学科。信号处理理论和技术发展总是受应用驱动。雷达技术的需求引发了信号检测、估计、跟踪、滤波理论的发展；通信产业的需求引发出信息论、编码理论、数据压缩理论等；成像雷达、医学成像、视频产业的需求推动了图像和视频处理技术的进步。特别是由于计算技术的进步，给信号处理提供了广阔的发展空间。所有这些进步都离不开应用数学。正是数学，使信号处理技术系统化、理论化。同时，应用数学也从信号处理发展中找到许多发展机会。信号处理技术的进步也离不开物理。没有器件技术和应用系统的进步，信号处理的意义就无从谈起。
       大学生和研究生的信号处理课程中只包含了最基本的内容，大致属于这个领域中的通识。这些知识在现代发展中当然很有用，同时很基本。这是一个快速发展的领域。研究人员发现，越来越多的数学概念和物理背景被发现对信号处理有大用。数学功底不足的工科研究者会感觉需要补充的数学知识越来越多；同时，脱离物理背景的研究要有所创造会越来越难。这个讲座将介绍一些相关的发展情况，希望对愿意继续做研究工作的同学有所参考。
        我们以大数据处理为例，看看对本领域的研究者们有些什么要求。
        所谓“大数据（big data）”是指通过各种可能渠道形成的数据集，对这种数据的捕获、存储、管理和分析而言，数据尺寸超出了典型数据库软件工具的能力。互联网、各种媒体、各种公共及私营机构乃至个体，时时在产生大量数据，隐含于数据中的信息对政府、商业机构、公司的决策运作至关重要。各个行业越来越感到大数据的重要性，例如医学系统、气象系统、交通系统、各种生产系统等等。自然，数据越多越好。例如数据捕获，“大数据”要求对那些“生僻”“偶然发生”和来源千变万化的数据也不放过，如何标识特征、存放、检索就是问题。从数据中挖掘信息、分析信息是信号处理研究者关心的任务。过去积累的许多信号处理方法从原则上说仍然有效，例如数据统计分析、趋势分析、频度分析、因素分析和优化、决策优化等等。然而，既然尺寸超出了单个甚至少数个数据库的管理范围，对这样的数据集进行分析计算就不是简单问题：在计算过程中不得不进行可能是远程的大量数据交换，这对于实时或准实时的应用需求可能会造成瓶颈。
      想象一个涉及大型代数方程的情形，如果方程尺寸太大，原则上不可以将方程实际地产生出来再求解，传统的代数处理算法变得难以应用。研究人员需要从原始问题出发，寻找不同的求解模式。典型地，传统的CPU计算和思维模式必须替换为去中心的、分布并行计算模式。矩阵的各种分解方法：特征值分解、奇异值分解、直积分解等，被发现对分布并行计算有用，可以大大减少数据交换。
       除了问题尺寸大而外，数据中包含的关联因素多，关联情况复杂，不再适合于用基本的线性关系来简化，但又不可以轻易地引入非线性处理的想法。将大数据关系使用张量来描述可以缓解这个困难。例如，二阶张量就是传统的矩阵，能够描述典型的线性数据关系。三阶张量可以描述一部分数据对另一部分数据中包含信息变化量的影响--按经典概念属于非线性性质，但在张量表示下，仍然可以组织成线性的矩阵结构，称为多线性表示。多线性可以理解为不同层次的线性，例如各种因素之间的基本线性、关联或从属属性的线性和增量层次的线性。大数据张量的引入能够描述更复杂的数据关系，同时能够继续使用矩阵记号进行数学和算法推演。在此基础上，人们重新审视了过去的一些概念，例如通过矩阵（张量）分解提取主分量和降维；利用稀疏性的降维和容错等等，对大数据分析仍然有用。离散傅里叶变换仍然是大数据分析的基本工具。但现在必须考虑它的可实施性：超大尺度、高维度和数据可能分散于多处。考虑实际情形，大数据中可能在指定维度上有少数显著谱线，将这个特性作为假定，有人提出了“稀疏傅里叶变换”来缓解遇到的困难。
      处理复杂数据的一个重要方法称为深度学习，不限于针对大数据。深度学习的概念提出于2006年，现在已经是人工神经网络和人工智能研究中的基本概念。其中，深度神经网络（DNN）包含多个隐层，作为一个模型能够用来表达高度复杂和非线性的输入输出关系。如果人们感觉影响观测数据（样本）的因素很多但对内部机理又难以搞明白，不妨假定观测数据是由一个多层神经元互连结构产生出来的。这种多层神经元结构即神经网络的训练方法是研究人员关注的重点。
       一方面由于科学和工程问题的需求，另一方面是现代可以得到的实际计算处理能力，无论是国家或是企业，为了体现创新能力，都会要求和组织研究人员去直接面向数量巨大、因素复杂问题的处理。如果你的功底很强，或有团队背景，不妨一试。对小组研究者更适合做牵涉面较小的题目。不过，在所有研究领域中竞争都很激烈，在浅层次上做重复性工作难有前途。但个人经验认为，任何事只要做深做细了，不经意间就会有所发现。虽然你们目前的知识有限，而技术发展也是一个渐进过程。信号处理已经积累的理论和技术是很有用的。在你们的课程中介绍了一个很小的集合，有一些理论和技术有待你们通过自学去掌握，例如信号主分量分析、压缩采样、词典学习算法、子空间类聚方法等等。
      你们在学习中会发现，信号处理的许多问题（估计、恢复、降噪、重建等等）都可归结为一个最优化计算问题，这已经是基本技术，数学上看起来也很漂亮。然而，在科学和工程中，这种方法的可用性需要审视。以重建问题为例，算法上总是归结为解一个大型代数方程。各种原因会造成方程病态或接近病态：解敏感于观测数据。克服病态的方法是增加一个约束项（规整化）。增加约束后，问题变成了一个凸优化问题，能够保证唯一解。然而，约束是人为选取的，不同的附加约束导致不同的解，什么样的附加约束能导致真正希望的那个解？没有理论能够回答这个问题。这个问题在稀疏重建问题中也存在。因为，例如1范数约束完全不是一个体现物理属性的约束。事实上，虽然稀疏重建炒得很热，许多研究者发现，其计算结果常常离希望有距离。
       这个问题给信号处理研究者一个有用的提示：只在信号处理领域内找方法和技巧是很局限的，针对物理问题发掘体现物理属性的约束，常常是解决问题的有效方法。

二、揭示数据背后隐含的物理事实：可能性和现实性

      信号处理研究者应该更多地了解科学和工程问题的物理背景，对此我们感到还需要进一步强调。信号处理技术最有诱惑力的方面是它提供了许多方法、思路、角度来分析观测数据，研究者说不定会从中发掘出数据和物理事实之间的规律性联系。科学发现，好像近在咫尺。而绝大多数实际情形，那只是一个太虚幻境。
      近几年不断有年轻朋友来信寻求信号处理方面的帮助。他们面临的数据处理问题是各种各样的，例如气象雷达观测数据；探空气球测试数据；光谱仪测试数据；医学临床观测数据；地层探测数据等等。已经使用的方法包括反卷积；数据建模；主分量分析；特征模式分解等等。研究者们希望从信号处理的角度寻找更有效的方法，改善现有的计算结果。这些愿望无疑有合理性。
       然而，我不得不先泼一点冷水：要从这些努力获得创新性进步可能性不大。感觉年轻研究者的主要困难目前应该不是如何处理手头已经有数据的方法上，而在于对研究对象的物理背景缺乏洞察性了解，对各种物理机制如何影响数据缺乏准确机理层面的认识。当然，每个研究者在面对新问题时都会出现这种情况，即便成熟的研究者也如此。
      我们以心电信号处理为例，说明问题的复杂性。心电图用于医学诊断起始于20年代，现在已经成为一种标准手段。尽管如此，对心电信号的采集和分析技术至今仍然在发展中。其主要关注点肯定不是对已采集信号变着花样进行分析，而是对信号的产生机制进行深入细致的考察。只有这样，才能从观测信号来判断到底是心脏的什么部分出现了什么样的问题，才能为治疗提供可靠的帮助。
                           
      信号处理研究与数学的结合，经常会产生出令人新奇的理论方法。跟踪学习这些理论方法无疑是必要的。但成熟的研究者必须思考这些新理论方法的适应范围、发展方向、限制、和困难。如果你确有共鸣，不妨跟踪发展一段，以扩展视野。但别忘了时时问自己，提出创新点的可能性有吗？
在应用科学领域中，漂亮的数学离开了物理背景可能难以找到出路。以本文示出的心电信号为例，你容易观测到最后一个示出的信号，经过许多人多年的测试努力，才发现它是前面若干个激活电位合成的结果。如果你以为可以用所谓“盲目源分离方法”将前面各个用数学算出来，那你试试吧！虽然“盲目源分离方法”理论很漂亮，并且研究者成堆。
      事实上，科学和工程的许多观测数据和背后物理机制的联系一般都很复杂，如地层探测、空间探测、气象探测。正是因为问题复杂，我们看到，只要在了解内部机制上所有进步，都是重要的创新。这才是研究者最值得努力的方向。了解信息技术的研究者有自己的优势，主要是在创造检测原理、方法和实施技术上。但深刻了解研究问题的内在机制才是根本。
基于以上的认识和经验，建议有志的年轻研究者要有一个目标较高的规划：对自己感兴趣的研究问题做全面深入的基础学习，同时要学的还包括测试技术。如果可能，不妨尝试去创造自己的探测方法、系统、和技术。

三、用数据描述世界：真正的挑战

我们每天都在接受以数据描述世界的事实：通过视频及各种媒体。然而，例如当我们看一张照片时，如果有人要求你描述一下这张照片里包含有哪些“内容”时，你可能感到迷茫。科学上的要求是描述“内容”的特征，能够与其他照片、图片进行区分和关联。你的回答可能很简单，特征很少，难以在大量图片中区别出“个性”；或者描述很多，描述需要的数据长度会超过原来的照片数据长度。在80年代末到90年代初，互联网技术已经显示了它的威力，人们希望寻求通过互联网检索信息的最有效方法。信息技术界提出了制定一个标准的建议，称为“多媒体内容描述接口”，即MPEG7。其愿望是，互联网提供一个数据输入方式，用户可以任选地输入字串、图片、音响片段等，网络能够迅速地将关联的内容全部检索出来。这个标准首先要求存储媒体要有有效的内容描述方案，才能够实施有效的检索。著名的大信息技术公司都参加了标准发展工作。然而，这个标准从总体上是失败的。研究人员发现，描述一个对象的“内容”原来是一件很难的事情。到今天，类似的研究目标并没有放弃，但纳入了“人工智能”的研究范围，研究思路自然也发生了重大改变。
      用数据描述世界，所谓“有效”有两方面不同的要求：（1）保真性,和（2）简约性。第一项要求是指描述必须准确，能够在大量同类对象中表现出差离性和相似性。第二项要求是使用最少的描述代码。第二项要求是明确技术性的，在数据压缩研究中已经积累了许多理论和方法。但第一项要求却非常困难。事实上，研究人员至今还没有找到可通用的有效方法，如何定义一个对象和另一个对象的相似和离差。迄今所有数学测度定义的距离，其适应范围都很受限制。例如，为了比较两个随机场图样分布的异同，可以使用Kullback-Leibler差离度、Markov随机场超参数集、非参数估计特征量等。但没有一种方法能够保证这种差离度及相似性的描述哪怕是基本符合人对实际对象差离或相似的认识。至今报道的人工智能技术并没有试图在机器认知上直接找突破口。所谓大数据基础上的深度学习，据称是让机器接受所有案例，对多层神经网络进行训练，首先保证已知的所有案例能够被识别（不等价于被认知）。如果遇到过去未接受过的案例，则用最接近的案例加推理来实施。
从认知的角度，对内容的“识别”其实比对内容的“描述”要容易得多，因为“识别”是一个目标指定的任务，并且常常是有参照的；而“描述”可以是一个非指定的任务，不一定有参照。
      面向应用的语音和图像识别技术已经在安全管理和工业中得到广泛认可。这些应用中通常有重要的附加约束可以利用，使问题得到简化，例如处理的集合有限；对比对象的一方完全已知；需要识别的特征集合小而且指定。但研究不会受限于这些情况。例如机器人需要的语音识别实际上包含语义识别，并且需要适应所有人，包括地方口音。在这些研究中，具有多个隐层的网络模型（隐markov模型，HMM，以及DNN）和深度学习算法受到高度重视。
     对动态行为的识别是一个值得发展的方向。人能够在照度严重不良条件下通过身影的动态很快识别出自己熟悉的人，那么计算机视觉可以吗？虽然一般性的对象描述难以达到应用目标，但从描述简单动态行为开始进行研究，也许能够找到路子。

      结语：科学和工程中信号处理是一个发展快速的领域。信号处理归根结底是一个工具，它必须顺应应用需求不断发展。研究者不能只呆在房间里做学院式研究，或者只是从论文到论文。也不能受现有技术知识的限制，必须扩展自己的视野了解外界的发展；如有可能，应该尝试开拓自己的发展领域。信号处理的研究已经和许多领域的研究交织在一起，意味着更大范围上和数学、物理的各个分支发生关联。这既是你们的机会，也是对你们的挑战。应该说，你们有若干条件上的优势，希望好好把握。