|
2018年的跨年夜,回首倏忽而逝的一年,百感交集,一言难尽,可能最为贴切的概括是"跌宕起伏,波诡云谲"。老顾的团队依然坚守学术,用几何的观点来探讨研究计算机科学、医学图像、机械工程方面的问题,特别是将流形观点、最优传输理论和深度学习相结合,来解释对抗生成网络模型。
几何观点下的深度学习
我们认为自然数据满足如下的两个假设:1)流形分布律:人们关心的一类数据(如人脸图像)满足特定的概率分布,可以用概率分布来刻画。这一概率分布,集中在高维数据背景空间中的低维流形附近(人脸图像的概率分布集中在低维流形附近);2)聚类分布律:同一数据中的不同子类,对应于流形上不同的概率分布;并且这些概率分布之间的距离足够远,使得这些子类可以被区分。
深度学习的核心任务包括两个:1)学习流形结构:即用各种方式来隐含表达流形到隐空间(特征空间)的编码映射,和从隐空间到图像空间的解码映射;2)概率分布变换:在特征空间或者图像空间中,计算两种概率分布之间的距离,和两种概率分布之间的变换。
最优传输理论是一门几何、概率论和偏微分方程交叉的领域,专门研究如何定义概率分布之间的距离,所谓Wasserstein距离,和如何构造概率分布之间的几何变换,即所谓的最优传输映射。从几何观点来看,最优传输理论等价于经典的Minkowski问题和Alexandrov问题,即如何从给定的高斯曲率来构造凸几何曲面;从偏微分方程角度来看,等价于经典的蒙日-安培方程。凸几何中的Alexandrov理论和最优传输中的Brenier理论本质上是等价的。
从最优传输理论的观点来看,1)对抗生成网络中的生成器本质上是在计算最优传输映射;判别器本质上是在计算Wasserstein距离;2)Brenier理论揭示了这两个计算任务之间的等价性,从生成器的解可以解析地写出判别器的解。由此,我们可以设计出更为简洁高效的网络结构;3)最优传输映射有可能非连续,因此实践中会出现模式坍塌(Mode Collapse)问题。
基于最优传输观点,特别是几何上的Alexandrov途径,我们设计了新颖的生成模型,进行了初步试验。这里的几何算法可以用硬件加速。详细的讨论请见【1】,深度学习和几何(演讲提要),深度学习的几何观点(1) - 流形分布定律,深度学习的几何理解(2) - 学习能力的上限,深度学习的几何理解(3) - 概率变换的几何观点。
图1. 生成的人脸图像,基于最优传输理论的生成模型。
离散曲率流
黎曼度量是整个现代几何的基石,绝大多数工程和医疗的实际问题都和黎曼度量有着本质的关系。因此,黎曼度量的构造方法具有根本的重要性。Ricci曲率流是一种非常强有力的方法,它将黎曼度量进行形变,形变速率和当前曲率成正比,曲率的演化满足扩散-反应方程,最终弥散成常数。Ricci流的直接推广可以用来根据曲率来设计黎曼度量,非常优雅而实用。
曲面Ricci流理论可以推出经典的曲面单值化定理:任何封闭、带有黎曼度量的曲面都可以共形的变换成三种常曲率曲面中的一种:单位球面、欧式曲面或者双曲曲面。
图2. 曲面单值化定理。
但是,经典的Ricci流方法是基于二阶光滑的流形结构,在计算机上所有的流形都是用零阶的离散形式加以逼近,Ricci流方法无法直接应用。因此,我们将建立离散曲面的Ricci流理论和算法作为主要目标,进行了长期的研究工作。我们大概花了两三年建立了算法,应用于计算机科学的诸多领域;又花费了十数年,证明了离散Ricci流解的存在性,唯一性,收敛性等理论问题。对于工程领域而言,后期更为艰苦的理论证明是不必要的,即便做出也无法在工程领域发表。从这个角度而言,这种“十年磨一剑”的迂腐没有任何意义,同样的精力可以发表数十篇工程领域的论文,而非仅仅两篇纯数学论文。但是,我们认为从长远来看,为离散曲面Ricci流建立严格而坚实的理论基础是必需的,只有如此才能保证这一套理论和算法放之四海而皆准,才能超越当前时代具有恒久价值,才能超越自身小团体的狭隘融入人类知识宝库之中。这一点和目前流行的商业价值观念背道而驰,但却是学者本应具有的操守。经过四年的审稿,最终离散单值化定理的论文发表在微分几何期刊上【2】【3】。
近期,我们又介绍了各种离散曲率流的算法,并应用于计算机图形学领域【4】。未来,离散三流形的Ricci流理论和算法是我们长远的目标。
最优传输映射
计算曲面或者几何体之间的微分同胚(光滑双射)是几乎所有工程、医疗领域的核心问题之一。我们希望能够计算得到最优的微分同胚,使得几何的畸变达到最小。
几何畸变可以分成两类:局部形状的畸变和局部面积元的畸变。如果使得局部形状被保持,即映射局部是相似变换,但是相似比逐点不同,所得的映射是共形映射(conformal mapping),由共形几何理论来研究;如果使得面积元被保持,则所得映射为最优传输映射,由最优传输理论来刻画。
图2. 共形变换。
图3.最优传输变换。
我们建立了离散最优传输映射的计算方法,将求解蒙日-安培方程归结为凸优化问题,与经典的计算几何方法相结合,给出了实用稳定的算法。最优传输理论可以严格控制曲面面积元和几何实体的体积元,可以用于医学图像领域中作为体视放大镜,详情请见体视放大镜—医学图像中的最优传输,这一工作获得China Graph2018的最佳论文奖【5】。
图4.脊椎体数据的放大。
Brenier极分解理论断言:任何一个微分同胚可以分解为一个最优传输映射和一个保体积映射,如图5所示,从(a)到(c)是一个共形变换,保持角度不变,(b)是这一映射中保面积映射,每一个棋盘格被扭曲变形,但是其面积不变。我们给出了映射的极分解算法【6】。
图5. 映射的极分解。
曲面叶状结构理论
叶状结构是拓扑中的重要概念,直观上叶状结构将曲面分解成曲线的集合,局部具有直积结构。在设计大师扎哈·哈迪德(Zaha Hadid)的建筑设计中,叶状结构被用得出神入化,请见 解构“解构主义大师”扎哈·哈迪德。
图6. 哈迪德设计的Soho银河,基于曲面叶状结构。
曲面上的叶状结构被分成Whitehead等价类,每一个等价类中都存在唯一的一个调和叶状结构,调和叶状结构和黎曼面的全纯二次微分等价。曲面上所有的全纯二次微分成群,我们发明一种变分法来计算全纯二次微分:在Whitehead类中优化调和能量。
图7. 曲面上的调和叶状结构。
图8. 基于调和叶状结构的曲面配准。
调和叶状结构取决于曲面的共形结构,在曲面的等距、共形变换下保持不变,应用这一性质,我们可以将曲面配准问题简化为对于叶子之间的配准问题,这种方法可以用于老年痴呆的诊断【7】。
图9. 全纯二次微分诱导的四边形网格。
规则曲面四边形网格生成和几何体六面体网格生成是计算力学领域中的基本问题,这些问题和曲面上的全纯微分具有本质渊源。全纯微分自然诱导了一个平直度量,其和乐群具有特殊结构。对于全纯微分的深入理解,有助于我们解决规则网格生成问题,详见和乐群。
基于共形几何的结构设计/拓扑优化
共形几何的概念和方法日益渗透到机械工程领域,特别在结构设计和拓扑优化中得到直接应用。薄壳结构的拓扑优化需要在曲面上求解微分方程,例如应用水平集法需要求解哈密尔顿-雅可比方程。传统方法需要将曲面等距嵌入在三维欧氏空间中求解,所有的微分算子采用三维欧氏空间的微分算子,然后将每一步的结果投影到曲面上,即所谓的外蕴方法。
图10. 基于共形几何的结构设计。
应用共形几何方法【8,9】,我们将曲面共形映射到平面区域,将曲面的黎曼度量张量在平面上表示,由此得到曲面的协变微分和各种微分算子。在平面参数域上求解微分方程。图10显示了一个3D打印的花瓶,其结构经过了拓扑优化,左帧显示了最终得到的加强筋。这种内蕴方法等价于外蕴方法,但是更加简单高效。