CurvatureFlow的个人博客分享 http://blog.sciencenet.cn/u/CurvatureFlow

博文

不忘初心,坚守几何 精选

已有 13655 次阅读 2019-1-17 10:23 |系统分类:科普集锦

2018年的跨年夜,回首倏忽而逝的一年,百感交集,一言难尽,可能最为贴切的概括是"跌宕起伏,波诡云谲"。老顾的团队依然坚守学术,用几何的观点来探讨研究计算机科学、医学图像、机械工程方面的问题,特别是将流形观点、最优传输理论和深度学习相结合,来解释对抗生成网络模型。


几何观点下的深度学习

我们认为自然数据满足如下的两个假设:1)流形分布律:人们关心的一类数据(如人脸图像)满足特定的概率分布,可以用概率分布来刻画。这一概率分布,集中在高维数据背景空间中的低维流形附近(人脸图像的概率分布集中在低维流形附近);2)聚类分布律:同一数据中的不同子类,对应于流形上不同的概率分布;并且这些概率分布之间的距离足够远,使得这些子类可以被区分。


深度学习的核心任务包括两个:1)学习流形结构:即用各种方式来隐含表达流形到隐空间(特征空间)的编码映射,和从隐空间到图像空间的解码映射;2)概率分布变换:在特征空间或者图像空间中,计算两种概率分布之间的距离,和两种概率分布之间的变换。


最优传输理论是一门几何、概率论和偏微分方程交叉的领域,专门研究如何定义概率分布之间的距离,所谓Wasserstein距离,和如何构造概率分布之间的几何变换,即所谓的最优传输映射。从几何观点来看,最优传输理论等价于经典的Minkowski问题和Alexandrov问题,即如何从给定的高斯曲率来构造凸几何曲面;从偏微分方程角度来看,等价于经典的蒙日-安培方程。凸几何中的Alexandrov理论和最优传输中的Brenier理论本质上是等价的。


从最优传输理论的观点来看,1)对抗生成网络中的生成器本质上是在计算最优传输映射;判别器本质上是在计算Wasserstein距离;2)Brenier理论揭示了这两个计算任务之间的等价性,从生成器的解可以解析地写出判别器的解。由此,我们可以设计出更为简洁高效的网络结构;3)最优传输映射有可能非连续,因此实践中会出现模式坍塌(Mode Collapse)问题。


基于最优传输观点,特别是几何上的Alexandrov途径,我们设计了新颖的生成模型,进行了初步试验。这里的几何算法可以用硬件加速。详细的讨论请见【1】,深度学习和几何(演讲提要)深度学习的几何观点(1) - 流形分布定律深度学习的几何理解(2) - 学习能力的上限深度学习的几何理解(3) - 概率变换的几何观点


1.jpg

图1. 生成的人脸图像,基于最优传输理论的生成模型。


离散曲率流

黎曼度量是整个现代几何的基石,绝大多数工程和医疗的实际问题都和黎曼度量有着本质的关系。因此,黎曼度量的构造方法具有根本的重要性。Ricci曲率流是一种非常强有力的方法,它将黎曼度量进行形变,形变速率和当前曲率成正比,曲率的演化满足扩散-反应方程,最终弥散成常数。Ricci流的直接推广可以用来根据曲率来设计黎曼度量,非常优雅而实用。


曲面Ricci流理论可以推出经典的曲面单值化定理:任何封闭、带有黎曼度量的曲面都可以共形的变换成三种常曲率曲面中的一种:单位球面、欧式曲面或者双曲曲面。


2.jpg

图2. 曲面单值化定理。


但是,经典的Ricci流方法是基于二阶光滑的流形结构,在计算机上所有的流形都是用零阶的离散形式加以逼近,Ricci流方法无法直接应用。因此,我们将建立离散曲面的Ricci流理论和算法作为主要目标,进行了长期的研究工作。我们大概花了两三年建立了算法,应用于计算机科学的诸多领域;又花费了十数年,证明了离散Ricci流解的存在性,唯一性,收敛性等理论问题。对于工程领域而言,后期更为艰苦的理论证明是不必要的,即便做出也无法在工程领域发表。从这个角度而言,这种“十年磨一剑”的迂腐没有任何意义,同样的精力可以发表数十篇工程领域的论文,而非仅仅两篇纯数学论文。但是,我们认为从长远来看,为离散曲面Ricci流建立严格而坚实的理论基础是必需的,只有如此才能保证这一套理论和算法放之四海而皆准,才能超越当前时代具有恒久价值,才能超越自身小团体的狭隘融入人类知识宝库之中。这一点和目前流行的商业价值观念背道而驰,但却是学者本应具有的操守。经过四年的审稿,最终离散单值化定理的论文发表在微分几何期刊上【2】【3】。


近期,我们又介绍了各种离散曲率流的算法,并应用于计算机图形学领域【4】。未来,离散三流形的Ricci流理论和算法是我们长远的目标。

最优传输映射

计算曲面或者几何体之间的微分同胚(光滑双射)是几乎所有工程、医疗领域的核心问题之一。我们希望能够计算得到最优的微分同胚,使得几何的畸变达到最小。


几何畸变可以分成两类:局部形状的畸变和局部面积元的畸变。如果使得局部形状被保持,即映射局部是相似变换,但是相似比逐点不同,所得的映射是共形映射(conformal mapping),由共形几何理论来研究;如果使得面积元被保持,则所得映射为最优传输映射,由最优传输理论来刻画。


2.1.jpg

    图2. 共形变换。


3.jpg

图3.最优传输变换。


我们建立了离散最优传输映射的计算方法,将求解蒙日-安培方程归结为凸优化问题,与经典的计算几何方法相结合,给出了实用稳定的算法。最优传输理论可以严格控制曲面面积元和几何实体的体积元,可以用于医学图像领域中作为体视放大镜,详情请见体视放大镜—医学图像中的最优传输,这一工作获得China Graph2018的最佳论文奖【5】。

4.jpg

图4.脊椎体数据的放大。


Brenier极分解理论断言:任何一个微分同胚可以分解为一个最优传输映射和一个保体积映射,如图5所示,从(a)到(c)是一个共形变换,保持角度不变,(b)是这一映射中保面积映射,每一个棋盘格被扭曲变形,但是其面积不变。我们给出了映射的极分解算法【6】。


5.jpg

图5. 映射的极分解。


曲面叶状结构理论

叶状结构是拓扑中的重要概念,直观上叶状结构将曲面分解成曲线的集合,局部具有直积结构。在设计大师扎哈·哈迪德(Zaha Hadid)的建筑设计中,叶状结构被用得出神入化,请见 解构“解构主义大师”扎哈·哈迪德


6.jpg

图6. 哈迪德设计的Soho银河,基于曲面叶状结构。


曲面上的叶状结构被分成Whitehead等价类,每一个等价类中都存在唯一的一个调和叶状结构,调和叶状结构和黎曼面的全纯二次微分等价。曲面上所有的全纯二次微分成群,我们发明一种变分法来计算全纯二次微分:在Whitehead类中优化调和能量。



7.jpg

图7. 曲面上的调和叶状结构。


8.jpg

图8. 基于调和叶状结构的曲面配准。


调和叶状结构取决于曲面的共形结构,在曲面的等距、共形变换下保持不变,应用这一性质,我们可以将曲面配准问题简化为对于叶子之间的配准问题,这种方法可以用于老年痴呆的诊断【7】。

9.jpg

图9. 全纯二次微分诱导的四边形网格。


规则曲面四边形网格生成和几何体六面体网格生成是计算力学领域中的基本问题,这些问题和曲面上的全纯微分具有本质渊源。全纯微分自然诱导了一个平直度量,其和乐群具有特殊结构。对于全纯微分的深入理解,有助于我们解决规则网格生成问题,详见和乐群



基于共形几何的结构设计/拓扑优化


共形几何的概念和方法日益渗透到机械工程领域,特别在结构设计和拓扑优化中得到直接应用。薄壳结构的拓扑优化需要在曲面上求解微分方程,例如应用水平集法需要求解哈密尔顿-雅可比方程。传统方法需要将曲面等距嵌入在三维欧氏空间中求解,所有的微分算子采用三维欧氏空间的微分算子,然后将每一步的结果投影到曲面上,即所谓的外蕴方法。

 

 

10.jpg

图10. 基于共形几何的结构设计。

 

应用共形几何方法【8,9】,我们将曲面共形映射到平面区域,将曲面的黎曼度量张量在平面上表示,由此得到曲面的协变微分和各种微分算子。在平面参数域上求解微分方程。图10显示了一个3D打印的花瓶,其结构经过了拓扑优化,左帧显示了最终得到的加强筋。这种内蕴方法等价于外蕴方法,但是更加简单高效。


11.jpg

图11. 基于共形几何的结构设计。


图11显示了另外一个例子,极硬结构设计。在平面薄壳结构中,右上角结构的硬度最高。我们希望3D打印一只兔子模型,使得其质量尽量小,同时硬度尽量高。通过共形映射,我们将兔子曲面映射到平面区域之上,然后将右上角的单位结构平铺到参数域上,再用共形映射拉回到曲面之上。如此设计的曲面达到了设计要求。这一方法可以系统性地将平面设计方案推广到曲面结构之上,三维曲面的结构设计归结为二维平面上的计算,具有一定的普适性。


教书育人

近期,老顾团队毕业了三名博士生:马明博士去了斯坦福大学进行医学图像方面的研究,林瑜瑶去了Intel进行网格生成方面的研究,彭浩在加州理工附近的Idea Lab领导三维人脸建模、表情追踪的视觉团队。


老顾也辅导了几位天才少年。Simon Lam研究了非欧氏几何下的最优传输问题,最近被哈佛大学录取。Gerald Xu应用群论,研究了异常复杂的五魔方群结构,Megaminx Group,给出了自动解法,荣获丘成桐中学生科学金奖。这几位少年天资聪颖,对于数学充满了强烈的好奇心和旺盛的求知欲,具有自然而敏锐的洞察力和纯真而炽烈的审美,前途不可限量。


2018年,我们团队也将以前讲解过的计算共形几何课程资料汇集整理,准备在2019年出版一本汉语教程。这本教程涵盖计算共形几何所需要的各方面知识,代数拓扑、微分几何、复变函数、黎曼面理论、拟共形几何和Teichmuller理论,曲面调和映照、双曲几何、连续和离散曲面Ricci流理论,同时介绍各种算法、应用实例。希望能够做到内容自洽,帮助工程背景的学生自学。


总结

2018年,深度学习方法依然狂飙突进,颠覆着传统的科研范式,同时对于年轻学子的思想方法和价值观念造成了冲击。传统的科研模式可以归纳如下:1)通过实验积累数据,总结统计规律、拼凑经验公式;2)建立不同层次的数学模型来解释经验,建立并深化理论;3)依据理论模型,进行数值模拟仿真,进行预测;4)进行实验验证预测,修正理论。循环往复,螺旋上升。


不同领域的学者负责传统研究模式中的不同阶段,具有不同的知识结构和能力专长。例如,实验物理学家设计实验,积累数据;理论物理学家建立理论模型,通常提炼出物理定律,用微分方程表示;纯粹数学家研究微分方程解的存在性、唯一性、正则性;计算数学家研究微分方程的数值解法,收敛性、适定性;计算机科学家设计数据结构和算法,开发程序软件,进行模拟仿真,做出预言。


我们团队主要研究和几何相关的课题,虽然主要在计算机科学领域内进行学习和研究,但是所用的知识结构和理论工具远远超出传统计算机科学的范围,所研究问题的本质往往在于微分几何、拓扑,和偏微分方程理论。依随时代的发展,计算机计算能力的增加,涉及问题深度的增加,这一趋势愈演愈烈。这对计算机科学的教育提出了挑战。


近期深度学习方法的浪潮使得数据驱动的方法大行其道,相比传统的科研模式,数据驱动的方法强调“端到端”,省略“特征工程”的步骤,这意味着数学建模、深化理论这一步骤被抛弃。用基于统计或者唯象的经验公式,我们依然可以做出预测,预测的结果往往优于求解偏微分方程得到的结果。在商业应用中,自然不必再进行艰苦的数学建模和理论验证。一方面,学习数学需要多年的积累,需要艰辛不懈的自律;另一方面,由于资本追捧目前的AI方法,市场不再需要懂得精深几何理论的人才,大多数新生不再有热情学习现代拓扑、几何、偏微分方程。这令秉持传统的教授们多少有些担忧。


丘成桐先生曾经说过:古希腊文明孕育了科学思想,用极少的几条基本原理来解释极其复杂的自然现象,这种思想是高级文明的本质特征;对于古巴比伦文明、古埃及等文明而言是不可想象的。老顾刚到哈佛大学的时候,另一位菲尔兹奖得主芒福德教授(David Mumford)告诉老顾,在第二次世界大战之前,美国的人民群众非常强调实用价值。那时主流意见认为高中课程应该去掉微积分的初步知识,取而代之的是拖拉机驾驶。但是二战的结束是由于原子弹,原子理论的发轫是出于人类的好奇心而非实际用途。因此二战之后,美国主流群众对于科学的态度发生了根本逆转。


前几年,有很多工作将微分方程的传统解法翻译成深度神经网络的体系结构,用神经网络的前馈来模仿传统算法的迭代;这一年,有一些工作力图用传统常微分方程来解释深度学习算法的收敛性。我们的工作也是致力于用传统的几何拓扑理论来解释和指导深度学习模型。我们相信传统学术方法的价值观念会被延续下去,与新兴的数据驱动方法相辅相成,相互促进。我们会沿着这一方向坚定不移地走下去!





References:


【1】 Na Lei, Kehua Su, Li Cui, Shing-Tung Yau, Xianfeng Gu. A Geometric View of Optimal Transportation and Generative Model, Computer Aided Geometric Design, 68(2019), 1-21.

【2】Xianfeng David Gu, Feng Luo, Jian Sun, Tianqi Wu. A discrete uniformization theorem for polyhedral surfaces, J. Differential Geom. 109(2), 2018: 223-256.

【3】Xianfeng David Gu, Feng Luo, Jian Sun, Tianqi Wu. A discrete uniformization theorem for polyhedral surfaces II, J. Differential Geom. 109(2), 2018: 431-466.

【4】 Hui zhao, Xuan Li, Huabin Ge, Na Lei, Min Zhang, Xiaoling Wang and Xianfeng Gu, Conformal Mesh Parameterization Using Discrete Calabi Flow, Computer Aided Geometric Design (CAGD), 63(2018), 96-108

【5】Kehua Su, Na Lei, Li Cui, Xianfeng Gu, Focus+Context Visualization Based on Optimal Mass Transportation, China Graph 2018, Best Paper Award.

【6】 Xiaokang Yu, Na Lei, Xiaopeng Zheng,Xianfeng Gu. Surface Parameterization Based on Polar Factorization, J. Comp. Appl. Math.,V329, 24-36, Feb. 2018. 

【7】Chengfeng Wen, Na Lei, Ming Ma, Xin Qi, Wen Zhang, Yalin Wang, Xianfeng Gu, Brain Morphometry Analysis with Surface Foliation Theory, 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC'18), Honolulu, HI, USA, July 17-21, 2018. 

【8】Shi-Kui Chen, Qian Ye, Yang Guo, Na Lei and Xianfeng Gu, Topology Optimization of Conformal Structures on Manifolds Using Extended Level Set Methods (XLSM) and Conformal Geometry Theory, Computer Methods in Applied Mechanics and Engineering (accepted).

【9】Long Jiang, Yang Guo, Shikui Chen, Peng Wei, Na Lei, Xianfeng Gu. Concurrent Optimization of Structural Topology and Infill Properties with a CBF-Based Level Set Method,Frontiers of Mechanical Engineering (Accepted)




https://blog.sciencenet.cn/blog-2472277-1157554.html

上一篇:技术爆炸的亲历观察
下一篇:深度学习和几何(演讲提要)
收藏 IP: 124.16.128.*| 热度|

19 刘全慧 肖建华 杨正瓴 王龙祥 蒋迅 柳林涛 郭景涛 王从彦 文克玲 姚远 王三民 马德义 杨小军 田灿荣 韩玉芬 张鹰 zjzhaokeqin Hyq18936853798 liyou1983

该博文允许注册用户评论 请点击登录 评论 (5 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-19 15:34

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部