「AI哲学」让人类“为自身立命”与“为AI立心”。

在本章中的许多形状操作，都涉及到对离散几何表面的处理，这是一门专门的学科，称之为：数字几何处理（DGP: Digital Geometry Processing）。其研究目标是为了新一代的多媒体数据：三维网格模型，提供理论基础和应用指导。因为不同于之前的数据类型（音频、图像、视频），我们并不能直接使用已有的理论和算法工具，主要是3D几何数据有其内在的（Intrinsic）特点，比如拓扑结构、曲率性质、非规则域和非均匀采样使得大部分传统工具无法直接用以满足处理要求。

不同于之前的多媒体数据，数字几何模型真正代表了真实世界各种物理实体的数字化表示，亦即数字化的物理实体。从三维计算机图形学发展的初期开始，多边形网格（Mesh，如下图所示）就是最通用的表示物体形状的方法。多边形网格将物体的表面表示成为一系列面片的交集，其特点是可以任意精度来表示任意拓扑物体的表面。由于现有图形绘制流水线硬件设计的内在要求，无论原始数据最初采用何种方式表达，最终都需转化为一系列离散三角形作为绘制的基本单元。因为任意多边形可以很方便地剖分为三角形，所以三角形网格已成为3D模型的一种主流表达方式。

图5-1  三角形面片网格

数字几何处理可称之为“3D网格上的艺术”，几乎涵盖了所有涉及到离散几何数据的应用，包括去噪声、存储和传输、版权包含，编辑、变形和动画等等。应用领域的迫切需求也推动了数字几何处理的基础理论与实用算法的研究^[19,7]。自上个世纪九十年代以来，国内外的科研人员开展了大量数字几何处理方面的研究工作。总结起来，其研究方向可以归纳为以下几个基本方面。注：3D网格的参数化（章节“5.20.1  3D网格的参数化”）、3D网格平滑与去噪（章节“5.20.2  3D网格平滑与去噪”）前面已经介绍过，不再赘述，故略去。

可以通过很多手段获取数字几何模型，如通过建模软件手工建模、基于立体视觉的几何建模、以及通过三维激光/白光扫描。通过建模软件手工建模，虽然可以进行自由创作，但手工交互量大，且对操作者的技巧和熟练程度要求高。基于立体视觉方法^[1]的几何建模方法通过三维物体的二维光学图形恢复物体的三维几何信息。然而图像灰度虽然反映了三维物体的几何信息，但它与物体材料、光源等其他许多性质有关。因此，由图像灰度恢复物体几何形状是一个反问题（Inverse Problem），解不是唯一的，需要其他许多附加知识或约束条件。此外，重建结果受图像噪声影响较大，重建精度比较低。而通过三维激光/白光扫描的方式精度较高，且可同步采集物体的材质。随着技术的成熟与发展，三维扫描技术得到了越来越广泛的普及应用。但需要关注的问题是在扫描得到的多幅距离图像（Range Images）数据之间需要进行配准（Registration，即拼接），如下图所示，且重建结果易受到扫描噪声的影响。

图5-1  三维模型的获取、配准与重建（图片来源：[94]）

如上所述，三维扫描仪每次只能在一个视点进行扫描，一个完整的模型需要合并多个视点的扫描。因此，如何对这些多视点的扫描数据进行配准是重建高质量三维模型的关键技术之一。配准方法一般分为如下几类：

 逐对刚体对齐方法（Pairwise Rigid-Body Alignment）：最常用的逐对刚体对齐方法为迭代最近点算法（Iterative Closest Points：ICP）^[76]。ICP方法首先从一个初始的对齐开始，通过迭代地在模型上选取点，找到这些点在另一个模型的最近对应点，并计算优化的刚体变换，来最小化对应点集之间的最小平方误差。Gelfand等人^[77]在选取特征点时还通过约束刚体变换的自由度来改善对齐的性能和质量。

 全局刚体对齐方法（Global Rigid-Body Alignment）：全局刚体对齐方法旨在通过刚体对齐，来同时配准一系列扫描图像。Chen和Medioni^[78]通过增量地将新的距离图像对齐到已有的图像集来进行全局对齐。因为随着图像的不断地加入，对齐误差会累积增大，因此最近的算法集中在如何使距离图像集均匀地分布这些误差。Bergevin^[79]迭代地把每一幅距离图像对齐到其他图像上，直到误差变得稳定并均匀地分布。Huang等人^[80]通过合并“非交叉约束”（Non-Intersection Constraint）来进行全局配准。

 非刚体对齐技术（Non-Rigid Alignment Techniques）Hähnel^[81]等人提出了一种扩展的ICP方法，通过计算一个关节物体不同部分的刚体弯曲（Warps）来对齐可变形物体。Allen等人^[82]通过在每一个顶点应用仿射变换来将全身扫描深度图像集通过非刚体配准方法拟合到高质量的模板曲面上。

 薄板样条方法（Thin-Plate Splines）Chui和Rangarajan^[83]使用薄板样条来表征弯曲。具体地，通过在薄板样条上迭代应用一个退火（Annealing）框架来计算点对应以获得2维或3维数据的对齐。在该方法中，通过距离高斯函数来给每一对点赋予不同的匹配概率。

在三维扫描中另一个重要的问题是重建问题。事实上，因为扫描的三维数据经常都不是完整的（由于遮挡、材质属性等原因），因此要重建成期望的形状是一个不适定的问题。如何将扫描数据重建成忠于原始物理模型的高质量完全水紧（Watertight）模型仍然是一个困难的问题（参见章节“5.16.1  3D照相馆的核心技术：3D智能数字化”）。在过去二十年中，基于激光扫描的重建技术已得到广泛地研究，如基于符号距离函数（Signed Distance Functions）^[84,86]、Voronoi图^[87,88]、基于径向基函数（Radial Basis Functions）和局部隐函数（Local Implicit Functions）^[89]、移动最小二乘逼近（Moving Least Square Approximation）^[90]，或者弯曲技术（Wrapping Techniques）^[91]等等。但这些技术往往只关心局部而非全局结构的重建。因此已有方法开始关注非均匀采样或缺损数据中的重建问题，如^[92,93,94]。这些技术使用启发式方法来定义缺损处的位置，如在^[93,94]中通过全局优化技术来保证重建生成的曲面连续水紧。

经过扫描得到的3D网格模型都有不同程度的几何拓扑缺失或者错误，比如孔洞（Holes），裂缝（Gaps）或者自相交的多边形（Self-Intersecting Polygons）等等，如下图所示。为了获得一个表面水紧（Watertight）的模型，目前主要存在两类模型修补方法，基于网格的模型修补（Mesh-Based Model Repair）和基于体的模型修补（Volumetric Model Repair）。基于网格的模型修补，顾名思义就是直接在模型的三角形网格上修复各种几何和拓扑错误。Turk和Levoy^[95]引入了网格拉链（Mesh Zippering）操作来去除网格上的重叠区域。Barequet和Kumar^[96]提出了一种交互系统，其通过对检测的孔洞边界进行三角化来对边进行缝补并对大的孔洞进行修复。Liepa^[97]在三角化孔洞之后进行网格平滑操作以插值周围区域的形状和密度。基于网格的修补操作优点是只需检测和修补有瑕疵的网格区域。但也有两个典型的缺点：首先结果模型不能保证是封闭的，并可能有自相交的情况发生。其次，检测有瑕疵的区域（比如孔洞）常需要对整个网格进行遍历，这样非常费时。

图5-2  几何拓扑修复（图片来源：[173]）

基于体的模型修补方法先用体栅格（Volumetric Grid）来表征输入模型再由栅格重建输出曲面。用体栅格表征的过程又称为体素化（Voxelization）。为了重建一个封闭的曲面，关键是要分析判断每个栅格点是否位于模型的内部还是外部。表面重建通常通过等值线方法（Contouring）来实现，用来生成零值等值面的多边形逼近。等值线方法主要分为两类：原始方法（Primal Methods，如Marching Cubes^[98]）和混合方法（如特征感知曲面提取方法^[99]和对偶等值线方法^[100]）。

重网格化（Remeshing）到现在为止还没有严格的通用定义，一种可能的定义为“给定一个三角网格作为输入，计算一个结果网格，其组成元素满足一定质量要求，且以可接受地方式逼近输入网格”^[110]。一般而言，重网格化用于将三角网格转化成具有子分连通性的规则网格（三角形网格内部顶点的相邻顶点数目都为6），如下图所示。

图5-3  重网格化（图片来源：[110]）

在对重网格化的描述中已经提到了子分的概念。子分（Subdivision）网格（或称为细分网格）在几何建模与计算机图形学的各个领域都有广泛的应用^[111,112]。其最大的优势在于可以方便地对任意拓扑结构的网格构建平滑连续的表面，如下图所示。细分规则简单而且易于实现，其优良的计算性质被用于各种几何处理，从网格压缩^[113]到物理建模^[114]。此外，细分方法的数学本质也已得到了很好地理解^[115]。自从上个世纪七十年代以来，已提出和发展了各种细分方案及其扩展方法。一般而言，细分方案可分为两大类：是原始的（Primal，即数据被存储在顶点上而对面片进行Split细分，如Catmull-Clark^[116]，Loop^[118]，和^[117]）还是对偶的（Dual，即数据被存储在面片上而对顶点进行Split细分，如Doo-Sabin[69]和dual-^[119]）。多边形网格的细分过程一般含有两个步骤。第一步为拓扑细分（Topological Split）操作，通过引入新的顶点来获得表面的细化（Refinement）。第二步为几何平滑（Geometric Smoothing）操作，通过平均邻接顶点的位置以对顶点进行调整。许多方法在第二步的平滑操作中对各种平滑规则进行了仔细设计，使其满足各种充分或者必要条件，这样可以保证细分后的网格光滑收敛。

图5-4  子分网格（图片来源：[117,111]）

三维网格压缩是一个典型的交叉研究方向，跨越信号处理、计算机图形学、以及多媒体技术等多个学科。其研究背景来源于复杂三维模型往往需要消耗巨大的存储空间，而如何紧凑地存储和快速地在网络上传输这些3D网格数据促使人们开始大量地研究高效压缩算法^[120]。依据模型是在传输过程中还是仅在传输之后进行解码，我们可以把网格压缩技术分为渐进（Progressive）压缩^[121]和单率编码（Single-Rate）^[122]技术两种。单率无损编码的目标是去除原始数据中的冗余信息，单率有损编码技术则通过重网格化（Remeshing）来修改原始数据使其更易于编码，且并没有损失过多的信息。因为人们已经在单率编码上开展了大量的研究，各种方法正逐渐变得成熟。因此渐进压缩正越来越多地受到研究人员的关注，各种渐进压缩算法的性能已逐渐接近最新的单率价编码器（Single-Rate Valence-Based Coder）^[123]，如渐进度数驱动方法（Progressive Degree-Driven Method）^[124]，空间树分解方法（Spatial Tree Decomposition）^[125]，纹理映射方法（Texture Mapping）^[126]，几何图像编码（Geometry Image Coding）^[127]，bandelet编码^[128]，基于小波编码的半规则重网格化（Semi-Regular Remeshing Based On Wavelet Coding）^[129]，以及谱编码（Spectral Coding）^[130]等等。通过渐进压缩，原始模型被转化成一系列尺度不一的中间层，如下图所示。渐进压缩的主要优点在于可以在网络传输中由粗到精地显示目标模型的全局面貌。

图5-5  三维网格压缩（图片来源：[120]）

在计算机图形学领域，网格分割（如下图所示）被广泛用于建模，纹理贴图，交叉参数化，形状渐变，形状检索和碰撞检测等数字几何处理任务。当前，因为表现能力和速度上的优势，三角形网格成为3D数据的通用表示形式。然而，三角形网格本身只表征了低层数据结构，无法反映出高层结构，比如语义特征。为了获得一个有意义的目标分割，如何从这些底层数据表示中提取语义特征非常关键。然而，“有意义”的分割这个概念非常依赖于具体的应用背景，并且随着用户主观意愿的不同而变化，因此在图形学领域这仍然是个极具挑战性的问题。

图5-6  网格分割（图片来源：[174]）

分割，把一个物体分成多个不同且有意义的部分，这也是计算机视觉中的一个经典方向。具体而言，在计算机视觉的图像编辑领域，分割是为接下来的图像合成操作而准备的一个重要步骤。然而，这件对人眼而言是非常容易的事情，要让计算机同样轻松地做到却还有很长的路要走。因此，最近在视觉图像领域，已发展出许多便利的交互方法来辅助计算机产生高质量的分割结果。相对于那些逐像素的调整或者套索工具，这些方式极大地提升了用户的体验。

对于3D网格分割，其与图像分割的主要区别在于3D模型的几何与拓扑信息已经事先给定，这样我们不再需要考虑其他的因素，例如遮挡和光照变化等。但3D网格分割并不因此变得简单。因为三角网格由低层数据结构组织而成，而分割本质上是一种高层形状的推理和理解，这是计算机视觉和计算机图形学的一个公开难题。此外，3D模型缺乏规则的参数化域，这使得处理起来尤为困难。

虽然有这些内在的困难，在这个领域仍然取得了许多进展。这些方法主要基于人类视觉的心理学研究：（1）人类对于形状的感知基于形状分割，复杂物体能被看作是有意义的简单部件的组合^[131]；（2）人类感知倾向于把一个物体沿着主曲率的负极值进行分割，即视觉理论的“最小值规则”^[132]。这些研究为网格分割提供了有益的指导。基于这些可计算的假设，已提出各种网格分割技术。一般而言，这些分割方法可按照下面的特征进行分类：是否它是基于局部特征（如长度，曲率^[133]）扩散还是基于全局元素拟合（如充气泡方法^[134]，圆柱管道^[135]，凸包^[136]等）：是否它是基于相似属性聚类还是相异特征辨识（如[137]中的边界检测方法）：是否它是自底而上的还是自顶而下的：是否它是基于顶点的还是基于面片的。[138]对网格分割这个方向给了一个很好的综述。

针对3D模型的分割，本书作者也提出了一种基于角度的特征感知尺度。根据凹凸程度这些直观清晰的物理意义，我们的特征感知尺度按照过程角和状态角来定义，即考察两个方面——过程量的大小，以及状态量改变的大小：

图5-7  (a)用于顶点扩散的特征感知尺度示意图，(b)用于面片扩散的特征感知尺度示意图

所定义的尺度严格对应了数学上的离散微分几何特征——曲率张量和高斯像的曲线长度：

下图显示了我们笔划交互系统的界面。用户用鼠标简单地在3D模型上画一些2D笔划，我们的系统就可给出希望的分割结果。

图5-8  基于笔划的交互系统界面。基于笔划的交互模式能轻松地在一个操作过程中取得多级分割，比如细小的拇指（见图b中的放大图）相比于庞大的身躯。

交叉参数化（Cross-Parameterization）或一致对应（Consistent Correspondence）是参数化（参见章节“5.20  【3D智能十八篇之九】3D降维攻击：上帝如何优雅地拍扁你！参数化与平滑”）的推广和一般化，后者只研究曲面到平面、球面、柱面等规则物体的映射，而前者研究如何直接在任意曲面之间构造映射，如下图所示。在不同的形状之间建立交叉参数化是许多应用的前提和基础。这些应用包括将模板模型匹配到多个3D数据集，形状混合，形状统计分析（如主成分分析Principal Component Analysis，即PCA），传递纹理和表面属性（如BRDFs, Normal Maps），表面分类和识别，视频跟踪，以及表情驱动的人脸动画（Performance Driven Facial Animation：PDFA）等等。作为这些应用的基础和第一步，交叉参数化技术将具有不同拓扑连接的3D模型转化为兼容网格（Compatible Meshes，即具有相同拓扑的网格），同时又保持住表面的细节特征。

图5-9  在龙（左1）和飞翅兽（左2）之间建立交叉参数化（一致对应），以便进行形状混合（右1）（图片来源：[175]）

由于流形表面的非欧属性（即缺乏一个规则的欧几里得参数化域），在网格表面之间建立交叉参数化本质上是一项困难的任务。已有的方法存在如下问题鲁棒性低、运算速度慢，难以获得高质量的可保持原始模型形状特征的兼容网格。这些问题很大程度上降低了交叉参数化方法的适用性。

我们简单讨论一下网格表面交叉参数化领域的相关工作。通常而言，存在的交叉参数化方法可被归为两类是直接构建一致对应还是间接地构建一致对应。

大多数已有的交叉参数化方法属于间接方法。在这些方法中，首先需要构造一个临时的公共参数化域。这个临时的参数化域实际上由一系列2D凸平面子域（用于盘状表面：Disk-Like Surface）或球域（用于亏格为零的表面）组成。然后，对每个模型分别建立和公共参数化域之间的子映射。最后，模型之间的映射通过子映射的合成来获得。在获得交叉参数化（Cross-Parameterization）之后，网格之间的一致对应可直接通过插值顶点的重心坐标来获得。不同方法的差别在于所选择的参数化域类型，比如平面（Plane）^[140]，球面（Sphere）^[144]，柱面（Cylinder）^[145]，三角分区（Triangle Patch）^[146]等。然而，尽管类型上的多样性，所有这些临时域的参数化过程都最终是在2D凸平面子域进行的，主要是因为该子域在数学上具备良好的形状保持（Shape-Preservation）[140]或保角（Conformal）^[143]属性。然而，对于这些间接方案，如何高效并鲁棒地构造良好的（Well-Shaped）兼容分块（Patch Layouts）是一项困难的任务，尤其在拓扑复杂或者狭长的区域。此外，在合成映射的过程中，子映射的误差可能会被放大，这样可能导致最终的交叉映射（Inter-Surface Mapping）在某些地方会有大的误差。间接方案的另一个缺点是虽然映射在每一个分块中是连续的，但分块边界的过渡部分可能是不连续的。因此，为了获得好的最终结果，一些后处理步骤是非常必要的，如[146]中所采用的平滑处理。

除了构建中间域，还可以直接构造交叉参数化，即，直接把目标网格作为公共域。这样避免了显式的交叉参数化。在[82]中，通过构造局部仿射变换的平滑能量，Allen等人使用模板匹配技术来直接为一系列人体模型构造一致对应。Sumner等人^[70]提出一种相类似的迭代最近点算法来构造网格之间的对应。然而，这些直接方法不能保证生成严格的一一对应（one-to-one correspondence），即bijective mapping（双射）、one-to-one （injective mapping：单射） and onto （surjective mapping：满射），此外当输入模型有显著不同的几何特征时可能会引入大的逼近误差。本书作者提出了一种基于均值拉普拉斯（Mean-Value Laplacian）的新匹配方法，直接在3D-3D空间计算形状保持（保角，Conformal）对应，如下图所示。

图5-10  将lion模型的参数化信息映射到cat模型。与拉普拉斯（Laplacian）表征(b)相比较，均值拉普拉斯（Mean-Value Laplacian）表征能够获得一个形状保持的对应(c)。

从以上讨论，我们可以看出：为了获得一个好的交叉参数化，一个合适的参数化域起着重要作用。如下图所示，我们希望这个域既不要太松也不要太紧。一方面，该域应该很好地逼近模型以避免大的映射扭曲误差，即不能太松。另一方面，其形状应该比较规则以便模型可以轻易地映射到其上，即不能太紧。规则的域，如球，平面，圆柱或者大的三角分块因为太通用（松）而不能很好地逼近复杂的网格，因此大的扭曲很难避免。而直接用目标网格本身作为公共域，相对来说又太紧了，这样在匹配过程中可能导致局部最优。

图5-11  (a)为了在两个输入网格之间建立交叉参数化，我们想希望参数化域既不能太“松”也不能太“紧”。太规则的域，比如球(b)，平面，圆柱，和大的三角区块，因为太通用而不能很好地逼近复杂的网格，即域太“松”。(c)而把目标网格本身作为参数化域，则太“紧”。当两个网格具有显著不同的几何时，可能会陷入局部最优。(d)我们的方法首先对网格进行分割，然后采用凸包作为合适的参数化域。

本书作者因此提出了一种新的参数化域：凸包。首先，使用基于笔划的便利接口，两个输入模型被有意义地分割成兼容部件（即部件数相等）。然后，我们为每个部件构建凸包。我们发现凸包（参见章节“13.2.3 从凸集和凸函数开始说起”）有几个优点：1）依据人类视觉感知中的最小规则（Minima Rule），分割算法对网格模型进行分割，以分解成有意义的部件。而有意义部件的定义与凸度的定义紧密关联。即暗示有意义的部件在某种意义上是凸的。所以，凸包可以很好地逼近这些部件，即不是太松。2）凸包的形状相对简单，即，其没有凹凸不平的区域。这样凸形状的部件就可以轻易地被映射到它的凸包上，即，凸包域也不是太紧。3）凸包有许多优良的数学属性，其对交叉参数化过程非常有用。比如，凸包内部的点只用凸包顶点的线性凸组合就可表征出来。我们利用该特征用于兼容网格的重建过程。依据这些优点，凸包参数化域对于分割后的部件而言是一个自然的选择。这样，我们成功地将两个复杂形状的交叉参数化问题“分而治之”地转换为若干简单凸形状的交叉参数化问题，如下图所示。

图5-12  凸包交叉参数化方法的流程图

形变方法（如下图所示）主要分为基于表面的（Surface-based）或基于空间的（Space-based）形变方法两大类。基于表面的方法只在形状的表面定义形变。最简单的方法是指定许多原始和目标顶点，然后通过变分方法^[147]计算其它顶点的位置。此外，多分辨率方法得到了大量研究，因为它们具有加速计算和特征保持的能力。基于离散微分几何的方法也被提出。作为一种局部内蕴特征描述符，微分信息（如，拉普拉斯坐标或者梯度场）已经被用于网格处理，特别是细节保持的网格编辑。然而，顶点的拉普拉斯微分坐标是邻接点的平均差向量，因此它不是旋转不变的，而必须通过某种方式进行转换以匹配到期望的新方向，如显式地通过启发式的方法（或用户调整）或隐式地采用迭代非线性方法。否则，网格细节形变后将产生扭曲。ASAP（As-Rigid-As-Possible，尽可能刚体）算法^[181]是拉普拉斯框架下变形效果最好的算法，其核心思想是保持每个顶点的局部网格尽可能地不发生拉伸和扭曲，以实现全局上的细节保持。

图5-13  网格形变、编辑与动画（图片来源：[176]）

基于空间的形变方法通过对物体所嵌入的空间进行形变来对物体形状进行修改。代表性的方法有自由形变方法（Free-Form Deformation），其可分为基于栅格的（Lattice-Based）^[148]，基于曲线的（Curve-Based）^[149]，或基于点的（Point-Based）方法^[150]。同时还可定义不同的基函数来控制空间形变，如基于径向基函数（Radial Basis Function）^[151]或涡状（Swirl）函数^[152]。周昆^[153]将基于表面的Laplacian方法扩展成基于体的Laplacian形变方法；此外还有三维均值坐标（Mean Value Coordinates）、非负均值坐标（PMVC: Positive Mean Value Coordinates）、格林坐标（Green Coordinates）、调和坐标（Harmonic Coordinates）等基于外包框的变形方法（将三维模型内部顶点的欧几里得坐标转换为相对于外包框顶点的局部相对坐标）。在处理空间形变时经常要考虑的问题是避免自相交（Self Intersection）。还有许多基于空间的形变方法被仔细设计以能够全局^[154]或局部^[155]体积保持（Volume Preserving）。例如[152]所提出的一种空间形变方法不仅体积保持而且可免于表面的翻折（Foldover）。

形变动画主要研究形状随着时间的变换过程，即时空的4维流（3维空间以及时间维）。应用最广泛的形变动画^[156]为形状渐变（Morphing或Metamorphosis）技术，参见章节“5.17.3  个性化形状的编辑与合成”的图5-145。Morphing是指将一给定的源几何对象光滑连续地变换到目标几何对象。在这种光滑过渡中，中间帧既具有的特征，又具有的特征。Morphing技术的关键是需要获得源处理对象和目标处理对象之间的特征对应关系，即前面所提到的交叉参数化或一致对应技术。

随着3D模型数量的显著增长（这些3D数据可通过艺术家的手工制作，三维扫描设备，或基于视觉的捕捉和重建技术来获得），如何重用已有的3D数据最近在计算机建模和动画领域已成为一个活跃的方向。当前，3D数据重定向（Retargetting）技术主要包括两大类运动重定向（Motion Retargetting）和形变重定向（Deformation Retargetting）。

第一类是运动重定向技术。Gleicher等人^[157]提出了一种重定向技术，可以把一个关节物体的运动重定向到另一个具有等同结构但不同尺寸的物体上。最近，[158,159,160]分别使用层次平移技术（Hierarchical Displacement），基于物理的运动转换方法（Physically-Based Motion Transformation Method），和数据驱动的模型方法（Data-Driven Model Approach）扩展了该工作。除了从一个关节物体重定向到另一个关节物体，一个关节物体的运动序列还可以被重定向到一个三角网格上，即所谓的蒙皮（Skinning）技术，比如SSD技术（Skeleton Subspace Deformation）^[161]，PSD技术（Pose Space Deformation）^[162]，EigenSkin^[163]、对偶四元数蒙皮算法（Dual Quaternion Skinning）等等。

受运动重定向技术的启发，[164,70]等人提出形变重定向技术。与考虑骨架关节运动的运动重定向技术不同，形变重定向主要考虑基于三角网格的形变传递。给定一个参考源网格和形变源网格，源形变首先可以通过顶点位移（Vertex Displacements）^[164]或局部仿射变换（Local Affine Transformations）^[70]求解出来，然后把到的源形变应用到一个不同的目标网格，即可生成形变目标网格，如下图所示。

图5-14   3D数据重定向技术（图片来源：[70]）

现在，让我们考虑一个更具挑战的问题：如果没有参考源网格（本质上是否是冗余的？），如何获得形变目标网格，其模仿（Acts Like）形变源网格的姿态同时又看起来像（Looks Like）参考目标网格？针对这一问题，本书作者提出了一种可行的方案：模型转导（如下图所示）。该方法是形变传递^[70]方法的自然扩展和推广。

与人类的感知过程相似，传递（Transferring）过程类似于首先从观察中归纳（Induct）知识，然后将其演绎（Deduce）到新的样本（Example）中。我们能否使用一个快捷的方式（Shortcut），即直接从存在的样本转到另一个新的样本？这个快捷的方式被称作“转导（Transduction）”。类似地，通过使用模型转导（Model Transduction）方法，我们就能直接生成形变后的目标模型，而无需参考源模型，如下图所示。

图5-15  当源和目标模型具有不同的参考姿态时，形变传递方法^[70]不能取得满意的结果。(b)使用模型转导方法，Lion模型成功地模仿了Cat模型的姿态，即使在缺少参考源模型的情况下。

更多的模型转导示例，如下图所示。

图5-16  使用模型转导方法，一个老人直接模仿一个年青人的脸部表情（左图）；一个壮硕的成人直接模仿一个婴儿的姿态（右图）。

以上各节介绍了网格处理的各种操作，那么能否把它们统一在同一个数学框架下呢？答案是肯定的。前面已经提到，三维网格模型表面通常是任意弯曲、非均匀采样的，并且缺乏规则的参数化域。广泛应用于二维信号的频谱分析方法（如DFT、小波分析等）不能直接应用到三维网格上。因此，一般而言，可先用如参数化方法、生成子分网格的重网格方法，作为接下来的几何信号处理（Geometric Signal Processing）^[165]的预处理，这样在获得规则网格（即生成规则的参数化域）之后，我们便可以很方便地应用经典信号处理方法来对网格几何信号进行处理了。

如今已提出过很多数字几何处理框架，旨在把数字几何处理的各个操作都统一在同一个数学框架当中，从基于子分网格的处理框架^[166]、基于松弛算子的处理框架^[167]、几何图像框架^[127]，到Laplacian^[168]/Poisson^[28]框架、离散几何流^[169]（Discrete Geometric Flows，如平均曲率流Mean Curvature Flow^[104]、均匀平均几何流Average Mean Curvature Flow、Willmore流^[160]等等）、基于本征结构（Eigenstructures）的谱（Spectral）分析^[171,172]框架等等。这些框架的建立，为数字几何处理提供了一个个坚实的理论基础。

本书作者提出了视觉形状处理（Visual Shape Processing，VSP）框架，这个框架将3D图形学与3D计算机视觉整合在一个框架中，从理论开始、构造方法、最后进行应用，形成一个从顶而下的框架体系，如下图所示。

其中，针对三维几何数据的非均匀采样性和非正则性的特点，提出了基于流形调和的任意流形曲面3D形状分析框架。通过利用任意流形曲面Laplace-Beltrami微分操作符的特征函数（流形调和），将二维平面上的离散傅立叶变换和球面上的球调和函数扩展到三维离散曲面上，以此为基础构建“全局和局部”形状描述符（Generalized Shape-DNA，广义形状DNA），并利用对偶域的嵌入性质，进行形状检索、形状配准、形状分割、形状识别等等处理。

图5-17  基于流形调和的任意流形曲面3D形状分析框架

【“AI哲学一吴怀宇”（中国科学院博士、北大博士后）作者主页：www.OpenDAI.org；邮件：huaiyuwu@sina.com 视频/公众号：AI哲学一吴怀宇中国科学院（人工智能哲学）】

支持单位：