博文
基于手绘草图的三维动画模型创作技术
|||
动画技术采用拟人手法将生动活泼的形象搬上银幕，它以优美、风趣、幽默和奇妙等独特的艺术魅力为人类文化生活带来了无穷乐趣。传统手工动画中的人物、动物和植物甚至环境都是通过绘画手段绘制出来的，动画制作过程十分繁杂，生产效率相对低下；计算机动画是现代高科技条件下将计算技术与动画艺术相互结合而产生的一种崭新动画艺术表现形式[1]，自二十世纪七十年代至今，计算机动画技术已经从计算机辅助动画(二维动画或卡通动画)发展到计算机生成动画(三维动画或木偶动画)[2]，诸如参数关键帧、轨迹驱动、变形及角色动画等基础技术已经在动画创作中取得了显著的效果，运动捕捉、过程动画、基于物理的动画、行为动画(包括关节动画和人体动画)及智能动画等高级动画技术也正得到发展和应用，这为动画领域带来了一系列革命性变化：不仅突破了传统动画手工操作的局面，拓展了动画艺术的创意作用空间，而且超越了传统动画艺术的表现局限，缩短了动画创作与欣赏间的空间间隔；尤其是计算机三维动画生成技术，以其强大的动画生成能力和丰富的艺术表现手法等为计算机动画技术的发展注入了旺盛生命力，并已在影视艺术、文教科技和工业等众多领域取得了广泛而丰硕的应用效果。
与传统动画相同，计算机动画的核心价值依然体现在动画本身所固有的艺术属性及创意，不论从动画构成元素及其视觉表现形式，还是成品市场推广效果，每个因素无一不在艺术范畴之内，动画师在从原始动机的激发到动画内容的酝酿直至动画外在物化的整个动画艺术创作过程中的主导作用不可替代。尽管计算机动画技术一直在努力寻求更有效的技术手段来更完美地体现人类的动画艺术创意，众多研究者致力于探索为动画师提炼主题、激发灵感和创新艺术等提供支持的途径和手段，提出了许多新的技术和方法[3][4]，如：基于视频流等输入的(表情和动作等)表演直接驱动[5][6]、基于素材的视觉内容和运动重用[7]-[10]、基于二维和三维模型及其融合的直接绘制[10]-[14]和基于非真实感图形技术的智能动画模拟[15]-[18]，等等。从动画创意的角度来看，这些技术和方法拓拓展了动画创意的想像力空间并丰富了创作思维的表现力[3]，使得传统主要强调动画师直接经验和阅历转变为可间接地获取和利用“信息网络”中丰富多样的素材，大大增强了计算机对动画创意的支持和生成能力，也为计算机动画技术的发展和应用注入了新的活力。然而，三维计算机动画生成技术并未改变动画师偏爱传统纸笔环境或对等数字环境下草图绘制这一种艺术创作方式[19]。现行动画软件系统人机交互方式的复杂性使得人们不得不通过改变自己的习惯方式来适应计算带来的便利性，其专业化的操作流程和庞大的信息量对大多数非计算机专业的动画师而言是巨大的挑战，这就阻碍了动画师在动画中创作思维发挥的流畅性。更为严重的是，已有计算机动画技术造成了动画创意设计(艺术)和计算模型制作(技术)的分离(典型地，由动画设计师完成动画草图设计，由动画制作师借助或参照草图完成动画模型制作)，使得既不能充分发挥动画师在动画创意中的主导作用，又无法利用三维动画技术应有的能力，更无法捕捉动画师在动画创意中的创新智慧，从而影响动画产品的艺术质量。
草图(Sketch)是人类自然而直接的思路外化和交流媒介[20]，“笔录纸现”是大多数人习惯的信息存储、处理和展示方式，即使在计算技术高度发达的今天，纸笔的便利性及其极强的表现能力仍无可替代。致力于模拟传统“纸-笔”模式以使人类能像在计算机出现前那样“用笔来思考和行动”的笔式用户界面(Pen-based User Interface)[21][22]一直是计算机图形学和人机交互领域中的热点课题之一[23]。二十世纪九十年代以来，普适计算(Ubiquitous computing)及环境智能(Ambient Intelligence)对人机交互技术的高度关注掀起了笔交互技术研究新的热潮，ACM AAAI分别于2002年和2004年举行了“Sketch Understanding”[24]和“Making Pen-Based Interaction Intelligent and Natural”[25]研讨会；欧洲图形学学会自2004年起创立了专题年会(Sketch-Based Interfaces and Modeling)[26]，涌现了大量基于笔交互技术的相关研究和应用成果，尤其是在根据生成二维草图给定的上下文来解析和鉴别由笔画暗示对象的草图理解方面的工作使得笔成为输入图形信息有吸引力的选择[27]-[30]，并正朝着建立自然和谐并面向人类思维过程的人机交互环境(尤其是三维环境下)方向发展。实际上，计算机辅助动画软件中具有对草图绘制功能的支持能力[2]，但真如Catmul[31]在二十世纪七十年代末就指出的那样：计算机辅助动画技术的首要问题在于手绘动画中缺少设计者头脑中显式三维信息，无法充分发挥计算机在动画艺术创意中应有的作用，所产生动画的质量过分依懒于动画师的生活体验和绘画技巧。因此，寻求从二维手绘草图中创建三维动画的技术和方法并建立捕捉和表达动画设计师心中动画模型三维信息的和谐人机环境是计算机动画技术发展的必然趋势和有效途径之一[32]，也就是说，探索基于手绘草图的三维计算机动画模型创作技术和方法，使其既提供自然的交互方式来支持动画师艺术创意的流畅生成来保障对其艺术创新智慧的捕捉和表达，又利用先进的造型、绘制和运动等的捕捉与生成等新技术来保证三维动画软件强大功能的充分发挥，并最终实现对技术与艺术有机统一的有效支持。
三维计算机动画设计制作从原型创作到视频输出的过程大致可分成两大阶段[19]：前期阶段主要完成包括实物建模造型、渲染或纹理编辑和运动生成等；后期阶段则涉及背景环境设置及艺术表现合成等；而动画艺术创意的关键就在于三维动画模型设计和制作的前期阶段，本质上，这阶段主要涉及三维动画模型的形状结构、表面纹理和运动姿态三个方面的艺术要素，基于手绘草图的三维动画模型创作技术和方法的目标就是要支持动画师对这三个要素的构思创作和设计控制。
基于手绘草图的三维动画形状模型生成就是要实现三维形状建模与手绘草图交互的有机结合，既要考虑与手绘输入意图匹配所有可能三维模型，又必须便于对生成动画形状模型的控制和操纵。其最大的挑战来自从二维草图中创建三维模型，即：从图画中获取三维形状(Shape From Drawings)。这项任务面临的挑战在于与给定二维笔画绘制相匹配或对应的三维模型信息具有不唯一性(一对多映射)问题。对此问题已经有很多形式的研究，早期的这类工作主要是从蓝图图纸中获取形状，这种形状的主要特征是象立方体那样显著的三面交叉边界，如：Lipson和Shpitalni[33]描述的系统通过确定图纸中二维线性几何对象轮廓和边界布局与其在三维空间中的布局间的相关性来推断出二维图画对应的三维形状；Pentland和Kuo[34]提出的系统则通过最小化手绘草图对应“蛇模型”的能量来从二维笔画中推断出简单的三维曲线和曲面片。在形状获取中，最基本的是从图画轮廓可见部分推断其不可见部分的轮廓求全(Contour Completion)问题，Huffman[35]为求全轮廓投影而提出了线标注(Line-labeling)策略，并证明了求全的轮廓图画必需具有对应的标注类别；此后，出现了许多采取基于约束和优化的的多面体对象线画解释方法[36]-[39]，它们采用各种形式的线标注算法并伴随一个优化过程以生成最可接受的解释；然而，问题背景的复杂性使得这些方法主要适合于具有平面片和简单边界几何的对象。最近，一些研究者为简化三维解释问题而提出了采用模板来将已有的三维图形解释原理推广到更复杂的对象，如：Mitani等[40]提出采用六面拓扑模板，但这种方法的对象范围限制在与立方体拓扑等价的对象；Varley等[41]提出先采用线标记技术对多面体对象进行解释来生成模板，然后通过草绘混合模板边界来添加曲线，但其最佳构造要通过穿过对象对称主平面的对称变形来确定；Yang等[42]则采用二维模板来将用户草图识别和转化成为三维形状，但其仅适合有限数量相对简单的几何体对象；Levent和Kenji[43]将二维概念草图和通用的三维线架模板结合起来，采用摄像机标定算法将模板与输入草图配准，然后根据用户对草图特征边界的描绘来生成和解释其三维形状，并利用基于物理的变形技术对初始曲面进行用户控制的细化。与此同时，一些研究者也对采用二维输入的直接构造空间曲线方法进行了研究。Cohen等[44]采取在二维平面内绘制的空间曲线与其在一个平面内阴影轮廓互补的方式来简化三维解释，但这种方法依赖于用户对曲线阴影可视化的精确度和描绘能力；Das等[45]提出通过从曲线网格中寻找从不同视点观察时具有最小曲率变化的三维曲线来生成自由曲面；Levent和Kenji [43]则将这种最佳三维解释原理修改为原始模板具有最小化空间变差(Spatial Deviation)；Tsang等[46]提出了利用图像进行形状构造的图像导引草绘系统(Image-guided Sketching System)，它支持用户通过在标准正交构造平面上的图像上描绘二维轮廓(Profiles)来生成三维线架模型。总之，尽管众多研究者已经对从二维草图中创建三维模型的方法进行了大量的研究，这些研究表明：充分利用诸如对称、边界连接、平行和相交角等图形规整条件可以改善从二维草图中生成三维形状的效果；结合领域特点，采取手绘草图与领域简化三维模板的结合可以更好地适应复杂图形构造的需要并能更好地解决面向领域应用的特定问题。
利用二维草图轮廓的三维模型构建技术也已在各种造型系统中得到了应用，诸如三角形网格[47]、细分表面[48]、变分隐式表面[49][50]、旋转面[51]、球状隐函数[52]及离散空间数据集[53]等多种形体表示方法已经在基于草图的自由型造型系统得到应用。基于草图的三维造型系统可根据它响应用户输入的方式来分类：基于草图的提示型造型系统力图将粗略的手绘草图映射为诸如线条、平面与多面体之类的线性几何图形，并采用期望表允许用户针对歧义性作出判断和决策，典型的有SKETCH[54]、Chateau[55]与GiDES++[56]等；而基于草图的直绘造型系统则直接针对用户给出的笔划创建三维表面，这包括Teddy[47]、BlobMaker[50]与ConvMo[51]等。其中，Teddy系统[47]率先提出了基于草图的自由造型概念，但该系统仅限于构造具有球状拓扑结构与低复杂度的表面模型；Cherlin等[58]实现了通过使用内插参数化表面进行基于草图的造型，系统可适应数目巨大的表面处理，但每个表面必须经过手工定位才能产生具立体感的三维实体模型；为改进Teddy系统[47]的隐式表面使用状况，Karpenko等[49]及BlobMaker系统[50]使用变分隐式表面，但其形体编辑仅限于拼接与叠图操作，且变分函数的矩阵变换运算求解的计算复杂度为O(N3)，这限制了可用约束点的数目(即：可造型对象的复杂度)；而使用隐式旋转面[51]与球形隐式函数[52]的手绘系统都不支持尖锐边缘的造型，且仅仅给出了低复杂度模型的构造；Owada等[53]将二元空间数据集引入到Teddy系统[47]中，放松了Teddy在拓扑结构上的限制，而只受到所用空间数据集分辨率的限制。Tai等[51]将基于草图的自由造型系统分为基于边界和基于空间两种类型，前面所列举的系统中有两个是基于边界的[47][58]，也只有Owada等给出的系统[53]充分利用了空间表示形式所具有的优势；隐式系统在很大程度上只专注于表面光滑特性，而忽视了层次隐式空间造型方法[59]所提供的框架机制作用；Levent等[60]的最新研究描述了一个面向三维物体风格设计的造型系统，用户在构造对象的三维线架模板模型上草绘初始特征曲线，而后可以通过直接草绘和基于物理的变形工具来修改初始生成的曲线并赋予它们所期望的精确形状。此外，大量基于虚拟现实的草绘三维系统也已经开发，由Bimber等[61]、Wesche和Seidel[62]、Diehl等[63]和Fleisch等[64]提出的系统允许用户采用专用输入设备和头戴显示器在虚拟环境中构造三维线架模型，并可添加覆盖线架的曲面以生成实体模型；Grossman等[65]描述了采用在汽车工业中广泛采用的线带图(Tape Drawing)技术的三维线架模型构造系统；Llamas等[66]描述了一种基于虚拟条带(Virtual Ribbon)的三维形状变形方法，当条带附加到实体对象和变形时，条带作为由用户控制的灵活样条允许对象平行地变形。这些系统的共同困难是用户对输入设备和交互技术的不熟悉，这使得对那些习惯于传统工具的用户缺乏吸引力。
在计算机动画领域，已有基于手绘草图的动画模型生成中主要采用的是二维半模型或伪三维模型(Pseudo-3D models)[11][12]。Di-Fiore等[12][13]利用二维半模型技术，通过定义多层次二维笔画并采用插值和即时重排序技术来实现从二维信息中创建三维动画；Hsu和Lee[67]提出了用骨架笔画作为基本单元产生二维半动画模型，骨架笔画是用任意图片及其形变作为墨水的刷子和笔画来实现的，由于任意的图片都可被定义为骨架笔画，因此，它允许在样式变化范围很大；但这两种方法所对用户的使用限制依然较多；Tolba等[68]描述的系统允许用户使用二维笔画绘制场景，然后通过将二维笔画投影到以眼睛点为中心的球面来实现生成三维场景，并可从多个位置以透视图方式观察这个场景；Bourguignon等[69]描述的系统通过获取表示轮廓的一组三维笔画并在每个笔画附近生成小的曲面片来生成轮廓是给定笔画的曲面，从接近视点看，这个曲面轮廓给出了一个完全成熟的三维模型外观，而在远离视点处错觉就会消失；Johnston[70]通过从图画估算曲面的法向来计算二维图画上的光照，不需要重构三维几何模型。
上述所有基于草图的三维造型系统无一例外地对可通过交互方式创建的模型复杂性作出了限制，其目标基本都是支持概念设计阶段较低复杂度的三维造型，而不是取代现有的三维造型工具，但它们都没有涉及在概念设计阶段形成的低复杂度模型能否足以支持后续应用中通常具有高复杂度的细节模型问题；同时，这些系统将基于草图的原型造型系统的操作限制在可实现的部分，使得潜在用户能够手绘的模型种类受到了一定限制。
支持有效而自然的人机交互是基于手绘草图的三维动画模型创作必须考虑的另一个方面。实际上，用户笔画主要用于各种操作的草绘界面(Sketching Interfaces)已经广泛应用于三维形状生成和修改中。对于直线型对象，Zeleznik等[54]描述的草绘系统让用户通过手势界面来生成和编辑模型，手势的几何信息决定了对象的数值参数：绘制三条线在一个点相交生成一个立方体，线的长度和点的位置决定了立方体的几何特性等；这个思想随后又被许多研究扩充和应用[71][72]。对于自由曲面对象，基于草图的交互广泛采用的是基于侧影(Silhouette)的方法，这种方法利用的用户笔画来形成表示轮廓或截面的二维侧影(Silhouette)，这些轮廓或截面随后会被挤压、扩张或扫掠而生成三维形状。如：Igarashi的Teddy系统[47]是第一个采用草图交互的自由曲面建模系统，用户输入一个简单的封闭曲线，而系统生成与这个轮廓匹配的形状，然后，用户通过利用诸如挤出、切割和弯曲等操作来编辑网格和添加细节；Smooth Teddy[48]系统通过增加美化和网格细化等算法及将形状组织成层次化结构等扩展了上述功能；ShapeShop[73]采用层次化隐体模型，让用户交互地用草绘来编辑复杂模型；Cheutet等[74]和Nealen等[75]的系统允许用户使用数字笔直接在已存曲面上操作来变形或添加特征线；Nealen等[75]的系统允许用户在网格上绘制一个参考和目标曲线来指定网格的变形来对网格进行编辑；Alexe等[76]允许用户从草图中抽取骨架然来构造回旋曲面；Kho和Garland[77]为的草图交互使用于三维化身尤其是身体和四肢姿势设计的；Karpenko和Hughes[78]提出通过检测草图模板并从为每个模板设定的“标准处方”中建立三维曲面形状。这些系统与手势交互间的主要差异是用户的笔画可以在产生的形状中显现，它们有两个共同原则：一方面它们都是以一系列假设来自动进行模糊解析，这些假设不需要用户严格给定细节信息就能够对用户意图进行推测；另一方面，在缺省假设发生错误时提供用户指导功能，用户指导过程中提供的信息能对假设进行提炼，并为所有可能的解决方案提出新的预测。这些系统适合于生成卡通类化身(Cartoon-like Characters)或相似的几何体；但这些系统在处理包含T形和尖角等复杂笔画方面的能力尚有待于进一步加强。
除形状生成和修整外，手绘草图的三维动画模型创作还必须能够支持交互式纹理和运动的生成。纹理生成在真实感图形绘制、非真实感图形绘制和计算机动画领域都有着十分重要的作用。在真实感图形绘制领域，已经有大量致力于三维纹理合成方法的研究，这些研究大致可分为基于像素点的纹理合成和基于块的纹理合成两种：基于像素点的纹理合成方法[79][80]大多先在曲面上计算或指定一个矢量场，然后建立三维网格的层次结构，并建立纹理图像区域与三维网格顶点周围区域的对应关系，最后根据矢量场定义顺序或随机顶点顺序采用二维像素点纹理合成方法来进行网格上的纹理合成；而基于块的纹理合成方法[81][82]则通常以三角网格表面的三角形为合成单位，通过相邻己合成三角形对当前三角形的约束，搜索当前三角形在纹理样图上的最佳纹理坐标，并通过对相邻三角形边界纹理的融合得到合成纹理。然而，绝大多数纹理合成研究主要致力于提高合成的效果和效率，纹理生成过程中仅给用户留下了较小的交互和控制机会[83]，显然，缺乏用户介入的纹理合成效果很难保证对用户创作要求和意图的满足。文献[4]中对这一方面的相关研究也进行了全面的分析和概括。
在美术动画和非真实感图形绘制领域，基于笔划的绘制SBR(Stroke-Based Rendering)技术常用来进行美术渲染和可视化，它通过设置诸如彩绘笔划或者点画之类的离散元素来自动创建非真实感图像，已出现了诸如彩绘、钢笔画、马赛克、点画、流线可视化及张量场可视化等许多SBR算法和样式[84]。但由于美术渲染或纹理生成的各个方面(包括笔划模型选择、权重参数设置以及输入图像选取等等)都需要从美学角度来进行判断，因此，提供直接灵活的交互界面以允许艺术家在图像表面上直接绘画就成为基于笔划绘制算法研究的“圣杯”[14][85]。据此，Hanrahan和Haeberli[85]提出了直接在三维静态图像表面上“所见即所得”的绘制技术，它通过将屏幕空间的绘画笔画投影到三维表面上，然后再生成纹理空间，这个过程中笔画固定在表面上并不去适应光线或视角的变化；这项技术已在多个商用建模系统上实现。大多数非真实感图形算法的研究集中于通过参数设置或脚本控制在静态图像表面上生成表达其纹理影线或结构化笔画样式，如：Emmanuel等[86]提出了一个基于手绘草图的服装设计交互系统，该系统采用与Bourguignon等[69]类似的技术，提供简单有效的形状生成和定位方式及静止状态的服装模拟，先根据用户直接在三维虚拟人体模型上绘制服装草图确定服装的形状以及人物穿着后的外观，再利用二维服装轮廓到身体模型的距离来推断三维空间中服装与人物间的距离变化，进而输出服装完整的三维几何形状，使用户可以在人物模型上快速地创建三维虚拟服装；Malik[87]设计的基于手绘草图的发型设计系统也采用类似的方法。由于面向三维动画动态对象活场景渲染或纹理生成的算法必须在受限运算时间和不可预知摄像机轨道条件下维护时序的一致性[14][88][89]，因此，对这类问题交互方式的研究相对较少，最具代表性的是Kalnins等[14]提出的WYSIWYG NPR(所见即所得非真实感渲染)交互系统，其目标是像Teddy [47]和SKETCH系统[54]那样的直接绘制界面，具有用户直接交互控制的实时渲染算法和在不同细节转换层次的笔画运动控制，可由用户选定形成简单线条图形的轮廓和折线或塑造表面特征的贴花线条或表达光线和色调的阴影线条这三种类型的笔画风格，直接在三维模型上绘画，并在实时条件下合成满足时序一致性的笔画。
三维运动及姿态重建是计算机动画技术的重要课题之一。已有方法借鉴计算机视觉领域中基于单目视频序列的三维运动及姿态重建技术[90]，主要包括基于模型的追踪和重建或基于统计的姿势重建方法两大类。基于模型的追踪和重建方法[91]以三维骨架为已知先验条件，骨架的初始三维姿态由用户指定，保证第一桢的三维姿态与二维图像相对应，而后使用全自动优化技术来追踪图像的特征以及寻找与后续桢中二维图像特征相对应的一系列三维姿态。如：Bregler等[7]针对卡通人物的运动，提出了一种从手工创建的卡通人物姿态中抽取运动并通过关键桢间的插值将其重定位到人物关节节点的方法。但是这类方法通常与视频桢的速率相关，仅当桢速很高时其追踪效果较好，当桢速较低或桢间运动变化较大时就需要用户重新初始化。基于统计的姿势重建方法采用概率统计技术自动寻找二维(草图)图像与三维姿态间的特征映射关系[92]，其主要缺点在于需要大量训练数据，且这些二维图像和三维姿态间的对应关系必须已知，这就需要绘制每一幅训练样本，且在应用到新的绘制模式前需要手工指明各种对应关系。总之，这些研究的目标是寻求从图像系列或手绘二维结构中重建运动或姿态模型的自动方法，显然，这样的全自动解决方案对于计算机科学家具有很强的吸引力，它们确实在计算机动画技术发展及其应用中起到了很好的作用。但是，由于动画中的运动及其姿态是与用户的创作意图密切相关的，自动方法既不能保证取得最佳重建结果，更难以真正有效捕获用户意图[93]。因此，更为合理的方式是寻求既提供自动操作又允许用户指导的折中方法，既显式地将自动方法中的模糊情况及时地反映给用户，又提供直接的界面便于用户交互地指导系统获得合理的结果。如：为解决姿态重建初始化并发挥动画师艺术绘画技能问题，Davis等[94]提出了一种通过关键桢人物草图来快速生成三维关节人物动画的动画原型设计界面系统，它以姿态重建和最优化为基础，首先根据用户对关节人物草图的标注重建所有可能的三维模型，而后通过施加一系列约束和假设向用户提供最可能的姿态模型，用户可通过从候选姿态中选择而实现对候选结果的细化，生成的关键桢序列能够输出到商业动画软件包进行插值和后续的细化工作。
概括起来，计算机动画是动画艺术与计算技术有机结合的产物，尽管三维计算机动画技术已经在强大的计算机生成能力和丰富的艺术表现手法等方面取得丰硕成果，但依然无法替代动画师在动画创意中的主导作用，因此，建立支持动画师能自然而直接地表达艺术创意并主导动画创作过程的和谐人机环境是计算机动画技术研究的关键问题之一。基于手绘草图的动画模型创作技术和方法旨在将计算机动画处理能力与直接灵活的交互技术有机结合起来，支持动画师在有粗略概念时就可对动画艺术创意进行灵活的设计和控制，已经成为计算机动画技术及其应用进一步发展的有效途径和热点课题之一。然而，已有基于手绘草图的动画模型创作技术和方法侧重于对二维动画艺术素材的重用或动画艺术创意要素的单方面支持，尤其在基于手绘草图的三维模型生成和直接交互控制等方面尚不足以有效捕捉和表达动画师的艺术创意要求，更缺乏对基于手绘草图的三维计算机动画模型创作流程和工艺的研究。本课题力图充分利用已有三维计算机动画技术和软件的能力，从支持动画模型形状结构、表面纹理和运动姿态等艺术要素的直接控制角度对基于手绘草图的三维动画模型创作技术和方法进行研究，并进而探索动画艺术创作、建模、绘制和运动生成融为一体的三维动画设计和制作新流程，具有十分重要的研究意义和应用价值。
https://blog.sciencenet.cn/blog-39479-213564.html
上一篇：基于视觉感知网络的行为感知和理解技术
下一篇：普适计算的过去现在和将来
