博文

盛唐 or 中唐? 机器学习帮助揭示莫高窟壁画创作时代之谜

已有 3081 次阅读 2018-9-12 16:38 |个人分类:《中国科学》论文|系统分类:论文交流| 莫高窟, 机器学习, 断代

SCIENCE CHINA Information Sciences 2018年第9期发表题为“Dating ancient paintings of Mogao Grottoes using deeply learnt visual codes”的论文，报道了利用深度学习分析绘画风格的一项研究，揭示了敦煌莫高窟205、206窟六幅壁画的创作时代之谜。

在古丝绸之路河西走廊最西端的敦煌绿洲中，默然矗立着世界上现存规模最大、内容最丰富的佛教艺术宝库：莫高窟。莫高窟开凿于五胡十六国期间（约公元366年），历经北朝、隋、唐、五代、宋、西夏、直至元朝的历代兴建，至今仍保存有洞窟735个，壁画4.5万平方米、泥质彩塑2415尊。

莫高窟九层塔外观。（图源pixabay）

璀璨莫高窟跨越近千年的历史，而“敦煌学”中的一个重要问题就是“断代”，确定这735窟中的每一座雕像塑于何朝，每一幅壁画绘于何代。

传统的莫高窟壁画断代，主要有3种方法：有些壁画本身配有题记，可以从中确认壁画创作年代；有些壁画虽然没有附带题记，但可以在史料中找到对应描述，这些壁画也易于断代；而对于那些没有对应文字材料的壁画，就只能依据其绘画风格来进行断代了，比如，唐朝壁画中女子丰腴，而隋朝壁画中的女子则相对纤细。

然而，所谓绘画风格毕竟是主观判断，对于某些壁画，即便同为钻研数十年的资深学者，也会做出不同的判断。而敦煌学的学者们也与时俱进，开始求助于计算机视觉技术和机器学习方法，想要找到客观和定量的断代方法。近期发表于《中国科学:信息科学》英文版的这项研究，就是一次有益的尝试。

机器如何看画?

形状、颜色，以及人眼不识的“神秘因素”

用计算机来对图画进行分类（比如划分壁画年代）是计算机视觉技术的一个分支，相关研究从大概二十年前就已经开始。经过多年的发展，人们已经找到了一些有效的方法来对形状和颜色来进行描述，并据此进行分类。

而近年来基于大数据的机器学习方法兴起，又给这一领域带来了新的机遇：使用深度学习方法，我们可以用已有图像数据库来训练计算机，让它能够在形状、颜色之外找到人眼无法捕捉的特征，并据此提高分类的准确性。实际上，目前已有AlexNet、GoogLeNet等深度学习网络模型可以胜任此类工作。

在这项研究中，研究者就同时应用了这几种方法。在形状和颜色特征之外，研究者还使用莫高窟壁画数据库，应用深度卷积神经网络（DCNN）方法训练了专门用于莫高窟壁画断代的深度学习模型DunNet，其断代表现在整体上优于传统方法和其他深度网络。

DunNet深度学习网络包含6个卷积层、3个池化层和2个全连接层，由包含3860幅莫高窟壁画的数据库训练而成，其中，3000幅属于训练集、700幅属于测试集、160幅属于验证集。经过数据增量处理后，训练样本达到5万。这3860幅壁画尺寸一致，来自于194个莫高窟洞窟，创作朝代位于隋、初唐、盛唐、中唐、晚唐和五代这6个连续的时代之间。

DunNet神经网络的结构

对于“形状+颜色+DunNet”的综合方案，研究者进行了两种类型的训练。第一种训练是6选1，在全部6个时代（隋、初唐、盛唐、中唐、晚唐、五代）中判断壁画的创作时期；第二种是2选1，在相邻的两个时代之间做出选择。结果，综合方案的6选1正确率为71.64%；而在2选1测试中，除中唐/晚唐判断（77.25%）外，综合方案的判断准确率均达86%以上。

机器的判断：205窟与206窟之谜

训练好了模型，自然要“拉出来溜溜”。研究者在莫高窟205窟和206窟中选择了7幅年代存疑的壁画，让机器对它们进行判断。判断过程中，这7幅画中的每一幅都被分割整理为100个壁画样品，机器模型分别对这100个样品进行判断后，得票最多（每个样品计1票）的时代便被认为是机器判断出的壁画创作年代。

以下就是这7幅壁画及相应的判断结果，可以看出，除其中第4幅外，机器的判断结果都和敦煌研究院的最新官方判定结果一致。而研究人员认为，针对第4幅壁画（机器判断为中唐或晚唐作品，官方人工判定为五代时期作品），机器判定结果对其真实创作年代提出的质疑，是值得进一步判断和研讨的。

第1幅（205窟）