平行艺术：人机协作的艺术创作

郭超, 鲁越, 林懿伦, 卓凡, 王飞跃

【摘要】近年来，机器艺术创作逐步得到了人们的重视和长足的发展，通过算法加工的作品，甚至纯粹由机器生成的作品越来越多地出现在人们的视野中。然而，这些作品在感官效果上与人类的艺术作品相去甚远，且不具备共情属性，因此难以被人类认可。与此同时，技术对艺术领域的冲击也引起了人们的担忧。针对目前机器和人在艺术创作中面临的技术问题和人机关系问题，提出了平行艺术理论体系。该体系旨在构建机器与人的伙伴关系，使人与机器在艺术创作中以平行的方式进行配合与协作。这也将为融合以人为主的情感关系与以机器为主的逻辑关系提供一个新思路。        

【关键词】  平行艺术 ; 艺术 ; 人工智能 ; 人机协作 ; ACP ; 强化学习 ; 平行学习 ; 人在环内 ; 平行系统

引用格式  郭超, 鲁越, 林懿伦, 卓凡, 王飞跃.平行艺术：人机协作的艺术创作. 智能科学与技术学报[J], 2019, 1(4):  335-341

Parallel art: artistic creation under human-machine collaboration

GUO Chao, LU Yue, LIN Yilun, ZHUO Fan, WANG Fei-Yue

Abstract    The artistic creation of machine has drawn considerable attention and achieved significant development in recent years.There are more and more artworks processed partially by specific algorithms,or even created entirely by machines.Despite their popularity,it is hard for these artworks to be accepted by humans because of their underwhelming sensory impacts and lack of empathy.However,their impact is highly concerned by the art community.A theoretical framework called the parallel art system was proposed to solve the technical and human-machine-relationship challenges in artistic creation.The system aims to build a partnership between humans and machines,enabling them to collaborate in a parallel manner,and even provide a new way to integrate human emotion and machine logic.       

Keywords： parallel art ; art ; artificial intelligence ; human-machine collaboration ; ACP ; reinforcement learning ; parallellearning ; human-in-the-loop ; parallel system

Citation GUO Chao.Parallel art:artistic creation under human-machine collaboration. Chinese Journal of Intelligent Science and Technology[J], 2019, 1(4):  335-341

1 引言

人们利用不同的感官媒介和表现形式进行必要的信息交互。随着历史的沉淀，这些信息交互的工具逐渐成为人们吐露精神世界的窗口和艺术家们传达创作意图、表达情感的媒介，从而成为所谓的艺术。历史上的古典艺术主要有绘画、雕塑和建筑^[1]，涵盖了真实世界中二维和三维空间上的创作。此外，音乐、文学、歌剧、舞蹈、电影以及表演等也是常见的艺术表现形式。艺术作品往往具有共情（empathy）的社交属性，表达着作者的意识（conscious）、意图（intent）、感觉（feelings）和情感（emotions），是人类复杂性和创作性的集中体现。

近百年来，科技深刻地改变了艺术领域的发展。以绘画为例，摄影的出现严重冲击了当时以现实主义（realism）为主流的绘画行业，画家们曾预言“From today,painting is dead!”^[2]。然而事实却是，摄影在一定程度上刺激了现代艺术（modern art）的诞生，并为画家提供了全新的视角和灵感。画家们开始尝试不同的绘画风格与表达方式，例如照相写实主义（photorealism）。如今，每个人都可以用手机摄影来表达自我，并在社交媒体上获得共情。摄影使得艺术的受众愈加广泛，作品更容易传播。优秀的摄影作品完全可以像传统的艺术作品一样，承担着传递主题、表达情感和引起共情的社交属性。事实上，摄影作为一种手段而非目的，已经独立于绘画、雕塑等传统艺术，成为当代艺术（contemporary art）的创作形式之一。此外，电影及3D动画制作、程序化的创作、交互艺术（interactive art）等其他的新兴创作形式同样为艺术领域注入了新的活力。纵观艺术史，尽管在特定时期内科技会给人们带来心理恐慌，但其始终是艺术领域的积极推动者^[3]。艺术史学家Gombrich E H曾说：“There really is no such thing as Art.There are only artists.”^[4]。人是艺术创作的主体，进行艺术创作的不是科技，而是运用科技的人。

艺术创作活动体现了人类独特的复杂性和创造性，而机器能否辅助或独立进行艺术创作成为人工智能领域里程碑式的挑战。目前，机器尝试以绘画、音乐等多种艺术形式模仿人类进行创作，然而其创作能力堪忧。首先，机器的作品限于低级的模仿而缺乏美感，难以与人类的艺术作品相提并论；其次，在一定程度上艺术是难以用逻辑描述的、存在情感联系的东西，由机器根据规则生成的作品不具备共情属性。粗糙的感官效果和缺乏情感联系导致机器创作无法被人类认可。尽管现有的人工智能技术对此并没有较好的解决方案，然而其无所不能的舆论吹捧和机器涉足艺术领域的事实却让艺术家对技术的冲击充满担忧。

艺术领域与机器智能领域之间的相互渗透和角色矛盾已经达到了前所未有的程度。其本质是两方面的问题：一是机器能否像人类一样进行艺术创作和自我表达，机器的“作品”能否被人类认可；二是人类艺术家可以从机器的艺术创作中获得什么？

中国科学院自动化研究所王飞跃研究员率先提出平行艺术^[5]，试图解决这两方面的问题，并推动人类与机器在艺术创作中的相互协作。人类艺术家指导机器实现高水平的艺术创作，而机器成为人类进行艺术创作的辅助伙伴。

2 平行艺术的必要性  

由机器艺术创作的现状可知，需要在感官效果和共情效果两个方面提高机器的创作能力。前者是艺术创作的基础，保证机器的创作内容符合艺术领域的基本审美要求；后者是艺术创作的高阶技能，使得机器能够通过创作实现情感交流。然而，现有的机器艺术创作在上述两个方面都无法取得实质性的进展，原因主要有以下4个。

一是机器学习任务单纯面向作品本身而忽略了创作过程。艺术创作的思路、灵感与细节往往在于创作过程，而作品是创作过程的结果。只观察最终作品类似于逆向工程，很难“猜”到创作者的创作手法，更无法学会对主题与情感的合理表达。要想获得类似人类的创作表达能力，机器学习需要面向创作的全过程，并做出大量尝试。

二是机器的局限性导致其无法独立完成具备情感联系的艺术创作。人类很难使用逻辑来表达艺术和灵感，艺术作品的共情属性也无法用规则描述清楚。因而，在现有的方法中，人工设计的算法规则无法创作出具备情感联系的作品。与人工设计或数据驱动的“监督”方式不同，机器需要在人类艺术家的直接评判和指导下学习情感表达，从而获得与人类接近的情感联系。如此，机器创作的作品才会被人类艺术社区所认可。

三是现有技术框架无法对创作过程做出有效探索。人类的艺术创作过程是复杂而漫长的，需要观察、构思、创作三者的交互、循环与大量尝试。机器学习艺术创作同样需要通过大量的探索来获得创作手法与审美能力。在真实环境中进行这样漫长的尝试，需要付出巨大的时间和财物代价。扩展探索空间、提高学习效率是机器在创作中尝试各种可能、学习创作能力的必然要求。

四是人与机器在艺术创作上的相互借鉴是单向的、非持续性的。尽管人类艺术创作和机器智能在角色上是孤立甚至对立的，但二者的互相渗透由来已久。在创作思路上前者参考后者，不断丰富艺术的表达形式，在创作技能上后者学习前者，不断提高创作水平。然而这种学习始终是单向的、非持续性的，在具体任务中往往是一次性的（once for all）。化解人与机器之间的矛盾并维持协作关系将为艺术领域带来革命性的变化。人和机器在艺术创作中长期协作、滚动优化。

为了解决上述问题，本文提出了平行艺术理论体系，针对艺术创作过程建立平行系统，并将人类艺术家引入机器学习的闭环。由此，机器学习得以面向艺术创作的全过程，并能够在人类的直接监督下学习情感表达。虚拟的人工系统则成为机器学习和探索创作技能的试验场，进一步扩展对数据和行动的探索空间，提高机器学习效率。人工系统与实际系统平行执行、滚动优化：人类艺术家成为机器艺术创作的指导者和评判者，机器成为人创作表达的辅助伙伴；机器在人的评判下学习具备意识联系的艺术创作和情感表达，人在机器的协助下提高创作效率、扩展创作思路；机器和人在艺术创作中以平行的方式长期协作。这里的长期指多次迭代优化而非时间上的长期，事实上在人工系统中可能只需要很短的时间。

3 平行艺术的理论体系与基本方法

基于人类艺术创作的特征，将艺术创作能力拆解为创作技能、审美评判两方面的能力和感官效果、共情属性等多阶创作水平。创作技能包括创作手法、表达方式等用以创作的实际手段；审美评判包括基本创作规则、美学价值、共情效果等可以指导实际创作的评判准则。创作技能直接影响创作结果；审美评判持续影响创作技能的发挥，其作用形式可以是短期的或长期的。机器要想达到人类的创作水平，需要同时具备创作技能与审美评判两方面的能力。

3.1 艺术创作过程的形式化建模

人类艺术家的创作过程实质上是由一系列的动作决策和与环境的复杂交互完成的，可将创作过程建模为马尔可夫决策过程描述的强化学习问题。那么创作技能对应策略函数，在创作中给出创作动作；审美评判对应值函数，决定了策略的选取，即机器需要同时获得策略模型和评判模型，在人工系统中还需要环境模型。创作的最终目标是选取最优策略，使得审美评价的期望回报最大化。该过程可以被表述为：

在艺术创作中，审美评判通常包括创作常识等可以用规则准确描述的准则，也包括美学价值、共情效果等无法用规则准确描述的准则。当评判准则可以明确给定时，评判模型可被人工设计；当评判准则无法被数学化描述时，评判模型可由符合评判准则的数据学习获得。但这两种估计方式都是有偏的：人工设计的准则依赖算法工程师的审美评判，数据学习的评判模型则与数据集的分布相关。而共情效果等涉及情感联系的高级评判准则，则可以通过将人引入学习闭环、在人的直接“监督”下学习获得。

人工设计、从数据中学习、在人的评判下学习，这3种获得评判模型的方式由低阶到高阶，逐步接近现实中艺术家的审美评判。高阶评判模型的学习更加直接且更加有效，但学习难度和成本也随之增加，因而将3种方式结合，多阶段学习审美评判。初期兼顾人工设计和从数据中学习的方式，快速学习初始的策略模型和评判模型。当模型收敛后，引入人的直接评判，将评判模型从初始的有偏估计迁移到真实分布。对策略模型与评判模型的学习不仅需要在数据和行动空间做出大量探索并提高学习效率，同时也面临有人参与的复杂学习问题，因而，本文建立了基于 ACP^[6,7,8]的平行艺术理论体系，并由平行学习方法实现上述多阶段的学习过程。

3.2 基于ACP的理论框架

ACP方法由王飞跃研究员于2004年首次提出。基于 ACP 的平行系统由人工系统（artificial systems）、计算实验（computational experiments）、平行执行（parallel execution）3个主要构件组成，可以很好地解决有人参与的控制和学习问题^[9,10,11]，并提高系统管理与机器学习的效率^[12,13,14]。

本文基于该方法提出了平行艺术理论框架。该框架下的主要角色有：人类艺术家（professional artists，PA）、虚拟机器艺术家（machine artists in cyber-space，MC）、物理机器艺术家（machine artists in physical-space，MP），三者及其艺术创作过程共同构成艺术创作的平行系统，如图1所示。其中， s_t表示创作中的状态，a_t表示创作动作，π表示策略函数。人类艺术创作代表现实世界中 PA 的艺术创作活动。在虚拟机器创作中，MC 模仿 PA 创作过程建立人工系统，并进行计算实验。在物理机器创作中，由MC在虚拟机器创作中得到的知识进一步引导MP在现实物理世界中创作，其作品由PA进一步做出评判。如第3.1节所述，上述3类创作过程分别由马尔可夫决策过程表示的强化学习问题描述。PA和MP的艺术创作（即人类艺术创作和物理机器创作）构成实际系统；MC 的艺术创作（即虚拟艺术创作）构成人工系统。人工系统与实际系统平行执行、协同优化，其学习流程基于平行学习方法分多阶段实现，见第3.3节。

以绘画创作为例。首先采集 PA 的绘画过程，并将有效的创作环节和环境交互抽象为一系列数学描述，例如画笔形态、绘画轨迹、笔触渲染等，从而建立人工系统。在人工系统中，MC 在绘画的认知和表达的诸多方面进行计算实验，例如空间与语义关系认知、笔触色彩与情感表达、笔触序列生成等，从而获得绘画知识和经验。绘画机器人承担MP的角色，在MC的引导下完成真实的绘画过程，绘画过程的细节处理和成品接受 PA 的评判，从而进一步优化机器绘画系统，并大幅扩展 PA 的尝试空间和效率。对于机器绘画的现有研究往往包含平行艺术系统的部分环节，因而可以统一到平行艺术的理论框架内。例如，许多方法根据人工设计的绘画规则由图像生成绘画渲染的笔触序列^[18,19]，则是包含一次执行的虚拟机器创作和物理机器创作。

传统的机器艺术创作系统是物理空间（physical-space）与信息空间（cyber-space）相结合的物理信息系统（cyber-physical system，CPS），该系统中没有人的直接参与。机器学习的监督信息以先验知识或者作品数据等形式呈现。在平行艺术的理论体系下，将人引入机器学习的闭环。机器在人类艺术家的直接指导下学习并完成艺术创作，从而形成包含心理空间（social-space）在内的社会物理信息系统（cyber-physical-social system，CPSS）^[20]，如图2所示。在信息空间中，虚拟机器艺术家进行创作学习和训练；在物理空间中，由人工系统引导与控制物理机器艺术家进行实体创作；在心理空间中，人类艺术家对机器进行的艺术创作实验进行审美评估。

3.3 基于平行学习的多阶段学习方法

在平行艺术系统中，策略模型和评判模型的学习由平行学习分多阶段实现。平行学习^[21,22]由描述学习、预测学习与引导学习构成，用于解决现有机器学习方法面对复杂现实问题时存在的标注数据难以获取、行动和状态空间太大导致无法有效探索、模型选择和优化依赖技巧等棘手问题。

在平行艺术体系中，描述学习是知识模型的初始化和学习过程的起点。该阶段根据先验知识与观测数据获得初始的策略模型和评判模型，构建自洽的人工系统，对真实创作过程进行描述。环境模型可由针对创作过程的仿真引擎得到，或从观测数据学习得到。预测学习则在人工系统的理想环境中对创作过程所包含的状态和行动空间进行探索，进一步更新策略模型。引导学习则根据计算实验所掌握的艺术创作过程的规律，引导实际系统中的机器进行艺术创作，并进一步学习和更新评判模型，该阶段加入人的直接评判并将其作为监督，之后再通过描述学习进一步修正人工系统，使之更加接近人类的创作过程。重复上述3个阶段，直到机器创作效果满意或达到指定迭代次数。对于不同的艺术创作任务，着重考虑的因素有所不同，可能包含上述方法的全部或部分。

4 平行艺术的典型特征  

目前，机器艺术创作不被人类认可的本质在于，机器在创作技能和审美评判两方面的能力不被认可。一方面，现有方法学习到的评判模型是有偏的，即引导机器创作的审美评判不被艺术家认可；另一方面，只根据最终作品“猜”而忽略创作过程的方式只能模仿作品的表象，即机器学习到的创作技能不被艺术家认可。平行艺术同时从感官效果、共情属性等多阶创作因素出发，解决创作技能和审美评判的学习问题。平行艺术的典型特征与主要价值在于以下几点。

• 通过人在环内（human-in-the-loop）的方式，学习接近人类水平的创作技能和审美评判。一方面通过人的直接评判纠正有偏的评判模型估计，另一方面面向创作的全过程学习创作技能，而非仅仅模仿作品表象。如此，机器将学会高阶的创作技能和情感表达能力。

• 通过人工系统提高机器的学习与探索效率，并为艺术家探索更多可能。在人工系统中扩大对状态和行动的探索空间，人工系统与实际系统平行执行、协同优化，提高机器的学习效率。人工系统将成为机器进行创作练习、艺术家快速验证想法的试验场。

• 在艺术创作中通过平行系统促进人和机器的相互配合与协作。人是机器创作的指导者，机器成为人创作的辅助伙伴。艺术家有效利用机器提高创作效率和创作影响力。人和机器在平行系统中互相协作、滚动优化。

由此，平行艺术中的“平行”主要体现在两个方面：人和机器在艺术创作中互相学习和协作，二者是平行的；机器艺术创作系统在实际系统和人工系统之间平行执行、循环优化，创作过程是平行的。

5 平行艺术的发展方向

平行艺术理论体系和方法将促成人类和机器在艺术创作中的配合与协作，从而大幅提升机器的艺术创作水平，为人类的艺术创作带来更多的机遇和可能。平行艺术的实现分为感知、认知和决策3个关键环节，其中面临面向创作全过程学习导致的动作空间太大、数据采集与建模困难、人在环内的学习效率低下、艺术家参与的评判机制缺失、情感计算模型不完善等难题，并将呈现出如下的发展趋势。

（1）人在环内的多阶段学习

平行学习是实现多阶段学习的有效方法。机器首先根据人工设计规则和观测数据学习初始模型，当模型收敛后引入人的直接评判，并将其作为监督，进一步更新模型，从初始的有偏估计迁移到真实分布。由此从低阶到高阶，逐步学会基本创作规则、基础审美和共情准则等审美评判。然而，我们也将面对人在环内所带来的不确定性和学习的低效性问题，因此设计合理的交互和评判机制、提高平行系统的学习效率便尤为重要。

（2）机器的情感认知与表达

艺术巨大的力量来源于它的共情能力，机器艺术创作的最高境界便是实现与人类艺术家类似的情感认知与表达。情感表示和关联的计算模型将是实现机器进行情感表达的重大挑战。此外，针对不同的艺术形式，情感的载体也千差万别。例如在绘画中，色彩、笔触性质等是情感表达的有效方式。对这些表达方式的探索不仅将赋予机器情感表达的能力，也将有助于揭示人类艺术家在创作中的情感表达机制。

（3）多感官模式的学习和表达

艺术作品本身并不能包含创作的全部有效信息，因而单纯地学习作品本身永远无法“猜”出所有的创作技能和审美评判能力。有效利用创作过程中的多种感官信息，将使得机器的学习更加高效、准确。这就对艺术创作过程中的数据采集和建模提出了更高的要求。此外，大量现代艺术作品对观众的刺激并不局限于单一的感官模式。在多感官的艺术创作方面，机器具有先天的优势：其能够以较小的代价融合不同的艺术创作形式，而人类则需要复杂的训练过程。在机器的帮助下，艺术家能够轻松迈入陌生的艺术领域。由此，艺术领域将快速步入多感官的创作时代。

（4）面向人类的辅助创作

对于人类艺术家，机器将代替他们进行重复性的机械劳动，并为其提供独特的视角与艺术创作的试验场；对于大众，机器创作将成为他们表达自我的重要途经。人们仅需输入想要表达的内容、主题与情感，把不擅长的创作过程交给机器。艺术的受众将更加广泛，人与人之间的情感联系将更加多元。

6 结束语  

本文从艺术创作中人与机器的关系出发，提出了平行艺术的理论体系。将艺术创作拆解为创作技能、审美评判两方面的能力和感官效果、共情属性等多阶水平，并将其建模为强化学习问题。由此视角阐述了平行艺术的理论框架、基本方法和典型特征，最后指出了机器艺术创作的发展方向。

平行艺术的目的在于：使机器达到媲美人类艺术家的创作能力，使人获得高效可靠的协作伙伴，促成人与机器在艺术创作中的配合与协作。平行艺术将为以人为主的情感关系与以机器为主的逻辑关系之间的协作提供方法论。

作者简介

郭超（1992-），男，中国科学院自动化研究所博士生，主要研究方向为机器学习、强化学习、机器艺术创作、三维结构认知等 。

鲁越（1994-），男，中国科学院自动化研究所博士生，主要研究方向为机器学习、小样本学习、风格迁移等 。

林懿伦（1989-），男，中国科学院自动化研究所助理研究员，主要研究方向为机器学习、强化学习、机器人、智能交通系统等 。

卓凡（1969-），男，中央美术学院副教授，主要研究方向为智慧（产品）设计、传统造物方式与现代设计（美学）转型等 。

王飞跃（1961-），男，中国科学院自动化研究所研究员，主要研究方向为智能系统和复杂系统的建模、分析与控制 。