当今时代是知识爆炸的时代，人们通过不同渠道能够获得各种类型的知识，如何合理利用这些知识实现新的目标和任务，即实现知识迁移，是人类一项基本能力。然而这项能力对于机器而言却并不容易，“如何迁移"”何时迁移" 以及“迁移什么" 是知识迁移应用于人工智能领域面临的三大难题。为使未来的机器破除程式化的束缚，由单一功能向多功能发展，由单纯执行命令向自主学习进化，由机器思维方式向人类思维方式转变，越来越多的研究人员致力于知识迁移原理的探索与应用，使其成为机器学习乃至人工智能领域的研究热点之一。

知识迁移的目标是从关联任务中提取有效信息来辅助解决新的任务，根本出发点是目标领域的数据稀疏性，即目标训练集缺少有效标签或充足样本，如大量的网页文本信息均是无标签数据。当出现数据稀疏性时，训练模型很容易产生过拟合现象。尽管许多机器学习方法，包括半监督学习、协同训练与主动学习能在一定程度上解决数据稀疏性问题，很多情形下仍需要寻求额外的知识以辅助学习。因而研究知识迁移理论对于填补机器学习的空白与推进人工智能的发展有着至关重要的意义。早在20世纪八、九十年代，就有学者开始研究相关问题，称之为自教学习、自适应学习、跨领域学习或领域自适应等。直到2009年，香港科技大学教授、IEEE Fellow 杨强在IEEE 会刊上发表了关于知识迁移的综述后，知识迁移开始有了较为完善的理论框架和标准的概念体系。

通常将以下两种观点作为典型的知识迁移：①理论上，知识迁移是一种新的学习范式，不同于监督学习、半监督学习或无监督学习；②实践中，知识迁移是一种新的跨领域学习技术，能够很好地解决各类领域差异性问题，如数据分布、特征与标签空间、源数据噪声以及源领域与目标领域的关联性等。在过去二、三十年中，知识迁移已在包括文本挖掘、语音识别、计算机视觉、评价系统等诸多领域获得成功，并在许多实际场景中取得良好应用。如百科文档到博客文本、搜索图像到网页页面、书籍评价到电影评价等一系列不同领域间知识的提炼、转换与映射，均从属于知识迁移理论。

心理学认为，知识迁移是反映人类心理认知过程的一种概念；是人类学习的一种方法；通过一种学习影响另一种学习。古代人类就注意到迁移现象，春秋时期的思想家孔子曾提出"举一反三" 的说法，宋代朱熹提出"融会贯通" 的思想，这些思想都是说明学习者需汇聚各方面知识，掌握不同门类甚至是不同领域知识的共通性，从而可以将在一个领域内对知识的理解转移至其他领域当中。

在日常生活和学习中，我们会发现，数学学习好的学生物理学习一般也很好；会打羽毛球的学生学习网球会很快；会下象棋的人学习国际象棋会很容易；会骑自行车的人也会很快学会骑摩托车，如图1 所示。因此，我们发现，如果掌握了其中一个领域的知识，在学习另外一个相近领域知识的时候，已掌握的知识会对新知识的学习起到帮助作用，这就是一种知识的迁移。这种知识迁移可以大大增强人类在不同环境中学习新任务的能力。

图1 日常生活中的迁移现象

知识迁移的提出

当今世界是信息的世界，计算机技术发展迅速，对于获取并存储海量信息已不再是难题，然而，如何处理这些获取的海量信息则成为了一个新的挑战。在此基础上，机器学习的概念与方法被提出并得到了长足的发展。机器学习是模拟人类思维的一种计算机学习方法，是人工智能的核心，然而传统机器学习与人类学习相比，并不具有学习新环境知识的能力，不能利用已掌握的知识帮助新任务的学习，而是需要足够的标记样本来训练出可靠的分类模型，然后将模型用于未标记样本获取其标签值。训练与测试样本必须服从同分布假设，如果分布不同或训练样本数量不足都难以获得可靠的分类模型，这极大限制了机器学习的发展及应用。如果让机器拥有人类类似的知识迁移能力，学习不同领域的知识，则能够在很大程度上提高机器的学习效率，丰富学习内容。

实际应用中常遇到的问题是，我们很容易获取大量未标记样本，然而，给样本赋予标记的手段往往是手工操作，这个过程将消耗大量时间与资源。另外，由于信息的增长和更新，许多得到的已标记样本与新增加的未标记样本分布存在偏差，虽然能获得足够的已标记样本，但因为与未标记样本分布不同，训练的分类模型一般不具有很好的泛化性，无法取得令人满意的预测结果。而对于与未标记样本分布不同的相似样本，常常包含部分对任务学习有帮助的信息，完全抛弃这部分样本则会造成大量资源浪费。因此，在获得少量"昂贵" 已标记的同分布样本的情况下，如何利用大量已标记相似分布样本提高机器性能成为当前机器学习与模式识别研究中的热点问题。

知识迁移就是在这样的应用背景下产生的，目的是打破传统机器学习训练样本与测试样本同分布的假设，将迁移的思想附加给计算机，让计算机拥有跨领域学习的能力，将已有的知识恰当的引入到新任务的学习中，使相似领域中包含信息的有效重用成为可能，提高计算机在新领域中学习的能力。知识迁移学习与传统机器学习的关系如图2 所示。

图2 传统机器学习与知识迁移学习的关系

知识迁移研究更关注当训练样本信息不足的情况下，如何通过已有的相似领域知识获得具有良好预测效果以及推广能力的学习模型，这里的相似包括样本分布相似或学习任务相似。知识迁移的理论研究对于深化机器学习理论，扩大其应用领域具有重要现实意义，并且对机器学习存在的许多理论问题，如相似域间信息重用、模型参数设计、知识迁移与传统学习以及半监督学习关系等都具有重要指导意义。

知识迁移的发展

近些年机器学习理论发展迅速，知识迁移在理论和应用中得到快速发展。目前，知识迁移研究成果已广泛应用于网页检索和文本分类、数字图像处理、图像识别、自然语言处理、邮件分类、计算机辅助设计以及无线网络定位等领域中。

实际上，知识迁移最早是用来研究人类心理活动的一种方法。心理学认为，人类学习认知事物并将其"举一反三" 的过程就是一种迁移行为。20世纪90年代，知识迁移研究被引入到机器学习理论中，概念一经提出，就在学术界引起广泛关注。最初，关于知识迁移的定义很宽泛，经历了终身学习、迁移学习、归纳迁移、多任务学习、元学习和增量(积累) 学习等不同阶段。2005年，美国国防部先进研究项目局给出了一个新的知识迁移定义：知识迁移是系统将在已有环境中认知和学习到的信息应用到新任务的能力。根据该定义，知识迁移旨在将已有源任务中获取的信息重用于目标任务。与多任务学习同时关注复数个学习任务不同，知识迁移更注重目标任务性能的提升。

知识迁移自提出以来，涉及研究内容非常广泛。例如，对各种传统机器学习算法进行修改和扩展，以融入源领域样本信息的研究，或者利用源领域中获取的知识在目标领域重构学习器等。知识迁移的实际应用内容也非常丰富，概括来说有：基于语义的文本迁移和情感分类、基于颜色空间转换的色彩迁移以及利用概率统计理论的关联任务样本迁移等。第一种应用多以文本迁移为主，Yu 等考虑语句中的多元关键字，将语义分割，构建不同分类器并迁移至新语句中实现文本数据挖掘功能；Blitzer 等改进结构对应学习算法并提出一种确定域与域之间的相关性的度量方法，解决了情感语义标注问题，实现自动情感分类；刘成等构造衡量任务相似性的相关性矩阵，提出通过目标任务与辅助任务联合决策的方式提高目标任务的分类精度，显著改善图像分类的准确率。第二种应用则是将色彩分布作为一种可利用的知识进行迁移，代表是Reinhard 算法，其在图像颜色空间转换的基础上，对空间像素值进行线性变换，成功将颜色图像的颜色基调转移至形状图像，实现图像之间颜色的迁移。第三种应用则是基于模型与样本权重的样本迁移，Yang等考虑用户动态和环境因素，利用隐马尔可夫模型捕捉到的时间和拓扑结构问题域，根据当前接收的RSS 信号预测用户位置来解决用户无线定位问题；王雪松等通过贝叶斯理论分析源任务与目标任务的相似性，按照迁移价值对源任务排序，筛选有用样本，指导Agent 在路径规划问题中快速合理做出决策；Dai 等利用Boosting 机制，对目标领域样本和源领域样本分别赋予不同的权重，改变不同样本在训练中的重要性，将源领域样本添加至训练集共同训练，很好地实现了Web 网页的自动分类；杜俊卫使用聚类的方法选择与目标领域相似的源领域文本，并将这些文本应用到目标领域的学习中，增加训练样本的个数，大大提高了垃圾邮件过滤技术的性能。

如今，知识迁移的研究内容已频繁出现在一些国际顶级期刊、学术会议中。由于知识迁移可以降低人工标注代价并在提高学习性能方面具有极大优势，因此越来越受到国内外学者青睐。知识迁移在理论研究方面与实际应用中均获得巨大成果，而且在机器学习中的研究地位逐渐升高。

本文摘编自王雪松、潘杰、程玉虎著《知识迁移学习方法及应用》（北京：科学出版社,2016.12），内容略有删节。

ISBN：978-7-03-051395-3

责任编辑：惠雪

《知识迁移学习方法及应用》围绕文本分类、人脸识别、辅助决策、色彩调和、参数映射与路径寻优等一系列机器学习与计算机视觉领域实际问题，分别从分类迁移、决策迁移、色彩迁移与优化迁移等4个不同角度阐述知识迁移原理、方法与应用，共4部分11章。第一部分为针对人脸识别与领域适应等分类问题的单源迁移与多源集成迁移，包括：基于局部保持投影的特征迁移、加权多源TrAdaBoost算法、多源Tri-Training知识迁移与基于样本局部判别权重的加权迁移。第二部分围绕决策树与强化学习等策略问题的决策迁移展开，包括：基于相似度衡量的决策树迁移与基于极限学习机的多源强化知识迁移。第三部分涉及计算机视觉领域的局部色彩迁移问题，包括：基于主动轮廓探索的色彩迁移与基于纹理相似性的多源局部色彩迁移。最后一部分则是针对路径规划问题中的参数迁移与样本优化迁移。本书是著者近5年来在国家自然科学基金项目资助下，取得的一系列关于知识迁移学习方法应用于机器学习与计算机视觉等领域的研究成果与结晶。

（本期责编：王芳）

一起阅读科学!

科学出版社│微信ID：sciencepress-cspm

专业品质  学术价值

原创好读  科学品味