Research on Data Graph, Information Graph and Knowledge Graph based Object recognization

• June 2018

• DOI: 

• 10.13140/RG.2.2.27323.90406

• Thesis for: Bachelor

• Advisor: Yucong Duan

• Project: 

• DIKWP: Semantic Computation-Existence Computation-Essence Computation-Cognitive Computation

海 南 大 学

毕 业 论 文（设计）

题目：基于数据图谱、信息图谱、知识

图谱的目标识别技术研究

(Research on Data Graph, Information Graph and Knowledge Graph based Object recognization)

学    号：      20141602310123        

name：           何诗情(Shiqing He)         

年    级：            大四             

学    院：  海南大学信息科学技术学院（Hainan University）      

系    别：          计算机系           

专    业：       计算机科学与技术      

Tutor：           段玉聪 (YucongDuan)    

完成日期：    2018年     月     日       

摘    要

社会已经进入移动互联网时代，现已可以通过深度学习的方法识别出已标识的图像，机器在反复识别同一类对象的过程中逐渐模拟出一个方程，这个方程逼近于所识别对象的共同特征，最后达到识别的目的。但是深度学习的方法并不能解决未标识图像的识别问题，与此同时，单单从特征的角度来识别图像内容已经无法满足需求，即使继续增加训练数据规模也难以让图像识别技术有质的提升。和继续改善机器的“视力”相比，让机器拥有更为发达的“大脑”显然能够更好的识别图像内容，也就是实现知识推理。本文在深度学习的基础上引入了数据图谱、信息图谱、知识图谱的渐进架构对图像进行知识推理，使机器自动智能地识别图片中或者摄像机所拍摄到的图像中的实体目标和信息目标。识别实体目标时，首先通过深度学习方法识别已标注的实体，然后在数据图谱、信息图谱或知识图谱中找到能够与未识别目标连通过去的路径，遍历路径上的实体同时进行特征匹配，最后找到与未识别目标匹配度最高的识别结果；识别信息目标时，还要依据图像状态、位置关系和方向关系在图谱中找到对应的路径，从路径中分析出新的实体或者关系（用多元组表示），得到隐藏信息，实现信息识别。

关键词：图像识别；目标识别；数据图谱；信息图谱；知识图谱

Abstract

In the era of mobile Internet, computers identify the labeled images by means of deep learning methods. However, deep learning cannot solve the problems of unlabeled image recognitions. Compared with continuing to improve the "vision" of computers, having a more advanced "brain" could recognize abundant information of images better, that is, the knowledge reasoning. This article introduces a knowledge reasoning architecture based on data graph, information graph and knowledge graph, so that the computers could automatically and intelligently identify the unlabeled objects and unsure information of the pictures or the images captured by the cameras. While identifying unlabeled objects, first we identify the labeled entities through deep learning methods, and then search the paths connecting with the target in the data graph, the information graph and the knowledge graph. At last the computers obtain a result highly matched with the target through traversing the net and matching the features of the entities. While identifying the unsure information, computers find out corresponding paths in the spectrums according to the image states, position relationships and direction relationships, then analyze the paths to acquire new entities and relationships. So that computers get hidden information and achieve the information identification.

Key words：Image Recognition; Target Recognition; Data Graph; Information Graph; Knowledge Graph

目    录

1 引言

2 相关工作

3基于知识图谱渐进架构的实体目标识别模型

3.1图谱定义

3.2 具体流程

3.3实例分析

4 基于图谱的信息目标识别技术

4.1 图谱定义

4.2 具体实施方式

4.3 实例分析

5实验

5.1实验

5.2 实验分析

6 总结与展望

致谢

参考文献

1 引言

在现实社会中存在着成千上万的事物，人们可以用肉眼观察到苹果和梨子的特征从而去识别它们，同时事物的存在和发展总是遵循着一定的规则，彼此之间存在某种联系，苹果与地面发生撞击，我们通过万有引力定律发现苹果与地面的关系，又通过知识推理可以得到梨子，西瓜与地面的关系，这个过程就是人脑进行智能推理的过程。知识是人类对于客观世界的认识成果和经验总结，知识推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的知识进行机器思维和求解问题的过程。

我们把上述理论运用到图像分析中，深度学习可以达到“人眼”的效果，通过提取图像特征来精确识别已标识的实体。但是深度学习的方法并不能解决未标识图像的识别问题，与此同时，单单从特征的角度来识别图像内容已经无法满足需求，即使继续增加训练数据规模也难以让图像识别技术有质的提升。和继续改善机器的“视力”相比，让机器拥有更为发达的“大脑”显然能够更好的识别图像内容，也就是实现知识推理。本文在深度学习的基础上引入了数据图谱、信息图谱、知识图谱的架构对图像进行知识推理，使机器自动智能地识别图片中或者摄像机所拍摄到的图像中的未标识实体目标以及信息目标。本文构建了数据图谱、信息图谱和知识图谱三层架构，层层递进，实现高效识别。可以正确识别深度学习方法中未识别的图像。针对已识别图像与未识别图像的关系分别在数据图谱、信息图谱和知识图谱上进行遍历，使目标识别结果更加精确。通过分析图像已有信息，经过知识推理，可以得到图像中无法直接观察到的信息。

图像识别技术已经渗透到社会上的各行各业中，尤其在导航，地图，自然资源分析，天气预报，环境监测中具有重要的应用价值，随着社会的发展，它在遥感领域，通讯领域，军事，公安刑讯以及生物医学上也开始发挥重要的作用。在这些领域中，很多实体数据在图像资源库中所占的比例不高，仅仅通过特征识别达到的效果无法满足人们的需求，同时在这些复杂的场景中也要实现信息目标的识别，这两种目标的识别都需要进行知识推理。综上所述，引入数据图谱，信息图谱，知识图谱架构对图像进行知识推理具有十分重要的现实意义。

本文的组织结构如下：第2章介绍了相关工作综述；第3章提出一种基于知识图谱渐进架构的实体目标识别模型，对未标记实体的识别进行建模；第4章提出一种基于知识图谱渐进架构的信息目标识别模型，对未知信息的识别进行建模；第5章用实验验证两个模型并证明两个模型的有效性；第6章总结了本文所做的工作。

2 相关工作 

深度学习技术已经成为计算机视觉和机器学习领域的热门研究课题，在[22]中提出的深层卷积神经网络（CNNs）在ILSVRC-2012的图像分类任务中首次出现, 后出现了各种深度神经网络和基于深度神经网络的图像识别算法。通过直接从数据中自动学习视觉特征的分层结构，深度学习技术总是可以拟合直接的因果关系。然而随着信息技术的飞速发展，图像信息爆炸性增加，尽管深度学习方法在图像识别中已经达到了最好的效果，但是无法否定深度学习需要极大的计算量和学习样本，并且仍旧无法识别训练集中未标识的样本，也无法做到对图像隐藏信息进行知识推理后采集。此时信息结点间的关系涉及到间接因果关系，此结果的产生是一个间断的突变过程，例如，在上下文窗口的长度有限的情况下，具有完全不同含义的一些词可能具有非常相似的上下文[23]，这对深度学习技术来说无法用函数拟合。

为了进行形式化的多步推理，于是人们尝试在深度学习的基础上引入知识图谱。传统的知识图谱表达很多时候忽略了明确的寓意表达，导致一些无法解释的情况出现[19,20]。传统的嵌入方法不仅降低了性能，而且限制了许多潜在的应用。某些词的含义，特别是对于某些命名实体，地点和人来说，很难仅根据其语境来学习[24]。在[25]中，作者提出了一种知识图的语义表示方法，该方法强加了一个两层的分层生成过程，该过程全局提取许多面，然后为每个三元组在每个面局部分配一个特定类别。因为面和类别都是语义相关的，所以每个面的类别集合都被视为这个三元组的语义表示。[26]作者提出在逻辑，哲学和计算基础上表示知识，作为价值驱动设计实践中的指导实例。与他们的方法不同，本文我们采用基于数据图谱、信息图谱和知识图谱的渐进结构来构建知识图谱，并将上述知识图谱结构运用于图像和信息识别中。

3基于知识图谱渐进架构的实体目标识别模型

3.1图谱定义 

目前，我们已经可以运用深度学习来识别已标识的图像。在此基础上，我们引入数据图谱、信息图谱、知识图谱的渐进架构对未标识图像进行知识推理，从而实现自动智能地识别出图片中或者摄像机所拍摄到的图像实体目标。下面给出构建数据图谱、信息图谱、知识图谱的具体定义:

定义1（数据图谱）：数据图谱能记录实体出现的频度，包括结构、时间和空间三个层次的频度。我们定义结构频度为实体出现在不同数据结构中的次数，时间频度为实体的时间轨迹，空间频度定义为实体的空间轨迹。数据图谱可以描述在图像中可以直接观察到的实体属性，包括颜色，形状等，也能描述实体之间的静态关系，包括方向关系和拓扑关系，以及各个结点之间关联的紧密程度，我们称之为密度，可以反映出哪些实体联系紧密，哪些实体联系稀疏。但数据图谱上未对实体的准确性进行分析，可能出现不同名称的实体但表示同一事物，这就产生了数据冗余。综上，数据图谱只能处理静态关系的图像识别（已识别图像与未识别图像处于同一个数据结构中，例如苹果长在苹果树上），无法预测和分析出具有交互关系的图像。

定义2（信息图谱）：信息是通过数据和数据组合之后的上下文来传达的，经过概念映射和相关关系组合之后的适合分析和解释的信息。信息图谱可以根据关系数据库来表达。信息图谱可以表达实体之间的交互关系（例如苹果和地面的撞击），信息图谱上的频度指的是实体与实体之间的交互的频度，在信息图谱上可以进行数据清洗，消除冗余数据。

定义3（知识图谱）：知识图谱是从积累的信息中获得的总体理解和意识，将信息进行进一步的抽象和归类可以形成知识。知识图谱可以通过包含结点和结点之间关系的有向图来表达。知识图谱可以表达各种语义关系，在知识图谱上通过信息推理和实体链接提高知识图谱的边密度和结点密度，知识图谱的无结构特性使得自身可以无缝链接。

信息推理需要有相关规则的支持，这些规则可以由人手动构建，但往往费时费力，得到复杂关系中的所有推理规则更加困难。目前，信息推理主要依赖于关系的同现，并使用关联挖掘技术自动查找推理规则。使用每个不同的关系路径作为一维特征，通过在知识图谱中构建大量的关系路径来构建关系分类的特征向量和关系提取器来提取关系，关系的正确度超过某一阈值是认为新关系成立。通过推理得到的新关系的正确度Cr可以由公式1得出。实体1和实体2之间的新关系可以表示为，z表示所有关系，|z|为关系对应的数量，表示新关系权重，表示实体1和实体2之间的一个关系，当正确度超过一个阈值是认为该关系成立。

 ;(1)

在知识图谱中我们定义了where、when和实体结点之间的语义关系如图3所示：

1． 充分必要关系：在when和where确定的条件下结点A一定存在，同时若结点A存在，可以得到确定的 where或when；

2． 充分不必要关系：在when和where确定的条件下结点A一定存在，但若结点A存在，where和when无法确定；

3． 必要不充分条件：在when和where确定的条件下结点A不一定存在，但若结点A存在，where或when可以唯一确定；

4．    既不充分也不必要条件：在when和where确定的条件下结点A不一定存在，同时若结点A存在，where或when也无法确定；

图3-1 数据图谱、信息图谱和知识图谱在数据库中的表示

3.2 具体流程

一种基于数据图谱、信息图谱、知识图谱架构的图像识别方法的具体流程如下：

步骤1）根据已有图像资源，建立基于数据图谱、信息图谱、知识图谱的框架；

步骤2）获取待识别图像；

步骤3）将待识别图像分割成已识别图像{Bi}和未识别图像X两个模块；

步骤4）若A和B存在于一个数据结构之中：基于步骤3获得的已识别图像B遍历数据图谱，推测出它可能存在于哪些实体的数据结构之中，将这些实体记做{Ai}；对{Ai}进行分析，采集{Ai}中所有可能出现的实体，记做{Ci}；记；

步骤5）将基于步骤3获得的未识别图像X与实体{Xi}进行特征匹配，由公式1得到匹配度R。当R大于某一个阈值时，把R作为识别结果。假设数据图谱中实体属性特征与Ai匹配值为，表示Xi可以与未识别图像匹配的一个属性，x表示所有可以匹配的属性，包括形状，颜色，拓扑关系，方向关系等；

；（2）

步骤6）若A和B具有直接交互关系：在信息图谱中按照交互频度从大到小的顺序遍历已识别图像{Bi}的邻近结点{Di}，记{Di}为{Xi}，执行步骤5；若A和B具有间接交互关系：在信息图谱中按照交互频度从大到小的顺序遍历已识别图像{Di}的邻近结点{Ei}，记{Ei}为{Xi}，执行步骤5，如果没有找到识别结果，继续寻找{Ei}的邻近结点，重复上述过程，直到找到为止；

步骤7）若已识别图像与未识别图像处于同一种环境：基于步骤3获得的已识别图像{Bi}遍历知识图谱，找到图像中对应的“Where”和“When”，并找到在对应的“Where”和“When”中可能出现的实体类型，记做{Xi}，执行步骤5；

步骤8）输出识别结果。

图3-2  实体目标识别整体流程图

3.3实例分析

在知识图谱上查找：

（1）待识别目标输入

图3-3  基于知识图谱进行实体目标识别示例图

（2）已识别目标{Bi}

实验用书，键盘，鼠标，显示器，水杯

图3-4 根据已识别实体查找到的局部知识图谱

（3）在知识图谱中找到已识别目标{Bi}可能所在的场景为实验室，如上图所示；

（4）在实验室可能出现的类{Xi}有工作台，笔，橡皮，椅子，人，水杯。

（5）对{Xi}和X进行特征匹配，在这里假设属性所占权重都相同。

得R(工作台)>>其他类，所以最终匹配结果为工作台。

在信息图谱上查找：

（1）待识别目标输入

图3-5  基于信息图谱进行实体目标识别示例图

 （2）已识别目标{Bi}

桌子，书

 （3）在信息图谱中查找已识别目标所在的连通子图，找到跟桌子和书有间接和直接连通路径的{Xi}有电脑，水杯，卫生抽纸，台灯，纸，笔等。

 （4）对{Xi}和X进行特征匹配，在这里假设属性所占权重都相同。

得R(电脑)>>其他类，所以最终匹配结果为电脑。

在数据图谱上查找：

图3-6  基于数据图谱进行实体目标识别示例图

（2）已识别目标{Bi}

后轮胎

 （3）在数据图谱中查找已识别目标可能所处的数据结构，找到跟B在相同数据结构的实体 {Xi}有汽车，方向盘，车窗，座椅，车盖，轮胎等。

 （4）对{Xi}和X进行特征匹配，在这里假设属性所占权重都相同。

得R(轮胎)>>其他类，所以最终匹配结果为轮胎。

4 基于图谱的信息目标识别技术

4.1 图谱定义

对于图像信息目标识别，我们在知识图谱中定义了实体间的两种语义关系，分别是相同关系和相反关系。这两种关系是指在某一场景下，两个实体之间在某一属性或关系上正好是相同或者相反的。例如，苹果和梨子都可以通过万有引力定律得到她们与地面的关系，十字路口上东西方向上的车辆和南北方向上的车辆的运动状态相反。我们可以利用这两种基本的语义关系在知识图谱上经过知识推理找到隐藏信息。

该技术的目的是使机器自动智能的进行图像识别，找到图像中无法直接观察到的信息。本发明首先建立了数据图谱、信息图谱、知识图谱架构，然后提取图像中实体的运动状态（用二元组表示，包括运动和静止）以及实体间的方向关系和位置关系（用多元组表示，方向关系包括上，下，左，右，前，后，左下，左上，右上，右下，左前偏上，左前偏下，右前偏上，右前偏下，左后偏上，左后偏下，右后偏上，右后偏下，前上，前下，后上，后下，左前，右前，左后，右后，相对，平行，垂直。位置关系包括相交，相离，相切，包含，覆盖，重叠）遍历三层图谱，在三层图谱中基于图像状态、位置关系和方向关系找到对应的路径，找到新的实体或者关系（用多元组表示），得到隐藏信息。

4.2 具体实施方式

一种基于数据图谱、信息图谱、知识图谱架构的图像识别方法的具体流程如下：

步骤1）根据已有图像资源，建立基于数据图谱、信息图谱、知识图谱的框架；

步骤2）输入待识别图像；

步骤3）获取图像中的实体；

步骤4）提取图像中实体的运动状态（用二元组表示）以及实体间的方向关系和位置关系（用多元组表示）；

步骤5）基于步骤3中获得的结果遍历三层图谱；

步骤6）在三层图谱中基于图像状态、位置关系和方向关系找到对应的路径，找到新的关系（用多元组表示），得到隐藏信息；

步骤7）输出隐藏信息，即信息识别结果；

图4-1 信息目标识别整体流程图

4.3 实例分析

由数据图谱得到实体信息：

由信息图谱得到交互关系：

由知识图谱得到实体和关系信息：

5实验

5.1实验

在这个部分，我们以在知识图谱上识别实体目标为例。前端上传照片，输入待识别图片：

图5-1 上传的待识别图像

后端出深度学习结果，用深度学习结果匹配neo4j中的三层图谱。

将深度学习的结果和三层图谱对应的结果传到前端，前端在上传的图片上标记深度学习的识别结果，同时展现三层图谱的结果。

图5-2 深度学习处理过的结果

红色有pin的是深度学习的结果，已识别实体有K1=实验用书，k2=键盘，k3=鼠标，k4=显示器和k5=水杯；将未识别实体记做k6；实体之间的关系如下：

（1） r1=（k1在k6上）；

（2） r2= (k3在k6上)；

（3） r3= (k2在k6上)；

根据已识别实体和关系查询知识图谱：

图5-3 根据已识别实体和关系查询到的局部知识图谱

在知识图谱上找到已识别结点共同指向的when或where结点，根据三元组{实体、地点or时间、语义关系}进行寻找：G1={K1，实验室，4}；G2={K2，实验室，2}；G3={K3，实验室，2}；G4={K4，实验室，2}；G5={K5，实验室，4}。我们找到共同指向地点实验室，进行标识。（注：2是充分不必要关系，4是既不充分也不必要关系）

图5-4 知识图谱与图像结合，在知识图谱上找到已识别结点共同指向的when或where结点，即实验室

继续在知识图谱上与实验室相连的实体进行特征匹配，首先根据三元组{地点or时间、语义关系、实体}寻找实体结点，优先匹配实线结点：v1={实验室，2，工作台}；v2={实验室，2，电脑}；然后匹配虚线结点v3={实验室，4，笔}；v4={实验室，4，橡皮}；v5={实验室，4，椅子}；v6={实验室，4，水杯}，最终匹配结果为工作台：

图5-5  根据实验室在知识图谱上进行遍历，确认未识别实体为工作台

在未识别出来的物体上显示图谱结点，意味着通过图谱识别了。结果中可以做很多交互，比如各层的显示隐藏，人工的识别确认等。

5.2 实验分析

通过大数据抽取和集成已经可以创建知识图谱，为进一步增加知识图谱的知识覆盖率，还需要进一步对知识图谱进行挖掘。在实验中，我们利用Neo4j图数据库构建出简单的知识库，因为利用深度学习对识别未标识的实体需要很庞大的训练量，所以我们在此基础上调用知识库进行检索，可以大大提高识别未标识实体的效率，同时，我们也可以从知识库中的语义关系中得到未知信息，进行信息识别。比如本例中除了识别出工作台之外也可以得到图像地点在实验室这个信息。在知识图谱上找到可能实体之后，需要进行实体匹配，匹配度P（k）的值由两部分的组成：一部分是从知识图谱上得到的实体关系S（k，ki）；另一部分是实体特征匹配度T（k），匹配度的计算公式为：

其中a+b=1，由于目标实体特征匹配的影响大于其与已识别实体之间关系的影响，所以我们在实验中设a=0.4，b=0.6 ；利用SURF特征得到T（k6）=0.57；求S的时候，我们设N为图像中与识别目标相关的实体数量，本例中N=3，包括k1，k2，k3；Y(N)是存在关联的对象数量对目标识别产生的影响，通过计算得到Y（N）=0.72；ki是与识别目标存在关系的第i个实体对象，Ri是第i个对象与识别目标存在的关系数量，本实验中，我们只考虑了图像中实体之间的空间位置关系，所以设Ri=1。L（Ri）表示关系权重，在知识图谱中，我们设定虚线权重为0.2，实线权重为0.8,；在实验中很难确定每一项对于识别结果的贡献度大小，所以设c=0.5，d=0.5；

通过计算得P（k6）=0.69，远远大于其他实体，匹配结果为工作台。

主要算法描述如下：

Algorithm 1        Calculating the target entity

DPLEK: Known entities derived from deep learning

DPLEUK: Unknown entities obtained from deep learning

PLACES: Location nodes recorded in the knowledge graph

KGLE: entities nodes recorded in the knowledge graph

for q_res in Q_res:

if q_res.line==solid:

PLACES[q_res].value+=0.8;

elif q_res.line==dotted:

PLACES[q_res].value+=0.2;

for q_res in Q_res:

if q_res.line==solid:

PLACES[q_res].value+=0.8;

elif q_res.line==dotted:

PLACES[q_res].value+=0.2;

Return ki;

6 总结与展望

本文在数据图谱、信息图谱、知识图谱的渐进架构上分别提出了一个图像识别模型和一个信息识别模型。针对已识别图像和未识别图像处于同一种数据结构、已识别图像与未识别图像具有间接或直接交互关系、已识别图像与未识别图像处于同一种环境三种情况，分别对已识别图像在数据图谱、信息图谱和知识图谱上进行遍历，并在三层图谱中找到能够与未识别目标连通过去的路径，找到路径上出现的实体进行特征匹配，最后找到与未识别目标匹配度最高的实体作为识别结果。提取图像中实体的运动状态以及实体间的方向关系和位置关系遍历三层图谱，在三层图谱中基于图像状态、位置关系和方向关系找到对应的路径，找到新的实体或者关系（用多元组表示），得到隐藏信息。最后通过实验来验证了两种模型的可行性和有效性。本文只用neoj4建立了一个比较简单的知识库，今后如果不断的完善知识库，建立更加合理有效的语义关系，知识图谱可以在实体和信息识别方面发挥更重要的作用，

致谢

吋光飞逝，转眼间四年紧张而又充实的大学生生活即将画上句号。在这四年的学习期间，我得到了很多老师、同学和朋友的关怀和帮忙。在学位论文即将完成之际，我要向所有期间给予我支持、帮忙和鼓励的人表示我最诚挚的谢意。

首先，这篇毕业论文是在我的导师段玉聪老师的亲切关怀和悉心指导下完成的。他严肃的科学态度，严谨的治学精神，精益求精的工作作风，深深地感染和激励着我，在此谨向段老师致以诚挚的谢意和崇高的敬意。我还要感谢在一起愉快的度过毕业论文小组的同学们，正是由于你们的帮助和支持，我才能克服一个一个的困难和疑惑，直至本文的顺利完成。

其次，感谢信息学院的全体领导和老师，由于他们的悉心教导，我学到了专业的计算机知识，掌握了扎实的专业技能。

最后，感谢我的家人在此期间给予我的包容、关爱和鼓励，以及所有陪我一路走来的同学和朋友，正是由于他们的支持和照顾，我才能安心学习，并顺利完成我的学业。

毕业在即，在今后的工作和生活中，我会铭记师长们的教诲，继续不懈努力和追求，来报答所有支持和帮忙过我的人!

参考文献

[1]黄子吉,肖杰,陆安江,徐乃涛,孙其梁.几种图像去噪方法的比较研究[J].通信技术,2017,50(11):2465-2471.

[2] Taigman Y, Yang M, Ranzato M A, et al. Deepface：Closing the gap to human-level performance in face verification[C].Proceedings of the IEEE conference on computer vision and pattern recognition. 2014： 1701-1708.

[3]王禹鄢.深度学习在图像识别中的应用与发展[J].中国战略新兴产业,2017(48):115-116.

[4] Convolutional Neural Networks (LeNet) - DeepLearning 0.1 documentation. DeepLearning 0.1. LISA Lab. [31 August 2013].

[5] Convolutional Neural Network. [2014-09-16].

[6] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C].Advances in neural information processing systems. 2012： 1097-1105.

[7] Noh H, Hong S, Han B. Learning deconvolution network for semantic segmentation[C].Proceedings of the IEEE International Conference on Computer Vision. 2015： 1520-1528.

[8] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C].Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 770-778.

[9]Girshick R，Donahue J，Darrell T，et al．Rich feature hierarchies  for  accurate  object  detection  and  semantic segmentation[C]//International Conference on Computer Vision and Pattern Recogintion(CVPR)，2014.

[10]He K M，Zhang X Y，Ren S Q，et al．Spatial pyramid pooling  in  deep  convolutional  networks  for  visual recognition[C]．IEEE Transactions on Pattern Analysis & Machine Intelligence，2015.

[11]Girshick R.Fast R-CNN[C]//International Comference on Computer Vision(ICCV)，2015.

[12]Ren S Q，He K M，Girshick R，et al．Faster R-CNN:towards real-time object detection with region proposal networks[C]．IEEE Transactions on Pattern Analysis & Machine

Intelligence，2015

[13]Redmon J，Divvala S，Girshick R，et al．You only look once:unified,real-time  object  detection[C]//International Conference on Computer Vision & Pattern Recogintion(CVPR)，2016.

[15]衣世东.基于深度学习的图像识别算法研究[J].网络安全技术与应用,2018(01):39-41.

[16]Duan Y, Shao L, Hu G, et al. Specifying architecture of knowledge graph with data graph, information graph, knowledge graph and wisdom graph[C]// IEEE, International Conference on Software Engineering Research, Management and Applications. IEEE, 2017:327-332.

[17]曹倩,赵一鸣.知识图谱的技术实现流程及相关应用[J].情报理论与实践,2015,38(12):127-132.

[18]刘峤,李杨,段宏,刘瑶,秦志光.知识图谱构建技术综述[J].计算机研究与发展,2016,53(03):582-600.

[19] Guu K, Miller J, Liang P. Traversing Knowledge Graphs in Vector Space [J]. Computer Science, 2015.

[20] Minervini P, Fanizzi N, D'Amato C, et al. Scalable Learning of Entity and Predicate Embeddings for Knowledge Graph Completion[C]// IEEE, International Conference on Machine Learning and Applications. IEEE, 2015:162-167.

[21]L.Deng,D.Yu[C]. Deep Learning Methods and Applications, Foundations and Trends® in Signal Processing,2014,7:197-387

[22] A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In NIPS, pages 1106–1114, 2012.

[23] Felix Hill, Roi Reichart, and Anna Korhonen. 2016. Simlex-999: Evaluating semantic models with (genuine) similarity estimation. Computational Linguistics.

[24] Chen J, Chen K, Qiu X, et al. Learning Word Embeddings from Intrinsic and Extrinsic Views[J]. 2016.

[25] Xiao H, Huang M, Zhu X. Knowledge Semantic Representation: A Generative Model for Interpretable Knowledge Graph Embedding[J]. 2016.

[26] Sowa J F. Knowledge representation: logical, philosophical, and computational foundations[M]. Pacific Grove: Brooks/Cole, 2000.