网络表示学习

网络表示学习（Network Representation Learning，NRL）、网络嵌入（Network Embedding，NE）和图嵌入（Graph Embedding Method，GE）都是同义词，是指网络的向量化表示技术，即用低维、稠密、实值的向量表示网络中的结点，将网络结点映射到K维的向量空间。通过这样一种转化，将复杂的网络信息变成结构化的多维特征，从而利用常见的机器学习方法实现更方便的计算。图1中给出了一个网络嵌入的一般框架，将每个网络结点映射到一个低维向量上，可以从向量化的信息中重构出网络结构和结点属性。

图1 网络嵌入框架

网络结点向量表示完成后，一方面利于计算存储，传统方法使用邻接矩阵存储图，邻接矩阵只记录结点一阶邻居的信息，而且大规模网络的邻接矩阵维数非常高。另一方面，将异质信息映射到同一个低维空间中方便进行各种计算，如分类、聚类、预测、标签传播、图分割、可视化等等。

传统意义上的图嵌入被看成是一个降维的过程，而主要的方法包括主成分分析（Principal Component Analysis, PCA）和多维缩放（Multiple Dimensional Scaling, MDS）。所有的方法都可以理解成运用一个n×k的矩阵来表示原始的n×m矩阵，其中k<<m。在21世纪初，又提出了其他方法，如IsoMap和LLE，以保持非线性流形的整体结构。总的来说，这些方法都在小型网络上提供了良好的性能。然而这些方法的时间复杂性至少是二次的，这使得它们无法在大规模网络上运行。

另一类流行的降维技术使用可从图中导出的矩阵的谱特性（例如，特征向量）来嵌入图的结点。拉普拉斯特征映射（Laplacian eigenmaps）通过与其k个最小非平凡特征值相关联的特征向量表示图中的每个结点。

近年来，深度学习由于其强大的表示学习能力和非线性特性得到广泛的关注和应用。2014年提出的DeepWalk是最早的基于Word2vec的结点向量化模型，此后开展了大量基于深度学习的网络嵌入方法研究。

联合正则化的深度多网络嵌入

文献：Jingchao Ni, Shiyu Chang, Xiao Liu, et al. Co-Regularized Deep Multi-Network Embedding[C]. Proceedings of the 2018 World Wide Web Conference, 469-478.

网络嵌入旨在用低维向量表示社会网络或信息网络的结点，同时能保存网络的结构信息。大多数现存的方法都是针对单一网络嵌入，忽视了多个网络之间的关系。在许多实际应用中，多个网络可能包含补充信息，可以进一步修正结点嵌入的结果。图2给出了一个多网络模型示例。

图2 多网络示例

图2(a)中是多个关联社会网络的一个示例，不同网络的结点都是同质的，每个网络对应一个社交平台或一种社会关系，这三个网络的结点有一些是一样的（如用户 U1, U2, U3），有一些是独有的（如用户 U7, U8）。这种网络模型中，不同网络之间的结点是一对一的连接关系。图2(b)中不同网络包含不同领域的结点，如文本、用户和图片，不同网络的结点关系也是不同性质的。这种网络模型中，不同网络之间的结点可以是多对多的连接关系。图2(c)中的一般化模型涵盖了以上两种多网络模型，不同网络的结点可以相同也可以不同，不同网络的大小可以不一致，不同网络之间结点的关系可以是多对多的映射，网络间的关系可以是赋权的、不完全的、部分映射的。

之前的多网络嵌入研究一般只针对图2(a)或图2(b)中的一种，且对多网络模型的限制较多，而对于图2(c)这种更加复杂全面的多网络模型则少有研究。因此需要提出更加灵活的多网络嵌入方法。

本文提出了一个新的多网络嵌入方法（Deep Multi-Network Embedding，DMNE）。该方法十分灵活，可以允许不同的网络具有不同的网络大小，可以（不）加权和（不）定向。利用不同网络之间结点的关系来调节每个网络结点嵌入。为了对非线性的网络数据建模，本文采用了一种新的深度学习架构，每个网络对应一个神经网络，利用联合正则化损失函数来协调多个神经网络。图3是DMNE算法在两个网络上的实现过程。

图3 DMNE算法架构示例

作者在多个不同领域的数据集上对提出的DMNE算法进行评价，主要关注两个应用问题：多标签分类和数据可视化，并与八个现存最优的网络嵌入方法进行对比，实验结果表明DMNE算法的有效性，且优于所有这些现存算法。

备注：2019年11月19日晚上，“糖果之家”相约星期二，“大数据与智能决策”讨论班（Seminar）继续开讲，本次讨论班以“网络表示学习”为题，共讨论了一篇文献，由博士生进行讲解，共有青年教师、博士后、博士生和硕士生20人参加。