基于随机游走的图嵌入研究综述

近年来,图嵌入已经成为图神经网络领域研究的热点。图嵌入作为图任务分析的一种重要手段,将图的高维非欧信息编码到低维向量空间中,从而提升下游任务的性能和效率。为了及时掌握当前基于随机游走的图嵌入方法的研究现状,通过归纳与整理,对现有的经典模型进行介绍与分类,主要分为基于经典随机游走的模型和基于属性游走的模型;然后对每一种模型解决的问题、算法思想、模型策略、优缺点和应用场景进行了详细的归纳与分析,并在几种常见的数据集上评估了部分模型的性能。通过研究发现,当前的基于随机游走的图嵌入亟待解决四个方面的问题：属性选择、可扩展性、嵌入维度选择和可解释性,针对这些问题,图嵌入需要建立一致的理论框架,为后面的研究提供可参考的标准。     

基于异质用户网络嵌入的服务推荐方法研究

服务推荐过程中,为充分利用用户标签标注关系与用户的社交关系信息,提升推荐结果的准确性,提出一种基于异质用户网络嵌入的方法,通过将用户节点映射为一个低维的向量,再利用得到的用户向量进行协同推荐。在公开数据集Delicious上进行了实证分析,实验结果表明,相对已有的2个方法,该方法的推荐精度可分别提高18.1%和16.6%,且发现在学习用户表征向量时,节点之间的直接关系与"朋友的朋友"关系对表示用户节点结构信息同等重要;同时,推荐过程中为目标用户返回的相似用户在25个最为适宜。     

基于异质图随机游走的网络话题优化策略与仿真模型

网络话题充满噪声,用户在浏览网络的过程中,逐步添加关联性高的网页到话题中,并从话题中删除关联性低的网页,从而形成纯净话题,这就是话题优化的过程。基于此,本文提出一种基于异质图随机游走的模型来模拟用户优化话题的过程,异质图模拟网络内容的关联性,而随机游走模拟用户浏览网络的过程。对于一个网络话题,该模型能够计算出所有网页属于该话题的概率,根据概率分布就能够判断真正属于该话题的网页,从而模拟网络话题优化的过程。仿真结果证实,本文提出的模型可以准确、完整的模拟话题的优化。而通过用户对优化结果的主观评价,同样证实了模型的有效性。     

融合多特征的属性异质网络嵌入方法

网络嵌入旨在用低维、实值的向量表示非结构化网络中的节点,使节点嵌入尽可能地保留原始网络中的结构特征与属性特征。然而,当前研究主要集中于嵌入网络结构,对异质信息网络中具有丰富语义的关系属性和节点属性考虑得较少,可能导致节点嵌入语义缺失,从而影响下游应用的预测效果。针对该问题,设计了一种融合多特征的属性异质网络嵌入(Attributed Heterogeneous Network Embedding with Multiple Features, MFAHNE)方法。该方法通过序列采样、结构特征嵌入、属性特征嵌入、特征融合等步骤将网络中的关系属性、节点属性、结构语义等特征融合至最终节点嵌入。实验结果表明,该方法能兼顾结构特征与属性特征,实现两种特征信息的相互补充,优于传统的网络嵌入方法。     

基于网络表示学习与随机游走的链路预测算法

现有的基于随机游走链路预测指标在无权网络上的转移过程存在较强随机性,没有考虑在网络结构上不同邻居节点间的相似性对转移概率的作用。针对此问题,提出一种基于网络表示学习与随机游走的链路预测算法。首先,通过基于深度学习的网络表示学习算法——DeepWalk学习网络节点的潜在结构特征,将网络中的各节点表征到低维向量空间;然后,在重启随机游走（RWR）和局部随机游走（LRW）算法的随机游走过程中融合各邻居节点在向量空间上的相似性,重新定义出邻居节点间的转移概率;最后,在5个真实数据集上进行大量实验验证。实验结果表明：相比8种具有代表性的基于网络结构的链路预测基准算法,所提算法链路预测结果的AUC值均有提升,最高达3.34%。     

基于动态投影嵌入的多维异质网络可视化研究

异质网络是包含多种类型节点和边的复杂信息网络,因此异质网络的可视化通常涉及异质信息的有效处理与可视技术,传统的网络可视化技术对于异质网络可视化来说布局效果混乱、异质信息难以体现。为此提出一种基于动态投影嵌入的多维度异质网络可视化方法。该方法从异质网络的表示学习方法入手,提出动态投影嵌入模型来学习异质网络的节点表示,在此基础上,提出了多维度（空间）的可视化方法,将异质网络节点根据不同属性映射至不同关系空间中进行可视化分析,从而挖掘出潜在的语义信息。实验结果表明,提出的方法不仅使异质网络表示学习的评价指标（MRR）提升了10%,而且从多维度（空间）对异质网络进行可视化,有效地展示和挖掘了网络中的异质信息与潜在语义信息。     

异质信息网络中基于网络嵌入的影响力最大化

针对当前大部分影响力最大化算法忽略了异质信息网络包含多种节点类型和多种关系类型,且不同类型节点在原始空间无法直接度量的问题,提出了一种异质信息网络中基于网络嵌入的影响力最大化模型（influence maximization based on network embedding,IMNE）,用于选择初始扩散节点实现影响力最大化。该模型不仅可以在对异质信息网络进行编码的同时表征异质信息网络中潜在的信息,还可以捕获不同类型节点间影响力的不确定和复杂性。在3个真实数据集上的实验验证了IMNE算法的有效性。     

基于改进随机游走的网络表示学习算法

现有的基于Word2vec的网络表示学习（NRL）算法使用随机游走（RW）来生成节点序列,针对随机游走倾向于选择具有较大度的节点,生成的节点序列不能很好地反映网络结构信息,从而影响表示学习性能的问题,提出了基于改进随机游走的网络表示学习算法。首先,使用RLP-MHRW算法生成节点序列,它在生成节点序列时不会偏向大度节点,得到的节点序列能更好地反映网络结构信息;然后,将节点序列投入到Skip-gram模型得到节点表示向量;最后,利用链路预测任务来测度表示学习性能。在4个真实网络数据集上进行了实验。在论文合作网络arXiv ASTRO-PH上与LINE和node2vec算法相比,链路预测的AUC值分别提升了8.9%和3.5%,其他数据集上也均有提升。实验结果表明,RLP-MHRW能有效提高基于Word2vec的网络表示学习算法的性能。     

融合属性信息的异质网络嵌入方法

现有的异质网络嵌入方法不仅忽略了网络中的异质边及其对节点嵌入的不同影响,还未考虑到网络结构与节点属性的融合。为此提出了一种融合属性信息的异质网络嵌入方法（SHANE）。将序列到序列（seq2seq）模型应用到依据边类型划分的子图中,无缝融合节点的结构信息和属性信息,同时捕捉节点的高阶语义信息。实验表明,SHANE在两个不同类型的数据集中进行链接预测任务,可以取得相对显著的效果。     

基于动态异构信息网络的时序关系预测

动态异构信息网络中的时序关系预测问题近些年被广泛研究,时序关系预测旨在预测关系产生时间的同时预测关系的类型.动态异构信息网络是包含不同类型的点和边且边上带有时间信息的网络.现有的方法主要考虑了网络中拓扑结构对于关系预测的影响,而并未将时间和结构信息整合到一个统一的模型中进行研究.针对以上问题,提出了一个时间差关系路径法(time-difference-labeled path, TDLP)用于实现时序关系预测,该方法将网络中边上的时间信息融入到结构路径中从而得到更好的预测效果.在一个学术网络上的实验证明,提出的TDLP方法相比当前流行的方法具有更高预测准确率.     

Finding Communities by Decomposing and Embedding Heterogeneous Information Network

Community discovery is an important task in social network analysis.However,most existing methods for community discovery rely on the topological structure alone.These methods ignore the rich information available in the content data.In order to solve this issue,in this paper,we present a community discovery method based on heterogeneous information network decomposition and embedding.Unlike traditional methods,our method takes into account topology,node content and edge content,which can supply abundant evidence for community discovery.First,an embedding-based similarity evaluation method is proposed,which decomposes the heterogeneous information network into several subnetworks,and extracts their potential deep representation to evaluate the similarities between nodes.Second,a bottom-up community discovery algorithm is proposed.Via leader nodes selection,initial community generation,and community expansion,communities can be found more efficiently.Third,some incremental maintenance strategies for the changes of networks are proposed.We conduct experimental studies based on three real-world social networks.Experiments demonstrate the effectiveness and the efficiency of our proposed method.Compared with the traditional methods,our method improves normalized mutual information(NMI)and the modularity by an average of 12%and 37%respectively.     

基于PPMI的异质属性网络嵌入

属性网络嵌入旨在映射网络中的节点和链接关系到低维空间,同时保留其固有的结构和属性特征.异质属性网络中多种类型的节点和链接关系给网络嵌入学习提供了丰富的辅助信息,同时也带来了新的挑战.提出异质属性网络嵌入模型(heterogeneous attribute network embedding based on the PPMI, HANEP),旨在将网络中多种类型的节点和(或)多种类型的链接关系映射到低维、紧凑的空间,同时保护节点的属性特征和不同类型对象之间的异质链接承载的复杂、多样且丰富的语义信息.HANEP模型首先基于样本属性的相似性构建属性图、依据元路径抽取异质属性网络的拓扑结构,然后通过随机冲浪获得属性和拓扑概率共现(probabilistic co-occurrence, PCO)矩阵,并计算其正点对互信息(positive point-wise mutual information, PPMI),进而采用多个自编码器(auto-encoder, AE)捕捉节点属性和异质链接的本质信息.元路径可以捕捉异质网络中多种类型节点间的链接关系,构建属性图可以清晰描述节点属性的非线性流行结构,属性和拓扑的局部成对约束和图表示有助于整合节点属性和网络拓扑的一致性和互补性关系,PPMI表示可以捕捉属性和拓扑的高阶近邻信息及潜在的复杂非线性关系.在3个真实数据集上的实验结果验证了HANEP算法的有效性.     

基于双视角的耦合网络表示学习算法

传统网络表示学习算法大多依赖于节点视角下的随机游走获取网络局部采样序列,再通过最大化相邻节点的共现概率将网络中的节点表示成低维向量.本文在真实网络上的经验分析表明,对节点和边两种视角分别进行随机游走会产生具有不同节点分布的采样序列,进而得到不同的社区划分.为此,本文提出了一种基于双视角的耦合表示学习算法DPBCNE.该方法基于边视角进行随机游走以获得不同于节点视角的采样结果,再融合基于节点视角下的节点采样序列进行耦合训练,以学习节点和边的表示.实验结果表明,相较于现有的网络表示学习算法,DPBCNE能更好地保留网络拓扑结构信息,并在下游分类和预测任务中获得更好的效果.     

Adversarial Heterogeneous Network Embedding with Metapath Attention Mechanism

Heterogeneous information network (HIN)-structured data provide an effective model for practical purposes in real world. Network embedding is fundamental for supporting the network-based analysis and prediction tasks. Methods of network embedding that are currently popular normally fail to effectively preserve the semantics of HIN. In this study, we propose AGA2Vec, a generative adversarial model for HIN embedding that uses attention mechanisms and meta-paths. To capture the semantic information from multi-typed entities and relations in HIN, we develop a weighted meta-path strategy to preserve the proximity of HIN. We then use an autoencoder and a generative adversarial model to obtain robust representations of HIN. The results of experiments on several real-world datasets show that the proposed approach outperforms state-of-the-art approaches for HIN embedding.

     

基于元图卷积的异质网络嵌入学习算法

异质网络嵌入是将异质网络中丰富的结构和语义信息嵌入到低维的节点表示中.图卷积网络是处理网络数据的一种有效方法,当前也被用于研究异质网络的多类型节点和多维关系的表示问题,现有的图卷积网络模型主要采用元路径来表示不同类型节点间的一种语义关系.然而,孤立的单条元路径无法准确地反映节点间的复杂语义,即不能充分利用节点间存在的多种高阶间接语义关系.针对上述问题,提出了一种基于元图卷积的异质网络嵌入学习算法MGCN(meta-graph convolutional network),包括基于元图的异构邻接矩阵计算以及学习节点的嵌入表示2个阶段,基于元图的异构邻接矩阵设计了融合多条元路径上的不同语义的计算方法,能够挖掘节点间的高阶间接关系,通过异构邻接矩阵的计算,能够聚合节点邻域特征为统一模式,此种卷积学习降低了图卷积方法的嵌入维数,从而减少了计算时间.在2个公开的异质网络数据集上进行社会计算基础研究任务的实验表明,MGCN在节点分类、聚类任务上比基线模型有更好的性能且需更少的训练时间.     

多元图融合的异构信息网嵌入

基于元结构(如元路径或元图)的网络嵌入方法,能够有效地利用异构网络结构.但与元路径相比,元图能够捕获更加复杂的结构信息,更能提升异构信息网中相似节点匹配的准确性.然而,现有的基于元图的嵌入方法具有如下局限：大多由专家指定元图类型,在大型复杂网络的应用环境中并不适用;虽然融合了多个元图进行嵌入,但并未考虑元图权重的差异性;部分模型利用用户的期望语义关系生成可以保留特定语义的元图组合,但这类模型过分依赖元图选择和用于监督学习的样本,缺乏通用性.基于此,提出一种多元图融合的异构网络嵌入方法,该方法包括2部分：第1部分是元图发现,目的是挖掘代表当前网络结构和语义特征的重要元图;第2部分是基于多元图融合的节点嵌入,主要内容是提出了一种基于元图的通用节点相似度度量方法,同时利用神经网络嵌入节点的元图特征.实验结果表明,与其他网络嵌入方法相比,提出的方法具有较高的准确性和效率.     

An Extensible Heterogeneous Network Embedding Framework for Knowledge Tracing

Knowledge tracing is of great significance for providing better personalized learning guidance and has thus attracted extensive research attention in recent years. The task of knowledge tracing is to model students'' learning process on the basis of historical exercise records and trace students'' knowledge proficiency, thereby predicting students'' performance on future exercises or recommending exercises for better proficiency. Existing methods focus on either the skill level or the exercise level, ignoring the relationships among exercises and Knowledge Components (KCs). The classical single-factor models include the Deep Knowledge Tracing (DKT) {model} and the Dynamic Key-Value Memory Network (DKVMN) model. Although a few models, such as the Bayesian Knowledge Tracing (BKT) model and the Knowledge Proficiency Tracing (KPT) model, utilize the Q-matrix to improve model performance, most of them ignore the interaction among KCs, not to mention models that do not use the Q-matrix. Inspired by the recent success of network embedding, this paper presents a heterogeneous network embedding framework for knowledge tracing called HNEKT that takes both exercises and KCs into account. To adapt to the application of knowledge tracing, this paper also proposes several meta-paths to generate meaningful node sequences for network embedding. Besides, it explores other side information as well to improve the extensibility and effectiveness of the proposed model. Extensive experiments on three real-world datasets demonstrate the effectiveness of the HNEKT model.