融合链接预测相似度矩阵的属性网络嵌入算法

在属性网络中,与节点相关联的属性信息有助于提升网络嵌入各种任务的性能,但网络是一种图状结构,节点不仅包含属性信息还隐含着丰富的结构信息。为了充分融合结构信息,首先通过定义节点的影响力特性、空间关系特征;然后根据链接预测领域基于相似度的定义构建相似度矩阵,将节点二元组中的关联向量映射到相似度矩阵这一关系空间中,从而保留与节点相关的结构向量信息;再基于图的拉普拉斯矩阵融合属性信息和标签特征,将上述三类信息集成到一个最优化框架中;最后,通过二阶导数求局部最大值计算投影矩阵获取节点的特征表示进行网络嵌入。实验结果表明,提出的算法能够充分利用节点二元组的邻接结构信息,相比于其他基准网络嵌入算法,本模型在节点分类任务上取得了更好的结果。     

基于网络表示学习的论文影响力预测算法

基于图的随机游走算法在预测论文影响力时,仅利用学术网络的全局结构信息而未考虑局部结构信息,对预测准确率造成影响。针对该问题,提出一种基于异构学术网络表示学习和多变量随机游走的论文影响力预测算法。通过构建异构学术网络表示模型,将网络中的论文、作者和期刊/会议等不同类型的节点表征到同一个低维向量空间中,同时保留网络的局部结构信息,将节点的向量相似度应用于多变量随机游走方法,实现对论文影响力的准确预测。在AMiner网站公开数据集上的实验结果表明,相比于PageRank、FutureRank等算法,该算法的预测准确性较高。     

基于元图卷积的异质网络嵌入学习算法

异质网络嵌入是将异质网络中丰富的结构和语义信息嵌入到低维的节点表示中.图卷积网络是处理网络数据的一种有效方法,当前也被用于研究异质网络的多类型节点和多维关系的表示问题,现有的图卷积网络模型主要采用元路径来表示不同类型节点间的一种语义关系.然而,孤立的单条元路径无法准确地反映节点间的复杂语义,即不能充分利用节点间存在的多种高阶间接语义关系.针对上述问题,提出了一种基于元图卷积的异质网络嵌入学习算法MGCN(meta-graph convolutional network),包括基于元图的异构邻接矩阵计算以及学习节点的嵌入表示2个阶段,基于元图的异构邻接矩阵设计了融合多条元路径上的不同语义的计算方法,能够挖掘节点间的高阶间接关系,通过异构邻接矩阵的计算,能够聚合节点邻域特征为统一模式,此种卷积学习降低了图卷积方法的嵌入维数,从而减少了计算时间.在2个公开的异质网络数据集上进行社会计算基础研究任务的实验表明,MGCN在节点分类、聚类任务上比基线模型有更好的性能且需更少的训练时间.     

基于不完全信息的深度网络表示学习方法

网络表示学习的目标是将网络中的节点嵌入到低维的向量空间,为下游任务提供有效特征表示.在现实场景中,大规模网络通常具有不完整的链路,而现有的大多数网络表示学习模型都是在网络是完整的假设下设计的,因此其性能很容易受到链路缺失的影响.针对该问题,文中提出了一种基于不完全信息的深度网络表示学习方法DNRL(Deep Network Representa-tion Learning).首先采用转移概率矩阵将结构信息和属性信息进行动态融合,弥补了结构信息不完整带来的过大损失,然后采用一种具有强大特征提取能力的深度生成模型(变分自编码器)来学习节点的低维表示,并捕获网络数据中潜在的高非线性特征.在3个真实属性网络上的实验结果表明,与当前常用的网络表示学习模型相比,所提模型在不同程度链路缺失的节点分类任务中都明显地改善了分类效果,在可视化任务中更清晰地反映了节点的团簇关系.     

一种基于层级信息优化的有向网络表示学习方法

网络表示方法旨在将每个节点映射到低维向量空间,并保留节点在网络中的结构关系。有向网络的环中节点相互可达,破坏了非对称传递性,影响了模型对网络整体结构信息的学习。为削弱有向网络的环在表示学习中的影响,增强模型对全局结构信息的感知,文中提出了一种针对有向网络表示学习的优化方法。该方法借助TrueSkill方法获取节点的层级信息,将该信息转化为边权重并引入表示学习过程。文中将此方法应用到已有的多种有向网络表示学习方法中,多个有向网络数据集上的链接预测和节点分类任务的实验结果表明,所提方法的性能相比原有方法得到了明显提升。     

基于邻节点和关系模型优化的网络表示学习

网络表示学习旨在于将网络的拓扑结构、节点内容和其他信息嵌入到低维度的向量空间中,从而为网络数据挖掘、链路预测和推荐系统提供一种有效的工具.然而,现有的基于神经网络的表示学习算法即忽略了上下文节点的位置信息,又忽略了节点与文本之间的语义关联.因此,基于以上2点,提出了一种新颖的基于邻节点和关系模型优化的网络表示学习算法(network representation learning algorithm using the optimizations of neighboring vertices and relation model, NRNR).首先,该算法首次采用当前节点的邻居节点优化网络表示学习模型,使得上下文窗口中节点的位置信息被嵌入到网络表示中;其次,该算法首次引入知识表示学习中的关系模型建模节点之间的结构特征,使得节点之间的文本内容以关系约束的形式嵌入到网络表示中;再次,NRNR提出了一种可行且有效的网络表示联合学习框架,将上述2种目标融入到一个统一的优化目标函数中.实验结果表明：NRNR算法在网络节点分类任务中优于各类对比算法,在网络可视化中,NRNR算法学习得到的网络表示展现出了明显的聚类边界.     

基于半监督网络表示学习方法的基因功能预测

直接定义在网络邻接矩阵上运行的特征提取方法存在着结构信息提取不充分的问题。基于此，提出一种融合多网络表示学习特征的基因功能预测方法。利用随机游走模型捕捉基因网络的拓扑结构特征，基于此特征使用一个半监督自编码器学习基因节点的低维表示。应用卷积神经网络融合多网络基因节点的低维表示信息预测基因功能。实验结果表明，在人类和酵母菌数据集上该方法能够提高基因功能预测的效果。     

基于异构网络表征学习的作者学术行为预测

作者学术行为预测旨在从异构学术网络中挖掘作者的行为关系,以促进科研合作,产出高水平、高质量的研究成果。现有的节点表示方法大多未考虑节点的语义特征、内容特征、全局结构等,难以有效学习网络中节点的低维特性。为有效融合节点的多维特征和全局结构,提出了一种集成BiLSTM、注意力机制和聚类算法的异构网络表示学习方法HNEMA,以提高学术网络中作者的学术行为预测效果。HNEMA首先基于BiLSTM和注意力机制融合节点的多维特征,聚合同一元路径下或不同元路径下相同类型的邻居,随后聚合待表征节点的所有邻居的多维特征。基于此,采用聚类算法捕获节点的全局特征,从而全面有效地学习节点的低维特性。在全面特征学习的基础上,应用逻辑回归分类器预测作者的学术行为。在3个公开数据集上的验证实验结果表明,相比其他方法,HNEMA在AUC和F1指标上都有一定程度的提升。     

融合双层注意力机制的属性网络节点嵌入

属性网络嵌入旨在学习网络中节点的低维表示,具有拓扑和属性相似的节点在嵌入空间彼此接近.注意力机制能有效学习网络中节点与其邻居的相对重要性并基于邻居重要性聚合节点表示.据此,提出一种在属性网络中融合双层注意力机制的节点嵌入算法NETA,可以有效地实现属性网络嵌入.该算法首先从拓扑结构捕获直接邻居,基于属性关系捕获间接邻居...     

基于深度自编码的局部增强属性网络表示学习

基于深度自编码器的网络表示,可以捕获高度非线性的网络结构,但当链接稀疏时学到的表示不够准确。针对这一问题,提出一种基于深度自编码的局部增强属性网络表示学习模型,以提高表示学习的准确度。该模型首先利用链接与属性特征,采用多个深度自编码器,学习保持网络拓扑结构及属性特征的低维网络表示。之后,基于节点间近邻结构及属性相似性,对学出的低维网络表示进行节点约束,实现网络局部结构增强,达到最大程度保持原始结构信息及属性特征的目的。在五个真实属性网络上的实验结果表明,提出的模型在聚类与分类任务中,效果均优于目前流行的表示学习方法。     

基于网络表示学习与随机游走的链路预测算法

现有的基于随机游走链路预测指标在无权网络上的转移过程存在较强随机性,没有考虑在网络结构上不同邻居节点间的相似性对转移概率的作用。针对此问题,提出一种基于网络表示学习与随机游走的链路预测算法。首先,通过基于深度学习的网络表示学习算法——DeepWalk学习网络节点的潜在结构特征,将网络中的各节点表征到低维向量空间;然后,在重启随机游走（RWR）和局部随机游走（LRW）算法的随机游走过程中融合各邻居节点在向量空间上的相似性,重新定义出邻居节点间的转移概率;最后,在5个真实数据集上进行大量实验验证。实验结果表明：相比8种具有代表性的基于网络结构的链路预测基准算法,所提算法链路预测结果的AUC值均有提升,最高达3.34%。     

基于图卷积网络和自编码器的半监督网络表示学习模型

为了保留网络结构信息和节点特征信息,结合图卷积神经网络(GCN)和自编码器(AE),提出可扩展的半监督深度网络表示学习模型(Semi-GCNAE).利用GCN捕获节点的K阶邻域中所有节点的结构和特征信息,并将捕获的信息作为AE的输入.AE对GCN捕获的K阶邻域信息进行特征提取和非线性降维,并结合Laplacian特征映射保留节点的团簇结构信息.引入集成学习方法联合训练GCN和AE,使模型习得的节点低维向量表示能同时保留网络结构信息和节点特征信息.在5个真实数据集上的广泛评估表明,文中模型习得的节点低维向量表示可以有效保留网络的结构和节点特征信息,并在节点分类、可视化和网络重构任务上性能较优.     

基于邻域相似的层次粒化的网络表示学习方法

捕获更多的结构特征给网络表示学习方法带来较高的复杂度.基于分层递阶思想,文中提出基于邻域相似的层次粒化的网络表示学习方法,降低已有网络表示学习方法的复杂度.首先利用节点邻域相似性将网络逐步压缩至粗粒度的表示空间中.然后利用已有的网络表示学习方法学习粗粒的特征表示.最后利用图卷积网络将已学习的粗粒特征逐步细化为原始网络的节点表示.在多个数据集上的实验表明,文中方法可以快速有效大幅压缩网络,降低算法的运行时间.针对节点分类和链接预测任务,当粒化层次较低时,文中方法可以较大幅度提升原有算法的性能.     

一种基于网络表示学习的miRNA-疾病关联预测方法

针对miRNA-疾病关联研究中信息使用不充分、过于依赖网络中节点的相似度信息以及预测准确度较低的问题,提出一种基于网络表示学习的miRNA-疾病关联预测方法(network representation learning miRNA-disease association,NRLMDA)。该方法通过引入长链非编码RNA(lncRNA)构造出miRNA-lncRNA-疾病异构网络,丰富原有网络的生物学信息;采用网络表征学习node2vec算法在上述提出的异构网络中以一定的游走策略获得节点的近邻序列,并通过skip-gram模型进行深度学习,从而获得节点的低维特征向量;最后基于miRNA-miRNA相似性的关联规则推断方法预测miRNA与疾病的关联。该方法能够挖掘出全局网络的拓扑结构特征,并且不需要负样本。NRLMDA在留一交叉验证和五折交叉验证以及进一步的案例研究上的实验结果优于经典方法。     

表示学习中句子与随机游走序列等价性的一种新证明

表示学习是机器学习中通过浅层的神经网络将具有关联关系的信息映射到低维度向量空间中。词表示学习的目标是将词语与其上下文词语的关系映射到低维度的表示向量空间中,而网络表示学习的目标是将网络节点及上下文节点之间的关系映射到低维度的表示向量空间中。词向量是词表示学习的结果,而节点表示向量是网络表示学习的结果。DeepWalk通过随机游走策略获取网络节点上的游走序列作为word2vec模型中的句子,之后通过滑动窗口获取节点对输入到神经网络中进行训练,而word2vec和DeepWalk底层所采用模型和优化方法是相同的,即Skip-Gram模型和负采样优化方法,在word2vec和DeepWalk中负采样的Skip-Gram模型称为SGNS。现有研究结果表明,基于SGNS模型实现的词表示学习和网络表示学习算法均为隐式地分解目标特征矩阵。有学者提出基于单词词频服从Zipf定律和网络中节点度服从幂律分布,认为网络中的随机游走序列等同于语言模型中的句子,但是仅仅基于它们服从幂律分布的理由,来判断句子等同随机游走序列是不充分的。因此,基于SGNS隐式分解目标特征矩阵的理论和依据,设计了2个对比实验,利用奇异值分解和矩阵补全方法分别在3个公共数据集上做节点分类任务,通过实验证实了句子和随机游走序列的等同性。     

基于社区优化的深度网络嵌入方法

随着现代网络通信和社会媒体等技术的飞速发展,网络化的大数据由于缺少高效可用的节点表示而难以应用。将高维稀疏难于应用的网络数据转化为低维、紧凑、易于应用的节点表示的网络嵌入方法受到广泛关注。然而已有网络嵌入方法得到节点低维特征向量后,再将其作为其他应用（节点分类、社区发现、链接预测、可视化等）的输入来作进一步分析,没有针对具体应用构建模型,难以取得满意的结果。针对网络社区发现这一具体应用,提出结合社区结构优化进行节点低维特征表示的深度自编码聚类模型CADNE。首先基于深度自编码模型,通过保持网络局部及全局链接的拓扑特性来学习节点的低维表示,然后利用网络聚类结构对节点低维表示进一步优化。该方法同时学习节点的低维表示和节点所属社区的指示向量,使节点的低维表示不仅能保持原始网络结构中的拓扑结构特性,而且能保持节点的聚类特性。与已有的经典网络嵌入方法进行对比,结果显示CADNE模型在Citeseer和Cora上取得最优聚类结果,在20NewsGroup上准确率提升最高达0.525;分类性能在Blogcatalog、Citeseer数据集上取得最好结果,在Blogcatalog上训练比例20%时比基线方法提升最高达0.512;并且CADNE模型在可视化对比中能够得到类边界更加清晰的节点低维表示,验证了所提方法具有较好的节点低维表示能力。     

基于密集连接卷积神经网络的链路预测模型

现有的基于网络表示学习的链路预测算法主要通过捕获网络节点的邻域拓扑信息构造特征向量来进行链路预测，该类算法通常只注重从网络节点的单一邻域拓扑结构中学习信息，而对多个网络节点在链路结构上的相似性方面研究不足。针对此问题，提出一种基于密集连接卷积神经网络（DenseNet）的链路预测模型（DenseNet-LP）。首先，利用基于网络表示学习算法node2vec生成节点表示向量，并利用该表示向量将网络节点的结构信息映射为三维特征数据；然后，利用密集连接卷积神经网络来捕捉链路结构的特征，并建立二分类模型实现链路预测。在四个公开的数据集上的实验结果表明，相较于网络表示学习算法，所提模型链路预测结果的ROC曲线下方面积（AUC）值最大提高了18个百分点。     

基于高阶近似的链路预测算法

目前大部分链路预测算法只研究了节点与邻居节点之间的一阶相似性，没有考虑节点与邻居的邻居节点之间的高阶相似性关系。针对此问题，提出一种基于高阶近似的链路预测算法（LP-HOPA）。首先，求出网络的归一化邻接矩阵和相似度矩阵；其次，利用矩阵分解的方法将相似度矩阵进行分解，得到网络节点的表示向量以及其上下文的表示向量；然后，通过高阶网络表示学习的网络嵌入更新（NEU）算法对原始相似度矩阵进行高阶优化，并利用归一化的邻接矩阵计算出更高阶的相似度矩阵表示；最后，在四个真实的数据集上进行大量的实验。实验结果表明，与原始链路预测算法相比，大部分利用LP-HOPA优化后的链路预测算法准确率提升了4%到50%。此外，LP-HOPA算法能够将基于低阶网络局部结构信息的链路预测算法转换为基于节点高阶特征的链路预测算法，在一定程度上肯定了基于高阶近似链路预测算法的有效性和可行性。     

基于图卷积与长短期记忆网络的动态网络表示学习模型

针对动态网络节点之间链路预测的准确率低和运行时间长的情况,提出了一种以降噪自编码器(dAE)为框架,结合图卷积网络(GCN)和长短期记忆(LSTM)网络的动态网络表示学习模型dynGAELSTM.首先,该模型的前端采用GCN捕获动态图节点的高阶图邻域的特征信息;其次,将提取到的信息输入dAE的编码层以获取低维特征向量,...     

网络表示学习的研究与发展

网络表示学习旨在将网络中的节点表示成低维稠密且具有一定推理能力的向量,以运用于节点分类、社区发现和链路预测等社交网络应用任务中,是连接网络原始数据和网络应用任务的桥梁。传统的网络表示学习方法都是针对网络中节点和连边只有一种类型的同质信息网络的表示学习方法,而现实世界中的网络往往是具有多种节点和连边类型的异质信息网络。而且,从时间维度上来看,网络是不断变化的。因此,网络表示学习的研究方法随着网络数据的复杂化而不断变化。对近年来针对不同网络的网络表示学习方法进行了分类介绍,并阐述了网络表示学习的应用场景。