自适应融合邻域聚合和邻域交互的图卷积网络

图表示学习是在保持图中节点性质不变的前提下,获取节点的低维表示向量,为下游任务提供有效的数据支持。现有图表示学习算法大多关注于聚合邻域特征,对于挖掘其他非线性信息关注不足。针对这一问题,提出了自适应融合邻域聚合和邻域交互的图卷积网络AFAI-GCN。首先,采用双通道图卷积网络建模邻域聚合,并利用生成的嵌入表示计算邻域交互项来补充算法学习的信息;然后,结合注意力机制构建自适应融合模块,增加对重要信息的关注,提高融合信息项的任务相关性;最后,通过信息一致性约束和差异性约束增强节点特征一致性和嵌入表示差异性。在三个公共引文数据集上进行了节点分类和可视化任务,结果显示,AFAI-GCN与图卷积网络（GCN）、邻域聚合和交互图卷积网络（AIR-GCN）等算法相比,在Cora、Citeseer、Pubmed数据集上分类准确率分别提高了1.0～1.6个百分点、1.1～2.4个百分点和0.3～0.9个百分点;在可视化任务中团簇内聚合程度更高,不同的团簇边界更清晰;算法学习过程中收敛速度更快,准确率曲线更平滑。实验结果表明该框架较好地提升了基准算法的性能。     

基于多粒度结构的网络表示学习

图卷积网络（GCN）能够适应不同结构的图,但多数基于GCN的方法难以有效地捕获网络的高阶相似性。简单添加卷积层将导致输出特征过度平滑并使它们难以区分,而且深层神经网络更难训练。本文选择将网络的多粒度结构和图卷积网络结合起来用于学习网络的节点特征表示,提出基于多粒度结构的网络表示学习方法Multi-GS。首先,基于模块度聚类和粒计算思想,用分层递阶的多粒度空间替代原始的单层网络拓扑空间;然后,利用GCN模型学习不同粗细粒度空间中粒的表示;最后,由粗到细将不同粒的表示组合为原始空间中节点的表示。实验结果表明:Multi-GS能够捕获多种结构信息,包括一阶和二阶相似性、社团内相似性（高阶结构）和社团间相似性（全局结构）。在绝大多数情况下,使用多粒度的结构可改善节点分类任务的分类效果。     

基于改进图注意机制的网络嵌入方法研究及应用

网络已被广泛用作抽象现实世界系统以及组织实体之间关系的数据结构;网络嵌入模型是将网络中的节点映射为连续向量空间表示的强大工具;基于图卷积（Graph convolutional neural, GCN）的网络嵌入方法因受其模型迭代过程参数随机优化和聚合函数的影响,容易造成原始节点特征信息丢失的问题;为有效提升网络嵌入效果,针对于图神经网络模型在网络嵌入中节点表征学习的局限性,提出了一种基于二阶邻域基数保留策略的图注意力网络SNCR-GAT（Second-order Neighborhood Cardinality Retention strategy Graph attention network）,通过聚合二阶邻域特征基数的方式,解决网络节点潜在特征学习过程中重要信息保留问题;通过在节点分类和可视化两个网络嵌入应用任务上进行实验,结果表明,SNCR-GAT模型在网络嵌入上的性能表现相比较基准方法更具优越性。     

基于图卷积与长短期记忆网络的动态网络表示学习模型

针对动态网络节点之间链路预测的准确率低和运行时间长的情况,提出了一种以降噪自编码器（dAE）为框架,结合图卷积网络（GCN）和长短期记忆（LSTM）网络的动态网络表示学习模型dynGAELSTM。首先,该模型的前端采用GCN捕获动态图节点的高阶图邻域的特征信息;其次,将提取到的信息输入dAE的编码层以获取低维特征向量,并在LSTM网络上获取动态网络的时空依赖特征;最后,经dAE的解码层重建预测图,并与真实图对比来构建损失函数,从而优化模型完成链路预测。理论分析和仿真实验表明,dynGAELSTM模型相较于预测性能第二的模型在三个数据集上的预测性能分别提升了0.79、1.19和3.13个百分点,模型的运行时间降低了0.92%和1.73%。可见dynGAELSTM模型在链路预测任务中相较于现有模型精度提升,复杂度降低。     

基于全局注意力机制的属性网络表示学习

属性网络不仅具有复杂的拓扑结构,其节点还包含丰富的属性信息.属性网络表示学习方法同时提取网络拓扑结构和节点的属性信息来学习大型属性网络的低维向量表示,在节点分类、链路预测和社区识别等网络分析技术方面具有非常重要和广泛的应用.文中首先根据属性网络的拓扑结构得到网络的结构嵌入向量;接着通过全局注意力机制来学习相邻节点的属性信息,先用卷积神经网络对节点的属性信息作卷积操作得到隐藏向量,再对卷积的隐藏向量生成全局注意力的权重向量和相关性矩阵,进而得到节点的属性嵌入向量;最后将结构嵌入向量和属性嵌入向量连接得到同时反映网络结构和节点属性的联合嵌入向量.在3个真实数据集上,将提出的新算法与当前的8种知名网络表示学习模型在链路预测和节点分类等任务上进行比较,实验结果表明新算法具有良好的属性网络表示效果.     

基于深度自编码的局部增强属性网络表示学习

基于深度自编码器的网络表示,可以捕获高度非线性的网络结构,但当链接稀疏时学到的表示不够准确。针对这一问题,提出一种基于深度自编码的局部增强属性网络表示学习模型,以提高表示学习的准确度。该模型首先利用链接与属性特征,采用多个深度自编码器,学习保持网络拓扑结构及属性特征的低维网络表示。之后,基于节点间近邻结构及属性相似性,对学出的低维网络表示进行节点约束,实现网络局部结构增强,达到最大程度保持原始结构信息及属性特征的目的。在五个真实属性网络上的实验结果表明,提出的模型在聚类与分类任务中,效果均优于目前流行的表示学习方法。     

一种融合伴随信息的网络表示学习模型

网络表示学习被认为是提高信息网络分析效率的关键技术之一,旨在将网络中每个节点映射为低维隐空间中的向量表示,并使这些向量高效的保持原网络的结构和特性.近年来,大量研究致力于网络拓扑和节点属性的深度挖掘,并在一些网络分析任务中取得了良好应用效果.事实上,在这两类关键信息之外,真实网络中广泛存在的伴随信息,反映了网络中复杂微妙的各种关系,对网络的形成和演化起着重要作用.为提高网络表示学习的有效性,提出了一种能够融合伴随信息的网络表示学习模型NRLIAI.该模型以变分自编码器（VAE）作为信息传播和处理的框架,在编码器中利用图卷积算子进行网络拓扑和节点属性的聚合与映射,在解码器中完成网络的重构,并融合伴随信息对网络表示学习过程进行指导.该模型克服了现有方法无法有效利用伴随信息的缺点,同时具有一定的生成能力,能减轻表示学习过程中的过拟合问题.在真实网络数据集上,通过节点分类和链路预测任务对NRLIAI模型与几种现有方法进行了对比实验,实验结果验证了该模型的有效性.     

基于不完全信息的深度网络表示学习方法

网络表示学习的目标是将网络中的节点嵌入到低维的向量空间,为下游任务提供有效特征表示.在现实场景中,大规模网络通常具有不完整的链路,而现有的大多数网络表示学习模型都是在网络是完整的假设下设计的,因此其性能很容易受到链路缺失的影响.针对该问题,文中提出了一种基于不完全信息的深度网络表示学习方法DNRL(Deep Network Representa-tion Learning).首先采用转移概率矩阵将结构信息和属性信息进行动态融合,弥补了结构信息不完整带来的过大损失,然后采用一种具有强大特征提取能力的深度生成模型(变分自编码器)来学习节点的低维表示,并捕获网络数据中潜在的高非线性特征.在3个真实属性网络上的实验结果表明,与当前常用的网络表示学习模型相比,所提模型在不同程度链路缺失的节点分类任务中都明显地改善了分类效果,在可视化任务中更清晰地反映了节点的团簇关系.     

基于邻域选择策略的图卷积网络模型

邻域的组成对于基于空间域的图卷积网络（GCN）模型有至关重要的作用。针对模型中节点邻域排序未考虑结构影响力的问题,提出了一种新的邻域选择策略,从而得到改进的GCN模型。首先,为每个节点收集结构重要的邻域并进行层级选择得到核心邻域;然后,将节点及其核心邻域的特征组成有序的矩阵形式;最后,送入深度卷积神经网络（CNN）进行半监督学习。节点分类任务的实验结果表明,该模型在Cora、Citeseer和Pubmed引文网络数据集中的节点分类准确性均优于基于经典图嵌入的节点分类模型以及四种先进的GCN模型。作为一种基于空间域的GCN,该模型能有效运用于大规模网络的学习任务。     

基于密集连接卷积神经网络的链路预测模型

现有的基于网络表示学习的链路预测算法主要通过捕获网络节点的邻域拓扑信息构造特征向量来进行链路预测，该类算法通常只注重从网络节点的单一邻域拓扑结构中学习信息，而对多个网络节点在链路结构上的相似性方面研究不足。针对此问题，提出一种基于密集连接卷积神经网络（DenseNet）的链路预测模型（DenseNet-LP）。首先，利用基于网络表示学习算法node2vec生成节点表示向量，并利用该表示向量将网络节点的结构信息映射为三维特征数据；然后，利用密集连接卷积神经网络来捕捉链路结构的特征，并建立二分类模型实现链路预测。在四个公开的数据集上的实验结果表明，相较于网络表示学习算法，所提模型链路预测结果的ROC曲线下方面积（AUC）值最大提高了18个百分点。     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。     

融合全局结构信息的拓扑优化图卷积网络

基于拓扑优化的图卷积网络(TOGCN)是一类图卷积神经网络(GCNN)模型,它通过网络中的辅助信息优化网络拓扑结构,有利于反映节点间的联系程度;然而TOGCN模型仅注重局部节点之间的关联关系,对网络潜在的全局结构信息关注不足.融合全局特征信息,有助于提高模型的性能和处理信息缺失时的鲁棒性.提出了融合全局结构信息的拓扑优...     

表示学习中句子与随机游走序列等价性的一种新证明

表示学习是机器学习中通过浅层的神经网络将具有关联关系的信息映射到低维度向量空间中。词表示学习的目标是将词语与其上下文词语的关系映射到低维度的表示向量空间中,而网络表示学习的目标是将网络节点及上下文节点之间的关系映射到低维度的表示向量空间中。词向量是词表示学习的结果,而节点表示向量是网络表示学习的结果。DeepWalk通过随机游走策略获取网络节点上的游走序列作为word2vec模型中的句子,之后通过滑动窗口获取节点对输入到神经网络中进行训练,而word2vec和DeepWalk底层所采用模型和优化方法是相同的,即Skip-Gram模型和负采样优化方法,在word2vec和DeepWalk中负采样的Skip-Gram模型称为SGNS。现有研究结果表明,基于SGNS模型实现的词表示学习和网络表示学习算法均为隐式地分解目标特征矩阵。有学者提出基于单词词频服从Zipf定律和网络中节点度服从幂律分布,认为网络中的随机游走序列等同于语言模型中的句子,但是仅仅基于它们服从幂律分布的理由,来判断句子等同随机游走序列是不充分的。因此,基于SGNS隐式分解目标特征矩阵的理论和依据,设计了2个对比实验,利用奇异值分解和矩阵补全方法分别在3个公共数据集上做节点分类任务,通过实验证实了句子和随机游走序列的等同性。     

基于社区优化的深度网络嵌入方法

随着现代网络通信和社会媒体等技术的飞速发展,网络化的大数据由于缺少高效可用的节点表示而难以应用。将高维稀疏难于应用的网络数据转化为低维、紧凑、易于应用的节点表示的网络嵌入方法受到广泛关注。然而已有网络嵌入方法得到节点低维特征向量后,再将其作为其他应用（节点分类、社区发现、链接预测、可视化等）的输入来作进一步分析,没有针对具体应用构建模型,难以取得满意的结果。针对网络社区发现这一具体应用,提出结合社区结构优化进行节点低维特征表示的深度自编码聚类模型CADNE。首先基于深度自编码模型,通过保持网络局部及全局链接的拓扑特性来学习节点的低维表示,然后利用网络聚类结构对节点低维表示进一步优化。该方法同时学习节点的低维表示和节点所属社区的指示向量,使节点的低维表示不仅能保持原始网络结构中的拓扑结构特性,而且能保持节点的聚类特性。与已有的经典网络嵌入方法进行对比,结果显示CADNE模型在Citeseer和Cora上取得最优聚类结果,在20NewsGroup上准确率提升最高达0.525;分类性能在Blogcatalog、Citeseer数据集上取得最好结果,在Blogcatalog上训练比例20%时比基线方法提升最高达0.512;并且CADNE模型在可视化对比中能够得到类边界更加清晰的节点低维表示,验证了所提方法具有较好的节点低维表示能力。     

元结构下的文献网络关系预测

针对文献网络节点间的关系预测问题,将节点相似度作为节点间关系概率,采用网络表示学习的方法将文献网络中的节点嵌入到低维空间后计算节点相似度,同时提出基于元结构的网络表示学习模型.根据节点间基于不同元结构的相关性,融合相应的特征表示,将网络映射到低维的特征空间.在低维特征空间内进行距离度量,实现文献网络中的关系预测.实验表明文中模型在文献网络中可得到良好的关系预测结果.     

半监督属性网络表示学习方法

网络表示学习是一个重要的研究课题,其目的是将高维的属性网络表示为低维稠密的向量,为下一步任务提供有效特征表示。最近提出的属性网络表示学习模型SNE（Social Network Embedding）同时使用网络结构与属性信息学习网络节点表示,但该模型属于无监督模型,不能充分利用一些容易获取的先验信息来提高所学特征表示的质量。基于上述考虑提出了一种半监督属性网络表示学习方法SSNE（Semi-supervised Social Network Embedding）,该方法以属性网络和少量节点先验作为前馈神经网络输入,经过多个隐层非线性变换,在输出层通过保持网络链接结构和少量节点先验,学习最优化的节点表示。在四个真实属性网络和两个人工属性网络上,同现有主流方法进行对比,结果表明本方法学到的表示,在聚类和分类任务上具有较好的性能。     

基于网络表示学习与随机游走的链路预测算法

现有的基于随机游走链路预测指标在无权网络上的转移过程存在较强随机性,没有考虑在网络结构上不同邻居节点间的相似性对转移概率的作用。针对此问题,提出一种基于网络表示学习与随机游走的链路预测算法。首先,通过基于深度学习的网络表示学习算法——DeepWalk学习网络节点的潜在结构特征,将网络中的各节点表征到低维向量空间;然后,在重启随机游走（RWR）和局部随机游走（LRW）算法的随机游走过程中融合各邻居节点在向量空间上的相似性,重新定义出邻居节点间的转移概率;最后,在5个真实数据集上进行大量实验验证。实验结果表明：相比8种具有代表性的基于网络结构的链路预测基准算法,所提算法链路预测结果的AUC值均有提升,最高达3.34%。