基于注意力机制融合多阶邻域信息的网络表示学习模型

近年来,图神经网络(Graph Neural Networks,GNNs)在网络表示学习领域中发挥着越来越重要的作用.然而,大多数现有的GNNs在每一层中只考虑节点的直接相连的(1阶)邻居,忽略了高阶邻域信息.在节点表示学习过程中引入高阶拓扑知识是一个关键问题.本文中,我们提出了多邻域注意力图卷积网络(Multi-neighboring Attention Graph Convolutional Networks,M AGCN).首先基于注意力机制使用多个邻域掩码从节点的不同阶邻居中学习多个节点表示,然后使用动态路由算法自适应地确定这些表示对最终节点表示的贡献,以聚合成最终的节点表示.在Cora、Citeseer和Pubmed 3个引文网络数据集上的节点分类实验表明,MAGCN比目前较先进的网络表示学习模型有更高的分类准确率.     

基于改进图注意机制的网络嵌入方法研究及应用

网络已被广泛用作抽象现实世界系统以及组织实体之间关系的数据结构;网络嵌入模型是将网络中的节点映射为连续向量空间表示的强大工具;基于图卷积(GCN,graph convolutional neural, GCN)的网络嵌入方法因受其模型迭代过程参数随机优化和聚合函数的影响,容易造成原始节点特征信息丢失的问题;为有效提升网络嵌入效果,针对于图神经网络模型在网络嵌入中节点表征学习的局限性,提出了一种基于二阶邻域基数保留策略的图注意力网络(SNCR-GAT,second-order neighborhood cardinality retention strategy graph attention network),通过聚合二阶邻域特征基数的方式,解决网络节点潜在特征学习过程中重要信息保留问题;通过在节点分类和可视化两个网络嵌入应用任务上进行实验,结果表明,SNCR-GAT模型在网络嵌入上的性能表现相比较基准方法更具优越性。     

基于图编码网络的社交网络节点分类方法

针对如何融合节点自身属性以及网络结构信息实现社交网络节点分类的问题,提出了一种基于图编码网络的社交网络节点分类算法。首先,每个节点向邻域节点传播其携带的信息;其次,每个节点通过神经网络挖掘其与邻域节点之间可能隐含的关系,并且将这些关系进行融合;最后,每个节点根据自身信息以及与邻域节点关系的信息提取更高层次的特征,作为节点的表示,并且根据该表示对节点进行分类。在微博数据集上,与经典的深度随机游走模型、逻辑回归算法有以及最近提出的图卷积网络算法相比,所提算法分类准确率均有大于8%的提升;在DBLP数据集上,与多层感知器相比分类准确率提升4.83%,与图卷积网络相比分类准确率提升0.91%。     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的...     

用于推荐系统的图卷积交叉网络

推荐系统中,因子分解机(FM)等特征交叉模型通常孤立地对待每个用户-物品交互样本,无法显式地利用样本中对象之间的隐含关系,造成了信息孤岛问题,导致学到的特征嵌入不是是最优的、冷门物品无法获得精准的推荐.因此,论文提出结合图表示学习和特征交叉的图卷积交叉网络(GraphCross):图卷积部分利用不同训练样本中对象的关联性构建异构图,并在此基础之上进行图卷积,使得生成的对象嵌入囊括其紧密相关的邻域节点对象的信息,破除了样本的孤立状态;特征交叉部分为FM模型,利用图卷积网络生成的对象嵌入构建特征交叉.GraphCross亦可推广为基于图表示学习-特征交叉的推荐算法框架.实验结果表明,利用图结构可有效提升推荐系统性能,尤其是针对冷门物品的推荐.     

基于轻量图卷积和注意力增强的多行为推荐模型

近年来,图卷积网络被广泛应用于多行为推荐中,以进一步缓解数据稀疏问题。但目前许多方法都是直接使用图卷积网络,使得模型时间复杂度较高,还忽略了邻域的不同聚合权重和各行为对用户偏好的不同贡献。为此,提出一种基于轻量图卷积和注意力增强的多行为推荐模型(MB-LGCA)。首先根据多行为数据构建用户—项目二部图,采用一种轻量图卷积网络聚合邻域特征获得高阶协同信息,同时利用注意力机制融入邻域权重,增强节点嵌入表示;利用k-阶用户嵌入传播来获取各行为对用户偏好的不同重要性,使模型具有更好的可解释性;最后合并不同层的嵌入表示进行预测。两个真实数据集上的实验结果表明,该模型具有较好的性能。     

基于图卷积网络和自编码器的半监督网络表示学习模型

为了保留网络结构信息和节点特征信息,结合图卷积神经网络(GCN)和自编码器(AE),提出可扩展的半监督深度网络表示学习模型(Semi-GCNAE).利用GCN捕获节点的K阶邻域中所有节点的结构和特征信息,并将捕获的信息作为AE的输入.AE对GCN捕获的K阶邻域信息进行特征提取和非线性降维,并结合Laplacian特征映射保留节点的团簇结构信息.引入集成学习方法联合训练GCN和AE,使模型习得的节点低维向量表示能同时保留网络结构信息和节点特征信息.在5个真实数据集上的广泛评估表明,文中模型习得的节点低维向量表示可以有效保留网络的结构和节点特征信息,并在节点分类、可视化和网络重构任务上性能较优.     

基于多通道图卷积自编码器的图表示学习

针对基于图卷积的自编码器模型对原始图属性和拓扑信息的保留能力有限、无法学习结构和属性之间深度关联信息等问题,提出基于多通道图卷积自编码器的图表示学习模型。设计拓扑和属性信息保留能力实验,验证了基于图卷积的自编码器模型具备保留节点属性和拓扑结构信息的能力。构建特定信息卷积编码器和一致信息卷积编码器,提取图的属性空间特征、拓扑空间特征以及两者关联特征,生成属性嵌入、拓扑嵌入和一致性嵌入,同时建立与编码器对称的卷积解码器,还原编码器过程。使用重构损失、局部约束和一致性约束,优化各编码器生成的低维嵌入表示。最终将蕴含不同图信息的多种嵌入进行融合,生成各节点的嵌入表示。实验结果表明,该模型在BlogCatalog和Flickr数据集上节点分类的Micro-F1和Macro-F1明显高于基线模型,在Citeseer数据集上节点聚类的精度和归一化互信息相比于表现最优的基线模型提升了11.84%和34.03%。上述实验结果证明了该模型采用的多通道方式能够在低维嵌入中保留更丰富的图信息,提升图机器学习任务的性能表现。     

基于混合特征建模的图卷积网络方法

对于网络中拥有的复杂信息,需要更多的方式抽取其中的有用信息,但现有的单特征图神经网络（GNN）无法完整地刻画网络中的相关特性。针对该问题,提出基于混合特征的图卷积网络（HDGCN）方法。首先,通过图卷积网络（GCN）得到节点的结构特征向量和语义特征向量;然后,通过改进基于注意力机制或门控机制的聚合函数选择性地聚合语义网络节点的特征,增强节点的特征表达能力;最后,通过一种基于双通道图卷积网络的融合机制得到节点的混合特征向量,将节点的结构特征和语义特征联合建模,使特征之间互相补充,提升该方法在后续各种机器学习任务上的表现。在CiteSeer、DBLP和SDBLP三个数据集上进行实验的结果表明,与基于结构特征训练的GCN相比,HDGCN在训练集比例为20%、40%、60%、80%时的Micro?F1值平均分别提升了2.43、2.14、1.86和2.13个百分点,Macro?F1值平均分别提升了1.38、0.33、1.06和0.86个百分点。用拼接或平均值作为融合策略时,准确率相差不超过0.5个百分点,可见拼接和平均值均可作为融合策略。HDGCN在节点分类和聚类任务上的准确率高于单纯使用结构或语义网络训练的模型,并且在输出维度为64、学习率为0.001、2层图卷积层和128维注意力向量时的效果最好。     

基于重启随机游走的图自编码器

针对现有的图自编码器无法捕捉图中节点之间的上下文信息的问题,提出基于重启随机游走的图自编码器.首先,构造两层图卷积网络编码图的拓扑结构和特征,同时进行重启随机游走捕捉节点之间的上下文信息;其次,为了聚合重启随机游走和图卷积网络获得的表示,设计自适应学习策略,根据两种表示的重要性自适应地分配权重.为了证明该方法的有效性,将图最终的表示应用于节点聚类和链路预测任务.实验结果表明,与基线方法相比,提出的方法实现了更先进的性能.     

融合用户社交关系的自适应图卷积推荐算法

为了缓解推荐系统中不同用户社交空间与兴趣空间的内在信息差异和忽视高阶邻居的问题,提出了一种融合用户社交关系的自适应图卷积推荐算法（adaptive graph convolutional recommendation algorithm integrating user social relationships,AGCRSR）。首先,模型在嵌入层使用映射矩阵将初始特征向量转换为自适应嵌入;其次,引入注意力机制聚合不同方面的用户嵌入,通过图卷积网络来线性学习用户和项目的潜在表示;最后,通过自适应模块聚合用户表示并利用内积函数预测用户对项目的最终推荐结果。在数据集LastFM和Ciao上与其他基线算法进行了对比实验,实验结果表明AGCRSR的推荐效果较其他算法有显著提升。     

基于邻域选择策略的图卷积网络模型

邻域的组成对于基于空间域的图卷积网络（GCN）模型有至关重要的作用。针对模型中节点邻域排序未考虑结构影响力的问题,提出了一种新的邻域选择策略,从而得到改进的GCN模型。首先,为每个节点收集结构重要的邻域并进行层级选择得到核心邻域;然后,将节点及其核心邻域的特征组成有序的矩阵形式;最后,送入深度卷积神经网络（CNN）进行半监督学习。节点分类任务的实验结果表明,该模型在Cora、Citeseer和Pubmed引文网络数据集中的节点分类准确性均优于基于经典图嵌入的节点分类模型以及四种先进的GCN模型。作为一种基于空间域的GCN,该模型能有效运用于大规模网络的学习任务。     

双通道图协同过滤推荐算法

协同过滤是一种应用广泛的推荐算法,其核心过程是学习用户和商品的向量表示。基于图卷积网络（GCN）的协同过滤算法在向量嵌入过程中加入邻居节点的关联信息,进一步提升了算法的推荐性能。然而,图协同过滤算法中存在过平滑现象,且其仅采用邻接矩阵在局部结构中扩展,没有从图的整体结构出发挖掘节点间潜在的交互模式,使得交互信息来源单一。提出一种基于GCN的双通道协同过滤推荐算法DCCF。将向量嵌入过程划分为局部卷积通道和全局卷积通道,以获取不同类型的连接信息。在局部卷积通道中,直接定位邻域节点并使用单层网络结构完成计算,优化信息的聚合方式以应对过平滑问题。在全局卷积通道中,通过聚类的方式构造全局交互图并参与信息的聚合过程,从而挖掘节点间的潜在联系。将局部信息与全局信息相结合,以获得包含不同类型高阶关系的节点向量表示。在3个公开数据集上进行对比实验,结果表明,相较基准算法中性能表现最优的模型,DCCF在归一化折损累计增益和召回率这2个指标上最高分别提升2.8%和5.0%。     

基于二分图卷积表示的推荐算法

随着数据驱动智能技术的快速发展,个性化推荐算法及相关应用成为了研究热点。推荐可视为将用户与物品进行匹配的问题,但用户与物品之间存在的语义差距不便于两者之间的直接匹配。现有的许多基于深度学习的推荐算法采用的思路都是将不同空间中的实体映射到统一潜在语义空间,利用其嵌入表示来进行匹配度计算。随着网络表示学习方法的出现,由于用户和物品的交互可构成二分图,用户和物品的嵌入表示可被视作二分图节点表示,许多基于二分图节点表示的推荐算法被提出,但现有算法仍难以对高阶交互信息进行有效提取。针对这一问题,文中提出了一种基于二分图卷积表示学习的推荐算法BGCRRA(Bipartite Graph Convolution Representation-based Recommendation Algorithm)。该算法首先将用户和物品交互视作二分图,然后通过实现自适应融合多阶、多层次的图卷积模型来对节点进行嵌入表示,最后计算用户和物品的匹配度,并实现推荐。文中在3个公开的数据集上进行对比实验,通过将该算法与当前表现优异的算法进行HR和NDCG(Normalized Discounted Cumulative Gain)指标的比较分析,验证了所提推荐算法的有效性。     

基于邻域相似的层次粒化的网络表示学习方法

捕获更多的结构特征给网络表示学习方法带来较高的复杂度.基于分层递阶思想,文中提出基于邻域相似的层次粒化的网络表示学习方法,降低已有网络表示学习方法的复杂度.首先利用节点邻域相似性将网络逐步压缩至粗粒度的表示空间中.然后利用已有的网络表示学习方法学习粗粒的特征表示.最后利用图卷积网络将已学习的粗粒特征逐步细化为原始网络的节点表示.在多个数据集上的实验表明,文中方法可以快速有效大幅压缩网络,降低算法的运行时间.针对节点分类和链接预测任务,当粒化层次较低时,文中方法可以较大幅度提升原有算法的性能.     

用于非精确图匹配的改进注意图卷积网络

将传统图卷积网络模型应用于非精确图匹配时,在卷积步骤早期易存在节点特性以及节点之间拓扑特征的损失,从而影响导致匹配性能.针对这一问题,提出了改进注意图卷积网络模型.使用相对较少的参数以端到端的方式学习分层表示,利用自注意机制来区分应该丢弃或保留的节点.首先利用注意图卷积网络来自动学习不同跳上邻域的重要程度;其次,加入自注意池化层,从矩阵图嵌入的各个方面概括图表示;最后,在多个标准图数据集中进行训练和测试.实验结果表明,相较于目前最先进的图核和其他深度学习算法,该方法在标准图数据集上实现了更优的图分类性能.     

融合实体邻域信息的知识图谱嵌入负采样方法

知识图谱嵌入的主要任务是将实体与关系嵌入低维、连续的向量空间。在模型训练过程中，必须同时提供正负三元组。已有的负采样方法多使用均匀随机采样方法构造负样本，通过这种方式获得的负样本对于模型的训练贡献很小。基于生成对抗网络，生成器能够采样更多可信的负三元组，增强嵌入模型性能。然而，离散数据在使用遗传算法时存在梯度消失的问题。针对以上问题，提出一种融合实体邻域信息的知识图谱嵌入负采样方法。该方法基于生成对抗网络的框架，通过图卷积神经网络聚合实体在不同关系路径上的邻域信息，用以辅助生成器产生高质量的负样本，提高鉴别器的性能。同时，在鉴别器部分引入Wasserstein距离代替传统的散度，解决梯度消失问题，加速模型收敛。在链接预测任务和三元组分类任务上对所提方法的有效性进行验证，结果表明，该方法在链接预测任务中MR、MRR、Hits@10较基线模型分别平均提升4.18、9.19、10.18个百分点，在三元组分类任务中准确率平均提升4.50个百分点，充分证明实体邻域信息的融入能够进一步提升负样本质量，显著提升模型性能。     

基于图卷积网络的重大事件趋势预测

针对基于公开新闻数据的重大事件趋势预测研究在文本特征提取上语义理解不足问题,提出基于图卷积网络的重大事件趋势预测方法.利用结构化事件信息构建以事件为中心的语义关联图;按时间片粒度分割出局部事件语义关联图,利用预训练词向量对节点文本初始化特征表示;将带有节点特征的局部事件语义关联图输入图卷积网络,聚合节点邻域信息计算图特征表示并输入到分类器,训练预测模型并输出预测结果.以朝鲜核行为趋势预测问题验证所提出方法的有效性,对测试集(2017年3月～2018年3月)预测准确率达到76.92％,全时间段预测准确率为89.58％.预测结果表明,该方法增强了对文本的语义理解,预测精度优于基于专家知识构建特征的方法.     

IBNAD:一种基于交互的5G核心网网络功能异常检测模型

现有 5G(5th Generation Mobile Communication Technology)核心网异常检测主要基于信令流量深度解析, 但较少利用核心网网络功能交互关系的作用。针对上述问题, 提出一种基于交互的 5G 核心网网络功能异常检测模型。首先, 该模型以行为分析为驱动, 基于信令流量和网络功能注册数据提取多维属性, 通过行为画像来表征网络功能行为模式, 并采用集成学习算法RFECV(Recursive Feature Elimination with Cross-Validation)进行属性特征选择, 降低特征维度的同时筛选出与区分网络功能行为模式高度相关的属性特征。然后, 模型基于网络功能交互关系对核心网进行图建模, 建模后的图数据融合了网络功能属性信息和交互信息。最后, 模型通过基于空间域的图卷积网络聚合邻域节点属性信息和结构信息来融合行为模式特征, 新生成的节点表示用于分类, 从而将核心网网络功能异常检测问题转化为图节点分类问题。通过在 free5GC 仿真平台上采集数据, 并在搭建的异常检测系统中的实验表明, 该模型的异常检测性能优于基于属性特征分析的传统机器学习模型、基于结构特征分析的图嵌入模型及部分 5G 核心网异常检测模型。10%数据集作为训练集时, 所提模型的准确率比支持向量机模型提高 6.6%, 比Struc2vec 模型提高 13%, 比深度神经网络模型提高 8%。     

基于异构邻域聚合的协同过滤推荐算法

传统的协同过滤算法使用one-hot编码生成的特征向量信息量稀少,对异构行为数据仅挖掘不同行为间的联系而忽略用户间行为的联系.针对上述问题,文中提出基于异构邻域聚合的协同过滤推荐算法.首先,使用图对用户和项目的异构交互进行建模,并利用图的连通特性构建邻域.然后,使用轻量级图卷积方法整合邻域信息,融入目标用户和目标项目的特征向量.最后,将融合邻域信息的用户与项目的特征向量输入多任务异构网络进行训练,通过丰富特征向量信息的方法缓解数据稀疏问题.在数据集上的实验证实文中算法的性能较优.