异构图卷积网络研究进展

现实世界中的很多场景都能用多种节点类型和边类型组成的异构网络表示.网络中蕴含着丰富语义关系,并具有实际应用价值,引起了学术界和工业界的关注.传统的方法都是基于浅层模型进行异构网络挖掘.近几年,由于图卷积网络在同构网络中表现优越,有许多学者将图卷积网络应用到异构网络的挖掘,在各个任务中都取得了优异的成绩.通过对异构图卷积...     

基于周期图卷积与多头注意力GRU组合的交通流量预测模型

为了捕获交通流量数据中复杂的时空动态变化关系以及周期性变化的特征,同时避免道路突发情况引起的误差累计效应,提出一种基于周期图卷积(periodic graph convolution network, PGCN)与多头注意力门控循环单元(multi-head attention gated recurrent unit, MAGRU)组合的交通流量预测模型。首先,模型的时空数据融合模块利用交通流量的周期相似性构建周期图,同时将空间和时间编码信息添加至交通流量序列数据;然后在时空特征提取模块中,GCN子模块捕获周期特征图中的空间特征,MAGRU子模块捕获序列数据中的时间特征;最后通过门控融合机制将两者提取的时空特征进行融合。模型在两个真实的交通流量数据集上进行了实验。结果表明,该模型相较于多个最新基准模型,在MAE、RMSE、MAPE三个预测误差指标上平均降低了5.4%、22.8%、10.3%,R2精确度指标平均提高了11.6%。说明模型在预测精度方面有显著的改进,并能有效减少误差累积效应。     

融合超图注意力机制与图卷积网络的信息扩散预测

针对传统的信息预测缺乏对用户全局性依赖挖掘进行研究,提出了一种融合超图注意力机制与图卷积网络的信息扩散预测模型(HGACN)。首先构建用户社交关系子图,采样获得子级联序列,输入图卷积神经网络学习用户社交关系结构特征;其次,综合考虑用户间和级联间的全局依赖,采用超图注意机制(HGAT)学习用户不同时间间隔的交互特征;最后,将学习到的用户表示捕获到嵌入模块,利用门控机制将其融合获得更具表现力的用户表示,利用带掩码的多头注意力机制进行信息预测。在Twitter等五个数据集上的实验结果表明,提出的HGACN模型在hits@N提高了4.4%,map@N提高了2.2%,都显著优于已有的MS-HGAT等扩散预测模型,证明HGACN模型是合理、有效的。这对谣言监测以及恶意账户的检测有非常重大的意义。     

联合轻量图卷积网络和注意力机制的推荐方法

图卷积网络如今越来越多地被应用于推荐系统任务中,由于该模型可以有效捕获多跳邻居的信息,因此可以一定程度上缓解数据稀疏性问题,有效提升推荐任务的准确性.但是目前大部分工作都是直接使用图卷积网络,在推荐任务上算法复杂度较高.本文提出了一个融合轻量图卷积网络和注意力机制的模型.该模型通过嵌入传播获得更多邻域的协同信息,同时利用注意力网络对不同的邻域进行区分,最后用于推荐.从而在降低算法复杂度的基础上进一步提升了模型的准确性.通过在Gow alla、Yelp2018和Amazon-book 3个不同领域的真实数据集上的实验结果表明,该方法的性能有较好的表现.     

基于注意力机制和图卷积的小样本分类网络

深度神经网络在有着大量标注数据的图像识别任务上已经占据了统治地位,但是在只有少量标注数据的数据集上训练一个好的网络仍然是一个据有挑战性的任务.如何从有限的标注数据中学习已经成为了一个有着很多应用场景的热点问题.目前有很多解决小样本分类任务的方法,但是仍然存在识别准确率低的问题,根本原因是在小样本学习中,神经网络只能接收...     

融合GRU和注意力机制的图卷积关系抽取

实体关系抽取在自然语言处理中十分重要,针对图卷积网络中特征提取不准确,循环神经网络梯度模糊等问题,提出了一种融合门控循环单元（GRU）和注意力机制的图卷积关系抽取模型。通过加入双向GRU对输入的上下文信息进行处理,获得更为细致的特征以此对长期依赖信息进行学习,并进一步利用多头注意力机制对不同类型的边与节点进行权重分配,过滤多余信息,增强节点间的关联性,最后利用图卷积得到最终的关系抽取结果。针对SemEval-2010Task8和SemEval-2010Task4数据集中对其进行测试,实验表明该方法提高了其F1值,能够实现关系的有效提取。     

融合异构图注意力网络的知识推荐

为解决在线课程平台直接推荐服务忽视用户知识水平差异的问题,本文提出一种知识推荐方法。通过应用异构信息网络和注意力机制,将知识推荐问题视为强化学习任务,模拟用户与知识概念之间的互动,并利用异构信息网络学习用户的语义表示,通过元路径引导用户偏好的传播。实验结果表明,相较于其他方法,该方法在性能上表现得更为优越。     

基于注意力与图卷积网络的关系抽取模型

针对关系抽取任务中句子依存树的信息利用率低和特征提取效果不佳的问题,提出了一种基于注意力引导的门控感知图卷积网络(Att-Gate-GCN)模型.首先,利用一种基于注意力机制的软剪枝策略,通过注意力机制为依存树中的边分配权重,以挖掘依存树中的有效信息,同时过滤无用信息;其次,构建一种门控感知图卷积网络(GCN)结构,通...     

基于知识图谱的双端知识感知图卷积推荐模型

针对现有基于知识图谱的推荐模型仅从用户或项目一端进行特征提取, 从而缺乏对另一端的特征提取的问题, 提出一种基于知识图谱的双端知识感知图卷积推荐模型. 首先, 对于用户、项目及知识图谱中的实体进行随机初始化表征得到初始特征表示; 接着, 采用基于用户和项目的知识感知注意力机制同时从用户、项目两端在知识图谱中进行特征提取; 其次, 使用图卷积网络采用不同的聚合方式聚合知识图谱传播过程中的特征信息并预测点击率; 最后, 为了验证模型的有效性, 在Last.FM和Book-Crossing两个公开数据集上与4个基线模型进行对比实验. 在Last.FM数据集上, AUC和F1分别比最优的基线模型提升了4.4%、3.8%, ACC提升了1.1%. 在Book-Crossing数据集上, AUC和F1分别提升了1.5%、2.2%, ACC提升了1.4%. 实验结果表明, 本文的模型在AUC、F1和ACC指标上比其他的基线模型具有更好的鲁棒性.     

基于轻量图卷积和注意力增强的多行为推荐模型

近年来,图卷积网络被广泛应用于多行为推荐中,以进一步缓解数据稀疏问题。但目前许多方法都是直接使用图卷积网络,使得模型时间复杂度较高,还忽略了邻域的不同聚合权重和各行为对用户偏好的不同贡献。为此,提出一种基于轻量图卷积和注意力增强的多行为推荐模型(MB-LGCA)。首先根据多行为数据构建用户—项目二部图,采用一种轻量图卷积网络聚合邻域特征获得高阶协同信息,同时利用注意力机制融入邻域权重,增强节点嵌入表示;利用k-阶用户嵌入传播来获取各行为对用户偏好的不同重要性,使模型具有更好的可解释性;最后合并不同层的嵌入表示进行预测。两个真实数据集上的实验结果表明,该模型具有较好的性能。     

基于多头软注意力图卷积网络的行人轨迹预测

行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力（MS ATT）结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵,生成稀疏空间和稀疏时间有向图;然后,利用图卷积网络（GCN）从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征;最后,将学习到的轨迹特征输入时间卷积网络（TCN）以预测双高斯分布参数,生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明：相较于空时社交关系池化行人轨迹预测模型（SOPM）,所提算法的平均位移误差（ADE）降低了2.78%;相较于稀疏图卷积网络（SGCN）,所提算法的最终位移误差（FDE）降低了16.92%。     

图卷积神经网络结合注意力机制的机器翻译方法研究

目前一般基于RNN (Recurrent Neural Network)框架下的编码器-解码器翻译模型不能有效挖掘翻译文章中句子的语义以及文本序列等为,因此,研究将图卷积神经网络结合注意力机制对机器翻译,提高翻译准确度的同时保证文章整体性与语义连贯性。实验结果表示,研究模型改变传统编码方式后可以减少维度与参数,在保留源语言文本的整体特征之外,强调了局部特征的强弱关联。通过数据集实证分析后模型的各项指标表现良好,进行长句翻译时,研究模型的Bleu得分提高2.5分,进行篇幅文章翻译时的语义表达准确度达到96%以上,源语句翻译效果优秀,凸显出整体语篇翻译的能力。     

基于对抗图卷积网络的链接预测模型

大部分的链接预测模型在挖掘节点相似性时过于依赖已知的链接信息,但在真实世界中,已知的观测链接数量通常较少.因此,为了提高模型的鲁棒性,需要提高解耦模型对链接信息的依赖并挖掘节点的潜在特征.文中考虑节点特征和链接之间的潜在关系,提出基于对抗图卷积网络的链接预测模型.首先利用节点间的相似性度量填充邻接矩阵中部分未知链接,缓解链接稀疏对图卷积模型的影响.再利用对抗网络深度挖掘节点特征和链接之间的潜在联系,降低模型对链接的依赖.在真实数据集上的实验表明,文中模型在链接预测问题上具有较好的表现力,在链接稀疏的情况下性能依旧较稳定,同时适用于大规模数据集.     

结合轻量Openpose和注意力引导图卷积的动作识别

现有人体姿态动作识别方法忽视前期姿态估计算法的作用,没有充分提取动作特征,提出一种结合轻量级Openpose和注意力引导图卷积网络的动作识别方法。该方法包含基于shufflenet的Openpose算法和基于不同尺度邻接矩阵注意力的图卷积算法。输入视频由轻量Openpose处理得到18个人体关键点信息,表达为基础时空图数据形式。节点的不同尺度邻居信息对应的邻接矩阵通过自注意力机制计算影响力,将各尺度邻接矩阵加权合并输入图卷积网络提取特征。提取到的鉴别特征通过全局平均池化和softmax分类器输出动作类别。在Le2i Fall Detection数据集和自定义的UR-KTH数据集上的实验表明,动作识别的准确率分别为95.52%和95.07%,达到了预期效果。     

基于语义与全局双重注意力机制的长链非编码RNA-疾病关联预测模型

针对现有长链非编码RNA(lncRNA)-疾病关联预测模型在综合利用异构生物网络的交互、语义信息上存在局限性的问题,提出一种基于语义与全局双重注意力机制的lncRNA-疾病关联预测模型（SGALDA）。首先,基于相似性和已知关联构建一个lncRNA-疾病-微小RNA(miRNA)异构网络,并基于消息传递类型设计特征提取模块来提取和融合异构网络上同质、异质节点的邻域特征,以捕捉异构网络上的多层面交互关系。其次,基于元路径将异构网络分解为多个语义子网络,并分别在各个子网络上应用图卷积网络（GCN）来提取节点的语义特征,以捕捉异构网络上的高阶交互关系。然后,基于语义与全局双重注意力机制融合节点的语义和邻域特征,以获得更具代表性的节点特征。最后,利用lncRNA节点特征和疾病节点特征的内积运算重建lncRNA-疾病关联。5折交叉验证结果显示,SGALDA的受试者工作特征曲线下面积（AUROC）为0.994 5±0.000 2,PR曲线下面积（AUPR）为0.916 7±0.001 1,在所有对比模型中均为最高,验证了SGALDA良好的预测性能。对乳腺癌、胃癌的案例研究进一步证实了SGALDA识...     

结合注意力机制与图卷积网络的汉语复句关系识别

复句的关系识别是为了区分句子语义关系的类别,是自然语言处理(NLP)中必不可少的基础研究任务。现有研究无法使机器在表层判别缺少显式句间连接词句子的语义关系类型。该文将Attention机制与图卷积神经网络(GCN)相结合应用到汉语复句语义关系识别中,通过BERT预训练模型获取单句词向量,输入到Bi-LSTM获取句子位置表示,经Attention机制得到各位置间权重构建图网络以捕获句子间的语义信息,通过图卷积抽取深层的关联信息。该文的方法对缺少显式句间连接词句子的关系识别达到了较好的识别效果,为进一步研究计算机自动分析、识别处理复句的基本方法奠定基础。实验结果表明,在汉语复句语料库(CCCS)和汉语篇章树库(CDTB)数据集上,与先前最好的模型相比,其准确率分别为77.3%和75.7%,提升约1.6%,宏平均F₁值分别为76.2%和74.4%,提升约2.1%,说明了该文方法的有效性。     

基于多图卷积和注意力的长时交通预测研究

城市交通预测是构建高效安全的新型城市交通体系的重要组成部分,预测未来一段时间内交通状况的变化趋势在实际的应用中很有价值。将多图卷积和注意力机制纳入Seq2Seq框架中,提出一个基于多图卷积和注意力的长时交通预测框架（multi-graph convolution and attention network for long-time traffic prediction,MGANL）。在纽约自行车真实数据集上进行实验,验证所提出框架在长时交通预测场景的有效性,并分析不同解码器结构对长时预测的影响,为其他短时预测模型扩展到长时预测场景提供参考。     

基于异构图卷积网络的小样本短文本分类方法

针对小样本短文本分类过程中出现的语义稀疏与过拟合问题,在异构图卷积网络中利用双重注意力机制学习不同相邻节点的重要性和不同节点类型对当前节点的重要性,构建小样本短文本分类模型HGCN-RN。利用BTM主题模型在短文本数据集中提取主题信息,构造一个集成实体和主题信息的短文本异构信息网络,用于解决短文本语义稀疏问题。在此基础上,构造基于随机去邻法和双重注意力机制的异构图卷积网络,提取短文本异构信息网络中的语义信息,同时利用随机去邻法进行数据增强,用于缓解过拟合问题。在3个短文本数据集上的实验结果表明,与LSTM、Text GCN、HGAT等基准模型相比,该模型在每个类别只有10个标记样本的情况下仍能达到最优性能。     

基于自适应图卷积注意力神经协同推荐算法

随着互联网的快速发展,推荐系统可以用来处理信息过载的问题。由于传统推荐系统的诸多问题导致其无法处理发掘隐藏信息,提出一种自适应图卷积注意力神经协同推荐算法（ANGCACF）。首先获取用户和项目交互图,通过图卷积神经网络自适应的聚合用户和项目特征信息;其次对用户和项目特征信息添加自适应扩充数据,以解决数据稀疏性,利用注意力机制对用户和项目特征信息及添加的自适应扩充数据重新分配权重;最后将得到的用户和项目特征表示使用基于矩阵分解的协同过滤的算法框架得出最终推荐结果。在MovieLens-1M、MovieLens-100K和 Amazon-baby三个公开数据集上的实验表明,该算法在推荐准确率、召回率、MRR、命中率和 NDCG 五个指标上均优于基线方法。     

基于自注意力门控图卷积网络的特定目标情感分析

基于特定目标的情感分析旨在预测句子中不同方面表达的不同情感倾向。针对之前利用循环神经网络（RNN）结合注意力机制的网络模型所带来的训练参数多且缺少对相关句法约束和长距离词依赖机制解释的问题,提出自注意力门控图卷积网络MSAGCN。首先,模型采用多头自注意力机制编码上下文词和目标,捕获句子内部的语义关联;然后,采用在句子的依存树上建立图卷积网络的方法获取句法信息以及词的依存关系;最后,通过带有目标嵌入的门控单元（GTRU）获取特定目标的情感。与基线模型相比,所提模型的准确率和调和平均值F1分别提高了1%~3.3%和1.4%~6.3%;同时,预训练的BERT模型也被应用到当前任务中,使模型效果获得了新的提升。实验结果表明所提出的模型能更好掌握用户评论的情感倾向。