融合协同知识图谱高阶邻居特征的推荐模型

在推荐时引入知识图谱中的实体及关系信息是有效缓解冷启动问题的方法. HAN模型首次将基于注意力机制的图神经网络用于异构图, 但是并没有充分利用节点的高阶邻居信息. 为了解决该问题, 提出了一种融合协同知识图谱高阶邻居特征的推荐模型CKG-HAN. 该模型用元路径来连接项目节点, 将协同知识图谱分成多个子图, 模型的节点注意力层用于聚合子图中每个节点的高阶邻居特征, 关系注意力层给不同元路径下的节点特征分配不同的权重, 最终得到充分融合语义信息的节点嵌入表示. 在MovieLens-1M数据集上进行了Top-K推荐, 结果表明本文提出的模型能够有效提高推荐结果的准确性.     

基于偏差的图注意力神经网络推荐算法

在推荐系统中,基于知识图谱的神经网络与传统神经网络相比,以图形作为输入,可以很好地将节点信息和拓扑结构相结合进行推理和推荐.然而,现有基于图神经网络的推荐算法,面临着知识表示不准确以及信息融合单一的问题.对此,将图神经网络与注意力机制相结合,提出一种基于偏差的图注意力神经网络推荐算法.该方法采用翻译模型对知识图谱信息进行特征表示的嵌入,获取节点在同一投影空间下的三元组信息,考虑到在三元组中预测值与真实值之间存在误差,以及邻居节点在信息传播时权重的差异,采用基于偏差的注意力计算机制以便更好地捕获节点间高阶连通性.其次,在神经网络的传播训练过程中,通过多通道融合机制对节点和邻居信息进行聚合以提高模型的健壮性.最后,在3个真实数据集上与经典算法进行对比,验证所提出算法的有效性.     

基于知识图谱和图注意力的众包任务推荐算法

为解决目前众包任务推荐存在未考虑任务文本信息和数据稀疏的问题,提出一种基于知识图谱与图注意力的众包任务推荐模型。该模型首先利用自然语言处理技术提取任务文本信息中的关键要素,用于丰富图谱信息和缓解数据稀疏性;通过融合用户—任务交互图中的协同信息来构建协同知识图谱,在协同知识图谱中按协同邻居的类型分别运用图注意力网络;为获取用户准确的偏好,聚合邻居信息时按注意力得分从高到低采样固定数目的邻居;最后通过聚合不同类型的协同信息生成用户和任务的嵌入表示并得到交互概率。在构建的众包数据集上进行实验的结果表明,该模型在AUC、精准率、召回率和NDCG四个指标上均优于基线模型,验证了模型的可行性和有效性。     

融合边特征与注意力的表格结构识别模型

针对现有方法在表格结构识别问题中存在的先验知识依赖、鲁棒性不足、表达能力不足等问题，提出一种新的融合边特征与注意力的表格结构识别模型——GEAN-TSR。首先，提出图边注意力网络（GEAN）并作为模型的主干网络，在边卷积结构的基础上引入并改进图注意力机制聚合图节点特征，解决图网络在特征提取过程中的信息损失的问题，提高图网络的表达能力；然后，引入边特征融合模块融合浅层图节点信息与图网络输出，增强图网络的局部信息提取能力与表达能力；最后，将门控循环单元（GRU）提取的图节点文本特征融入文本特征融合模块对边进行分类预测。在SciTSR-COMP数据集上的对比实验中，相较于目前最优的模型SEM,GEAN-TSR的召回率与F1值分别提升2.5与1.4个百分点。在消融实验中，GEAN-TSR采用特征融合模块后，所有指标都取得了最优值，验证了模块的有效性。实验结果表明，GEAN-TSR能够有效提升网络性能，更好地完成表格结构识别任务。     

基于无采样协作知识图网络的推荐系统

知识图谱（KG）可以通过高效组织海量数据实现信息的有效抽取,因而基于知识图谱的推荐方法得到了广泛的研究和应用。针对图神经网络在知识图谱建模中的采样误差问题,提出了一种无采样协作知识图网络（NCKN）的方法。首先,设计了无采样知识传播模块,通过在单个卷积层使用不同大小的线性聚合器来捕捉深层次的信息,实现高效的无采样预计算;然后,为了区分邻居节点贡献度,在传播过程中引入注意力机制;最后,协作传播模块将知识嵌入同用户交互中的协作信号相结合,以更好地描述用户偏好。基于三个真实数据集,评估了NCKN在CTR预测和Top-k预测中的性能。实验结果表明,与主流算法RippleNet、知识图卷积神经网络（KGCN）相比,NCKN在CTR预测中的准确率平均分别提升了2.71%、4.60%;Top-k预测中,NCKN的准确率平均分别提升了5.26%、3.91%。所提方法不仅解决了图神经网络在知识图谱建模中的采样误差问题,且提升了推荐模型的准确率。     

融合知识图谱的双线性图注意力网络推荐算法

知识图谱可有效缓解传统协同过滤中的数据稀疏和冷启动问题,因此,近年来在推荐系统中融入知识图谱的方法成为重要的探索方向。然而现有的方法大多将知识图谱的网络结构划分为单独路径或仅利用了一阶邻居信息,造成无法建立整个图上的高阶连通性问题。为解决该问题,提出融合知识图谱和图注意力网络的KG-BGAT模型,并设计了双线性采集器。双线性采集器能够在信息采集阶段获取节点间的特征交互信息,丰富节点表示;图注意力网络通过递归嵌入传播算法将各个节点表示沿图进行传播,能够捕获图中的高阶连通性。在MovieLens-1M数据集上进行了Top-K推荐实验,在推荐列表长度为20时,精确率、召回率和归一化折损累计增益分别为29.4%、24.9%、67.4%,超过了目前主流的CKE、RippleNet、KGCN等融合知识图谱的推荐算法。实验证明提出的方法能够有效提高推荐结果的准确性。     

基于注意力机制融合多阶邻域信息的网络表示学习模型

近年来,图神经网络(Graph Neural Networks,GNNs)在网络表示学习领域中发挥着越来越重要的作用.然而,大多数现有的GNNs在每一层中只考虑节点的直接相连的(1阶)邻居,忽略了高阶邻域信息.在节点表示学习过程中引入高阶拓扑知识是一个关键问题.本文中,我们提出了多邻域注意力图卷积网络(Multi-neighboring Attention Graph Convolutional Networks,M AGCN).首先基于注意力机制使用多个邻域掩码从节点的不同阶邻居中学习多个节点表示,然后使用动态路由算法自适应地确定这些表示对最终节点表示的贡献,以聚合成最终的节点表示.在Cora、Citeseer和Pubmed 3个引文网络数据集上的节点分类实验表明,MAGCN比目前较先进的网络表示学习模型有更高的分类准确率.     

融合相似用户影响效应的知识图谱推荐模型

知识图谱(KG)具有丰富的结构化信息，能有效缓解推荐模型的稀疏性和冷启动问题，提升推荐系统的准确性与可解释性。近年来，融合知识图谱的端到端推荐模型成为技术趋势。提出了一种融合相似用户影响效应的知识图谱推荐模型，该模型在有效利用知识图谱的前提下，扩充了用户与项目之间的交互方式。首先，利用图神经网络邻域聚合策略与注意力机制，分别捕获用户与项目在知识图谱上的2种高阶表示；其次，根据相似用户的影响效应，设计影响力增强层，捕获相似用户影响效应的潜在表示；最后，将上述3种表示共同反馈到多层感知机中，输出预测分值。在真实数据集上的实验结果验证了所提模型的有效性和效率。     

结合跳跃连接的多层图注意力网络会话推荐

基于会话的推荐旨在根据匿名用户的短期交互数据来预测用户下一次交互项目. 现有图神经网络会话推荐模型大多在信息传播过程中平等对待所有邻居节点, 而没有区分他们对于中心节点的重要性, 从而给模型训练引入噪声. 此外, 随着图神经网络层数的增加, 过度平滑问题会随之产生. 针对上述问题, 本文提出结合跳跃连接的多层图注意力网络会话推荐模型(MGATSC). 首先利用图注意力网络学习邻居节点对于中心节点的重要性, 并堆叠多层网络以获取高阶邻居信息; 然后为了缓解过度平滑问题, 采用基于残差注意力机制的跳跃连接更新每层网络的节点嵌入, 并通过平均池化得到最终节点嵌入. 最后将反向位置嵌入融合到节点嵌入中, 经过预测层生成推荐. 在Tmall、Diginetica以及Retailrocket这3个公开数据集上的实验结果表明所提模型优于所有基线模型, 验证了模型的有效性与合理性.     

融合协同过滤信息的知识图注意力网络

知识图谱（KG）能够缓解协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛地研究和应用。现有的很多基于KG的推荐模型混淆了用户物品二部图中的协同过滤信息和KG中实体间的关联信息,导致学习到的用户向量和物品向量无法准确表达其特征,甚至引入与用户、物品无关的信息从而干扰推荐。针对上述问题提出一种融合协同信息的知识图注意力网络（KGANCF）。首先,为了避免KG实体信息的干扰,网络的协同过滤层从用户物品二部图中挖掘出用户和物品的协同过滤信息;然后,在知识图注意力嵌入层中应用图注意力机制,从KG中继续提取与用户和物品密切相关的属性信息;最后,在预测层将用户物品的协同过滤信息和KG中的属性信息融合,得到用户和物品最终向量表示,进而预测用户对物品的评分。在MovieLens-20M和Last.FM数据集上进行了实验,与协同知识感知注意力网络（CKAN）相比,KGANCF在MovieLens-20M数据集上的F1分数提升了1.1个百分点,曲线下面积（AUC）提升了0.6个百分点;而在KG相对稀疏的Last.FM数据集上,模型的F1分数提升了3.3个百分点,AUC提升了8.5个百分点。实验结果表明,KGANCF能够有效提高推荐结果的准确度,在KG稀疏的数据集上显著优于协同知识嵌入（CKE）、知识图谱卷积网络（KGCN）、知识图注意网络（KGAT）和CKAN模型。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

基于图注意力网络表示学习的协同过滤推荐算法

针对传统的基于模型的协同过滤推荐算法未能有效利用用户与项目的属性信息以及用户之间与项目之间的关系结构信息, 本文提出一种基于图注意力网络表示学习的协同过滤推荐算法. 该算法使用知识图谱表示节点的属性特征信息和节点间的关系结构信息, 并在用户和项目的同质网络上进行节点的图注意力网络表示学习, 得到用户和项目的网络嵌入特征表示, 最后构建融合网络嵌入信息的神经矩阵分解模型获得推荐结果. 本文在Movielens数据集上与相关算法进行对比实验, 实验证明该算法能优化模型的推荐性能, 提高推荐的召回率HR@K和归一化折损累计增益NDCG@K.     

基于改进胶囊网络的会话型推荐模型

针对现有的会话型推荐模型难以从简短的会话中捕获项目之间的依赖关系的问题,在考虑了复杂的项目交互和动态的用户兴趣变化后,提出了一种基于会话型推荐的改进胶囊网络（SR-ECN）模型。首先,利用图神经网络（GNN）处理会话序列数据,以得到每个项目嵌入向量;然后,利用胶囊网络的动态路由机制,从交互历史中聚合高级用户的偏好;此外,所提模型引入自注意力网络进一步考虑用户和项目的潜在信息,从而为用户推荐更合适的项目。实验结果表明,在Yoochoose数据集上,所提模型的召回率和平均倒数排名（MRR）均优于SR-GNN(Session-based Recommendation with GNN)、TAGNN(Target Attentive GNN)等所有对比模型,与基于无损边缘保留聚合和快捷图注意力的推荐（LESSR）模型相比,所提模型的召回率和MRR分别提升了0.92和0.45个百分点,验证了改进胶囊网络对用户兴趣偏好提取的有效性。     

邻居关系感知的图卷积网络推荐模型

现有的基于图神经网络的推荐模型在更新目标节点向量时大多对邻居节点信息进行无差别的聚合，没有结合推荐系统本身引入更多有用的先验知识，从而区分目标节点与不同邻居节点之间的关系。针对此问题，提出一种基于邻居关系感知的图卷积网络推荐模型（neighbor relation-aware graph convolutional network,NRGCN），分别引入评分数值、评论文本和评分时间三种先验辅助信息实现对邻居节点的多层次聚合。具体来讲，以用户对物品的真实评分数值作为网络中不同邻居关系紧密程度的基础，利用评论文本的情感倾向对邻居关系进行修正补充，最后考虑到用户的兴趣随时间的变化情况，使用评分时间来标记不同时间交互下的邻居关系。在3组公开的数据集上，NRGCN的召回率高于多个基准算法，最大提高了12%。     

自适应融合邻域聚合和邻域交互的图卷积网络

图表示学习是在保持图中节点性质不变的前提下,获取节点的低维表示向量,为下游任务提供有效的数据支持。现有图表示学习算法大多关注于聚合邻域特征,对于挖掘其他非线性信息关注不足。针对这一问题,提出了自适应融合邻域聚合和邻域交互的图卷积网络AFAI-GCN。首先,采用双通道图卷积网络建模邻域聚合,并利用生成的嵌入表示计算邻域交互项来补充算法学习的信息;然后,结合注意力机制构建自适应融合模块,增加对重要信息的关注,提高融合信息项的任务相关性;最后,通过信息一致性约束和差异性约束增强节点特征一致性和嵌入表示差异性。在三个公共引文数据集上进行了节点分类和可视化任务,结果显示,AFAI-GCN与图卷积网络（GCN）、邻域聚合和交互图卷积网络（AIR-GCN）等算法相比,在Cora、Citeseer、Pubmed数据集上分类准确率分别提高了1.0～1.6个百分点、1.1～2.4个百分点和0.3～0.9个百分点;在可视化任务中团簇内聚合程度更高,不同的团簇边界更清晰;算法学习过程中收敛速度更快,准确率曲线更平滑。实验结果表明该框架较好地提升了基准算法的性能。     

融合双端注意力网络的知识图谱推荐算法

知识图谱在推荐算法中的应用有效增强了推荐结果的可解释性，但仍缺乏对用户-物品交互信息的关注。针对目前已有的知识图谱推荐算法忽略用户端与物品端的差异而无法有效地提取用户与物品信息的问题，提出了融合双端注意力网络的知识图谱推荐算法（double end knowledge graph attention network,DEKGAN）。首先根据用户端与物品端两者不同的需求设计两种注意力网络，在用户端是将用户的浏览记录输入到知识图谱中不断扩展用户的潜在兴趣，通过基于用户的注意力网络对三元组内部信息进行计算以更准确地获取用户的嵌入表示向量；在物品端是将物品信息输入到知识图谱内中不断获取与用户喜好有关的物品信息，使用基于用户偏好的注意力网络指定更准确的传播方向，然后将两端注意力网络中获取到的邻域信息聚合生成物品的嵌入表示向量，最终获取用户对物品的喜好概率。通过在数据集MovieLens-1M和Book-Crossing中进行实验，采用AUC、F1、precision和recall指标进行评估，结果证明与其他基准算法相比推荐的准确性和可解释性有显著的提升。     

融合模体图神经网络和自编码器的链路预测

链路预测是网络数据挖掘的一项基本任务,已有很多相关的研究成果。由于图神经网络研究的深入发展,使得相关的模型可以更加有效学习网络的重要特征,在链路预测等任务中取得了很好的预测效果。然而,不同于深度学习中CNN模型,已有的图神经网络模型中仅聚合了节点的一阶邻居信息,未充分考虑邻居节点之间的拓扑结构特性。在此基础上,提出了基于模体的图神经网络链路预测模型。该模型采用自编码器结构,在编码过程中,通过模体构建节点的邻接矩阵,进而得到节点的模体邻域,依照每一类模体的邻域聚合邻居信息,通过非线性变换得到节点的表示,最后拼接每一类模体下节点的表示。然而由于不同的模体结构在网络中重要度有所不同,利用注意力网络给出表达不同模体的注意力权重,连接注意力网络给出节点的向量表示。在解码过程中,通过计算节点间的相似性重构网络。在几个引文合作者网络上的实验结果表明,该方法在两个指标上优于大多数基准算法,有效地提高了网络链路预测的准确度。     

基于注意力机制的NewVGG16-BiGRU鼾声分类

针对已有的鼾声分类模型因未考虑实际睡眠时的其他声音而导致的泛化能力差、准确率较低等问题，提出一种基于注意力机制的NewVGG16双向门控循环单元（NVGG16-BiGRU-Att）算法用于鼾声识别。首先，生成每个声段的谱图，采用NVGG16网络提取语谱图、梅尔（Mel）时频图和恒Q变换（CQT）时频图组成的谱图特征矩阵；其次，将提取的特征向量输入BiGRU，结合注意力机制，增加分类过程中的重要特征信息的权重，改善分类效果；最后，经过全连接层输出鼾声与非鼾声。在采集的鼾声数据集上进行实验，实验结果表明，所提算法取得了较好的分类效果，其中Mel时频图效果最优，识别准确率达到96.18%；相较于卷积神经网络（CNN）+长短期记忆（LSTM）网络、卷积CNNsLSTMs-深度神经网络（DNNs）模型，在同特征输入下，所提算法的准确率提升了0.31%～2.39%，验证了所提算法具有较好的鲁棒性，能够提升分类性能。     

基于改进领域分离网络的迁移学习模型

为进一步提高迁移学习的特征识别和提取效率、减少负迁移并增强模型的学习性能，提出了一种基于改进领域分离网络（DSN）的迁移学习模型AMCN-DSN(Attention Mechanism Capsule Network-DSN)。首先，使用融合多头注意力机制的胶囊网络（MHAC）完成源域和目标域特征信息的提取与重构，基于注意力机制有效筛选特征信息，并利用胶囊网络提高深层信息的提取质量；其次，引入动态对抗因子优化重构损失函数，使重构器可动态衡量源域与目标域信息的相对重要性，从而增强迁移学习的鲁棒性和提升收敛速度；最后，在分类器中融入多头自注意力机制，以强化对公有特征的语义理解并提高分类性能。在情感分析实验中，相较于其他迁移学习模型，所提模型能够将学习到的知识迁移到数据量少但相似性高的任务中，分类性能的下降幅度最小，迁移表现较好；在意图识别实验中，相较于分类性能次优的胶囊网络改进领域对抗神经网络（DANN+CapsNet）模型，所提模型的精确度、召回率和F1值分别提升了4.5%、4.3%和4.4%，表明所提模型在处理小数据问题和个性化问题上具有一定优势。与DSN相比，AMCNDSN在上述两类...     

基于知识图谱驱动的图神经网络推荐模型

知识图谱（KG）蕴含丰富的结构与关联信息,不仅可以缓解推荐系统中数据稀疏、冷启动等问题,还可以更准确地进行个性化推荐,因此提出一种基于知识图谱驱动的端到端图神经网络推荐模型KGLN。首先使用单层神经网络框架对图中单个节点进行特征融合,并加入影响因子来改变不同邻居实体的聚合权重;然后通过迭代的方式将单层扩展到多层,使实体可以获得丰富的多阶关联实体信息;最后结合实体特征与用户特征产生预测评分进行推荐。分析并研究了不同聚合方法及影响因子对推荐效果的影响。实验结果表明,在数据集MovieLens-1M以及Book-Crossing上与基准方法因子分解库（LibFM）、深度分解机（DeepFM）、Wide&Deep、RippleNet的对比中,KGLN的曲线下面积（AUC）分别提升了0.3%~5.9%和1.1%~8.2%。