融合协同知识图谱高阶邻居特征的推荐模型

在推荐时引入知识图谱中的实体及关系信息是有效缓解冷启动问题的方法. HAN模型首次将基于注意力机制的图神经网络用于异构图, 但是并没有充分利用节点的高阶邻居信息. 为了解决该问题, 提出了一种融合协同知识图谱高阶邻居特征的推荐模型CKG-HAN. 该模型用元路径来连接项目节点, 将协同知识图谱分成多个子图, 模型的节点注意力层用于聚合子图中每个节点的高阶邻居特征, 关系注意力层给不同元路径下的节点特征分配不同的权重, 最终得到充分融合语义信息的节点嵌入表示. 在MovieLens-1M数据集上进行了Top-K推荐, 结果表明本文提出的模型能够有效提高推荐结果的准确性.     

基于跨会话知识图谱的图注意力网络推荐方法

基于会话的推荐方法旨在根据匿名用户行为序列预测下一个项目。然而,现有会话推荐方法多基于当前会话建模用户偏好,忽略了会话间蕴含的语义信息及知识图谱中丰富的实体和关系信息,无法有效缓解数据稀疏性的问题。提出一种基于跨会话信息与知识图谱的图注意力网络推荐方法。通过有效整合跨会话信息和知识图谱中的项目知识构建跨会话知识图谱,利用知识感知的注意力机制计算各邻居节点的重要性分数,以更新项目节点表示,采用门控循环单元和图注意力网络将每个会话表示为该会话的当前偏好和全局偏好的组合。在此基础上,将会话嵌入和项目嵌入拼接后输入到多层感知机,得到目标会话和候选项目的预测分数,从而实现会话推荐。实验结果表明,与GRU4REC、SR-GNN、FGNN等方法相比,该方法在KKBOX和JDATA两个真实数据集上的推荐命中率分别至少提高了8.23和2.41个百分点,能有效增强会话推荐性能。     

面向会话的需求感知注意图神经网络推荐模型

针对现有基于图的会话推荐方法忽略了反馈数据中由于用户行为不确定性引起的噪声影响,存在无法准确和有效地捕捉用户偏好的问题,提出一种面向会话的需求感知注意图神经网络推荐模型（DAAGNNSR）。将具有时序性的会话数据构建为图,通过引入图神经网络学习图上节点嵌入表示;将提取的项目特征使用需求感知聚合器线性聚合为用户潜在需求矩阵,以自动削弱噪声干扰,同时用低秩多头注意力网络将该矩阵与全部项目特征进行逐项兴趣交互生成需求增强的项目表征;联合独立位置编码进一步分析项目间顺序关联,并且将生成的独立位置嵌入与项目表征进行线性融合;经过预测层生成推荐列表。将所提模型在Diginetica、Tmall和Nowplaying三个公共数据集上进行训练和测试,实验结果表明,该模型的推荐精度在各指标上均优于其他基线模型,与基于图上下文自注意力机制模型（GCSAN）相比,Diginetica上NDCG@10提高了5.6%,Tmall上Recall@10提高了6.4%;与基于图神经网络的SRGNN相比,Tmall上Precision@10提高了5.0%,推荐性能显著提升。     

基于改进胶囊网络的会话型推荐模型

针对现有的会话型推荐模型难以从简短的会话中捕获项目之间的依赖关系的问题,在考虑了复杂的项目交互和动态的用户兴趣变化后,提出了一种基于会话型推荐的改进胶囊网络（SR-ECN）模型。首先,利用图神经网络（GNN）处理会话序列数据,以得到每个项目嵌入向量;然后,利用胶囊网络的动态路由机制,从交互历史中聚合高级用户的偏好;此外,所提模型引入自注意力网络进一步考虑用户和项目的潜在信息,从而为用户推荐更合适的项目。实验结果表明,在Yoochoose数据集上,所提模型的召回率和平均倒数排名（MRR）均优于SR-GNN(Session-based Recommendation with GNN)、TAGNN(Target Attentive GNN)等所有对比模型,与基于无损边缘保留聚合和快捷图注意力的推荐（LESSR）模型相比,所提模型的召回率和MRR分别提升了0.92和0.45个百分点,验证了改进胶囊网络对用户兴趣偏好提取的有效性。     

基于用户兴趣感知的多关系推荐模型

由于图卷积网络（GCN）能够利用高阶邻居的协作信号来更好地学习用户和项目的嵌入，它已经广泛应用于推荐系统。但在当前基于GCN的多关系推荐模型中用户节点的嵌入学习会受到与之兴趣不相似的高阶相邻用户的干扰，导致拥有不同兴趣的用户经过多层图卷积后会得到相似的嵌入，从而产生了过度平滑问题。因此针对上述问题提出了一个基于用户兴趣感知的多关系推荐模型（IMRRM）。该模型会在用户项目异构交互图中利用轻量化的图卷积网络得到每个用户的图形结构信息。子图生成模块利用用户的图结构信息和初始特征有效地识别出兴趣相似的用户，并将相似用户及其交互项目组成一个子图。通过在子图中进行深层嵌入学习来防止兴趣不相关的高阶邻居传播更多的负面信息从而得到更精确的用户嵌入。因此IMRRM模型减少了噪声信息对用户节点嵌入学习的影响，有效地缓解了过度平滑问题来更加准确地进行多关系推荐。通过在Beibei和Taobao这两个公共数据集上实验来验证IMRRM的有效性和鲁棒性。实验结果表明，IMRRM模型在HR10上分别提高了1.98%和1.49%，在NDCG10上分别提高了1.58%和1.81%，具有较好的性能。     

基于图注意力的神经协同过滤社会推荐算法

互联网技术的发展使得信息过载问题日趋严重，为了解决传统推荐技术的数据稀疏和冷启动问题，社会推荐逐渐成为近年来的研究热点。图神经网络(GNNs)作为一种能够自然整合节点信息和拓扑结构的网络，为改进社会推荐提供了巨大的潜力。但基于图神经网络的社会推荐还存在许多挑战，例如，如何从用户项目交互图和社交网络图中学习准确的用户和项目的潜在因子表示；简单映射用户和项目的固有属性来获取嵌入，但用户项目交互的关键协作信号未被学习。为了学习更准确的潜在因子表示，捕获关键的协作信号，提升推荐系统的性能，提出了基于图注意力的神经协同过滤社会推荐模型(AGNN-SR)。该模型基于用户项目交互图和社交网络图，通过多头注意力机制多角度地学习用户和项目的潜在因子；此外，图神经网络利用高阶连通性递归地在图上传播嵌入信息，显式编码协作信号，探索用户和项目之间的深层复杂的交互关系。最后，在3个真实数据集上验证了AGNN-SR模型的有效性。     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

基于评论文本图表示学习的推荐算法

基于卷积或循环神经网络的推荐系统主要捕捉评论文本中相邻词之间的局部和连续依赖关系,对长期、全局、非连续的依赖关系的捕捉能力有限。针对该问题,提出一种基于评论文本图表示学习的推荐算法RGP。将每个用户或项目的评论文本表示成图,图的节点为评论文本的词,图的边为词与词的连接关系。针对图中的每个节点,使用基于连接关系的图注意力网络加权融合其邻点信息,利用基于交互关系的注意力机制对节点重新赋权,并加权融合图中所有节点的表征从而得到整个图的表征。在此基础上,将基于用户和项目ID的嵌入表征及其评论图表征耦合输入并采用因子分解机进行评分预测,以得到最终的推荐结果。实验结果表明,与NARRE、DAML等算法相比,RGP算法可有效提高推荐精度。     

融合交互注意力和参数自适应的商品会话推荐

在电商场景中,用户面对繁杂的商品时往往难以快速检索到所需商品,而基于会话的商品推荐能通过学习用户短期兴趣从而为其推荐可能感兴趣的商品,因此基于会话的推荐研究具有显著的理论和应用研究价值。已有的会话推荐算法大多关注于利用全局图中的信息来增强会话图中的表征学习,而忽略了会话图和全局图上物品表征之间的交互关系。该文提出一种通过交互注意力和改进参数自适应策略增强的图神经网络商品会话推荐模型。交互注意层通过提取强相关信息来修正全局图和会话图中的商品表示,而参数自适应层则通过改进参数自适应策略动态权重调整以获得物品的最终表示进而用于预测。实验结果表明,该文所提出的模型在Tmall数据集上显著优于对比模型。     

融合全局和近邻协同信息的会话推荐算法

现有基于会话的推荐算法主要通过挖掘单个目标会话的项目转换关系进行推荐,对来自其他不同会话中项目之间的复杂转换信息考虑较少。为此,提出一种融合全局和近邻协同信息的会话推荐算法SFGN-GNN,同时考虑来自全局与近邻会话的协同信息,以充分挖掘用户偏好。通过学习会话表示来表达用户偏好,先按目标会话与近邻会话的成对项目转移关系构建近邻图,依据所有会话中的成对项目转移关系构建全局图,再利用图神经网络获取目标会话节点近邻级和全局级的项目表示,采用融合门融合得到会话级项目表示,并在其中嵌入项目在目标会话中的位置信息和时间信息,然后通过软注意力机制得到最终的会话表示,最后经过softmax函数预测下一个可能交互的项目。在两个数据集上的实验验证了SFGN-GNN算法有效性。     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的图信息进行完全探索。最后,总结了图卷积神经网络层级信息挖掘模型的主要应用领域,并从计算效率、大规模数据、动态图和应用场景等方面提出进一步研究的方向。     

基于图注意力网络表示学习的协同过滤推荐算法

针对传统的基于模型的协同过滤推荐算法未能有效利用用户与项目的属性信息以及用户之间与项目之间的关系结构信息, 本文提出一种基于图注意力网络表示学习的协同过滤推荐算法. 该算法使用知识图谱表示节点的属性特征信息和节点间的关系结构信息, 并在用户和项目的同质网络上进行节点的图注意力网络表示学习, 得到用户和项目的网络嵌入特征表示, 最后构建融合网络嵌入信息的神经矩阵分解模型获得推荐结果. 本文在Movielens数据集上与相关算法进行对比实验, 实验证明该算法能优化模型的推荐性能, 提高推荐的召回率HR@K和归一化折损累计增益NDCG@K.     

基于图卷积神经网络的自注意力的融合节点分类框架

图神经网络因其强大的建模能力引起广泛关注, 常常被用来解决图上的节点分类任务. 现阶段常用的以图卷积神经网络 (graph convolutional network, GCN)为内核的模型解决此类问题, 但往往因为出现过拟合与过平滑而导致深层的节点嵌入表示效果并不好. 因此, 本文提出了一种基于GCN内核的结合残差连接与自注意力方法——GCNRN模型, 以提升GCN的泛化能力. 同时, 为了整合更深入的信息, 本文引入融合机制, 采用模糊积分融合多个分类器, 最终提高模型测试精度. 为了验证所提出方法的优越性, 本文采用ogbn-arxiv与常用的引文数据集进行了对比实验. GCNRN模型与多个以GCN为内核的现有模型相比, 节点分类准确率平均提高了2%, 且避免了传统的过拟合和过平滑现象. 此外, 实验结果表明, 增加了基于模糊积分的融合模块的多分类器模型比传统融合方法具有更好的分类效果.     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

融合知识图谱的双线性图注意力网络推荐算法

知识图谱可有效缓解传统协同过滤中的数据稀疏和冷启动问题,因此,近年来在推荐系统中融入知识图谱的方法成为重要的探索方向。然而现有的方法大多将知识图谱的网络结构划分为单独路径或仅利用了一阶邻居信息,造成无法建立整个图上的高阶连通性问题。为解决该问题,提出融合知识图谱和图注意力网络的KG-BGAT模型,并设计了双线性采集器。双线性采集器能够在信息采集阶段获取节点间的特征交互信息,丰富节点表示;图注意力网络通过递归嵌入传播算法将各个节点表示沿图进行传播,能够捕获图中的高阶连通性。在MovieLens-1M数据集上进行了Top-K推荐实验,在推荐列表长度为20时,精确率、召回率和归一化折损累计增益分别为29.4%、24.9%、67.4%,超过了目前主流的CKE、RippleNet、KGCN等融合知识图谱的推荐算法。实验证明提出的方法能够有效提高推荐结果的准确性。     

RA-GCN：抑制过平滑现象的文本分类算法

现有大多数利用图神经网络的算法进行文本分类时,忽略了图神经网络的过度平滑问题和由于文本图拓扑差异引入的误差,导致文本分类的性能不佳。针对这一问题,提出了衡量多个文本图表示的平滑度方法WACD以及抑制过平滑现象的正则项RWACD。随后提出了基于注意力和残差的网络结构ARS,用于弥补由于图拓扑差异引起的文本信息的损失。最后,提出了图卷积神经网络文本分类算法RA-GCN。RA-GCN在图表示学习层使用ARS融合文本表示,在读出层使用RWACD抑制过平滑现象。在六个中英文数据集上进行实验,实验结果证明了RA-GCN的分类性能,并通过多个对比实验验证了RWACD和ARS的作用。     

基于改进图注意机制的网络嵌入方法研究及应用

网络已被广泛用作抽象现实世界系统以及组织实体之间关系的数据结构;网络嵌入模型是将网络中的节点映射为连续向量空间表示的强大工具;基于图卷积（Graph convolutional neural, GCN）的网络嵌入方法因受其模型迭代过程参数随机优化和聚合函数的影响,容易造成原始节点特征信息丢失的问题;为有效提升网络嵌入效果,针对于图神经网络模型在网络嵌入中节点表征学习的局限性,提出了一种基于二阶邻域基数保留策略的图注意力网络SNCR-GAT（Second-order Neighborhood Cardinality Retention strategy Graph attention network）,通过聚合二阶邻域特征基数的方式,解决网络节点潜在特征学习过程中重要信息保留问题;通过在节点分类和可视化两个网络嵌入应用任务上进行实验,结果表明,SNCR-GAT模型在网络嵌入上的性能表现相比较基准方法更具优越性。     

基于多层次多视角的图注意力Top-N推荐方法

推荐系统是当前数据挖掘领域的研究热点,海量数据的涌现促使多源信息融合的推荐方法得到极大的关注。但是,现有的基于异质信息融合的推荐方法在进行特征表示时往往忽略了用户和项目之间的交互信息以及元路径之间的相互影响。因此,考虑到属性节点嵌入和结构元路径的不同视角,提出了一种多层次图注意力的网络推荐方法。该方法通过构建不同的元路径,将多源信息网络结构粒化为多个独立的粗粒度网络,然后基于图注意力机制结合局部节点属性嵌入,来分别学习用户和项目的潜在特征,最终给出融合后的细粒度网络推荐。在现实大规模数据集上进行横向和纵向评测,实验结果表明该方法能够有效地提升推荐性能。     

基于图注意力网络的开源社区问题解决参与者推荐

在开源社区中,开发者提出的问题能否得到快速与高质量的答复和解决决定着社区的活跃程度。因此,为新提交的问题寻找和推荐合适的问题解决参与者有助于社区的发展。根据开发者之间的协作关系记录与开发者参与问题的记录构建了双层图注意力网络的问题解决参与者推荐模型（GAT-UCG）。首先获取问题参与者的信息和开发者的互动信息,分别构建开发者问题参与图和开发者协作关系图.通过注意力机制对于边重新分配权重,最后根据输出层得到的问题节点嵌入表示进行问题参与者的top-N推荐。选取了GitHub流行仓库中的7 352个问题进行了实验,实验结果表明,所提GAT-UCG模型在推荐准确率、召回率、F-score三个指标上均优于基线方法。