基于多头注意力机制和位置信息的xDeepFM推荐模型

为了解决推荐模型中无法挖掘用户兴趣多样性和捕捉用户行为序列之间的顺序信息,以及交互发生在元素级并非特征向量之间等问题,提出一种基于多头注意力机制和位置信息的xDeepFM推荐模型(extreme deep multiple attention and location information factorization machine,xDMALFM).首先通过多头注意力机制进行不同子空间的特征深度提取,然后利用位置信息去捕捉用户行为序列之间的顺序关系.最后,利用三个公开数据集进行对比实验,以AUC指标进行评估.实验结果表明所提算法相比xDeepFM模型具有更好的推荐性能,验证了其有效性与可行性.     

融合知识图谱与注意力机制的个性化序列推荐

序列推荐系统可以根据用户和物品交互的时间序列信息,精确预测用户下一次交互物品.现有的序列推荐算法存在用户兴趣过渡拟合的问题,导致推荐内容同质化严重,从而无法实现个性化推荐.基于此,本文提出一种融合知识图谱与注意力机制的个性化序列推荐算法(SR-KGA):首先,引入知识图谱,通过图卷积网络对物品进行嵌入表示;其次,通过自注意力机制和多头注意力机制构建序列到序列(seq2seq)模型,最后,在损失函数中加入多样性正则项;实现用交互序列来预测未来可能交互的物品序列,从而进行推荐.通过在真实的数据集上实验,SR-KGA在保证推荐准确度的同时,提升了推荐列表的多样性,实现了用户个性化推荐.     

融合协同知识图谱高阶邻居特征的推荐模型

在推荐时引入知识图谱中的实体及关系信息是有效缓解冷启动问题的方法. HAN模型首次将基于注意力机制的图神经网络用于异构图, 但是并没有充分利用节点的高阶邻居信息. 为了解决该问题, 提出了一种融合协同知识图谱高阶邻居特征的推荐模型CKG-HAN. 该模型用元路径来连接项目节点, 将协同知识图谱分成多个子图, 模型的节点注意力层用于聚合子图中每个节点的高阶邻居特征, 关系注意力层给不同元路径下的节点特征分配不同的权重, 最终得到充分融合语义信息的节点嵌入表示. 在MovieLens-1M数据集上进行了Top-K推荐, 结果表明本文提出的模型能够有效提高推荐结果的准确性.     

面向推荐系统的分期序列自注意力网络

在推荐系统中,为了充分表达用户反馈数据内部的相互依赖和序列性,准确提取用户的长期/一般偏好、应对数据的动态性,本文提出了一种分期序列自注意力网络(long-term & short-term sequential self-attention network,LSSSAN)进行序列推荐。模型采用自注意力机制和GRU捕捉了用户反馈数据之间的相互依赖和序列性;模型采用注意力机制为不同反馈数据赋予不同权重以动态捕捉重点信息,同时考虑了上下文的动态性;模型基于用户的长期反馈数据,准确表达了用户的长期/一般偏好。该模型在两个数据集上进行训练和测试,结果表明该模型的推荐效果整体优于之前的相关工作。     

融合增强协同信息和知识图谱信息的推荐模型

将知识图谱引入推荐系统,能一定程度解决数据稀疏和冷启动问题,但是往往忽略了高阶协同信息和不同协同信息的重要程度对探索用户潜在偏好的重要性,由此提出了一种融合增强协同信息和知识图谱信息的推荐模型(CIKG)。该模型首先利用用户和项目的历史交互数据,获取一阶协同信息和高阶协同信息,同时使用注意力机制捕获重要信息,得到增强协同信息,用来补充用户和项目的特征表示。其次通过将用户交互的项目与知识图谱中的实体对应,在知识图谱中执行传播操作,得到知识图谱信息,用于挖掘用户的偏好并且增强模型的可解释性。最后通过聚合器将增强协同信息和知识图谱信息结合得到用户和项目的最终表示,从而进行预测。在Last-fm和Book-crossing两个数据集上进行的实验结果表明CIKG相比其他对比的模型推荐效果有较大提升。     

知识图谱嵌入的高阶协同过滤推荐系统

针对推荐系统存在的数据稀疏问题,传统的协同过滤方法无法捕捉辅助信息之间的相关性,从而降低了推荐的准确度,文中提出KGE-CF模型,引入了知识图谱作为辅助信息,利用知识图谱中多源结构性的数据来缓解数据稀疏问题.KGE-CF结合多层感知机捕获高阶非线性特征的能力,能够学习出用户与项目更深层次的交互信息,从而提升推荐质量.首先,KGE-CF模型将用户的历史交互项目与知识图谱中的实体进行映射,并且利用知识图谱的翻译模型进行训练,得到实体嵌入向量与关系向量,并依据"兴趣迁移"思想进一步学习出更为丰富的用户向量;然后,模型将学习得到的用户向量与项目向量拼接,作为多层感知机的输入,捕捉用户与项目之间的高阶特征信息;最后,通过一个sigmoid函数得到用户对候选项目的偏好程度.通过在真实数据集上的实验,证明了提出的KGE-CF模型在点击率预测和top-k两种推荐场景下均优于其他方法.     

融合协同知识图谱和图卷积网络的推荐算法

推荐系统广泛应用于互联网,缓解信息过载问题。现有研究通常将知识图谱引入推荐算法中,但不能有效获取用户与项目的高阶建模以及存在数据稀疏性的问题。该文提出了一种融合协同知识图谱和图卷积网络的推荐算法(CKGCN)。首先,将用户-项目交互矩阵与项目知识图谱构建为协同知识图谱,利用知识感知注意力机制对邻居节点进行权重分配,递归地捕获用户和项目的特征向量,搜索用户对项目的潜在喜好,有效缓解数据稀疏性的问题。其次,采用基于图卷积网络的邻域聚合算法捕捉每层实体网络之间的高阶联系,将实体与邻域实体聚合,丰富实体语义表示。另外,通过交叉压缩单元协作处理项目特征向量与实体特征向量,探索二者的高阶特征交互,从而过滤实体的冗余信息、挖掘项目更深层次的联系。最后,对用户特征向量与项目特征向量进行计算得出用户对项目的预测概率。经过点击率预测及Top-k推荐实验证明,在书籍Book＿Crossing和音乐Last.FM两个公开的数据集上,该算法与五种基线算法相比较,AUC,ACC,F1,Recall@k和Precision@k评价指标值均有提升,表明该模型具有良好的推荐性能。     

基于用户长短期兴趣与知识图卷积网络的推荐

基于知识图谱的推荐可以提高推荐的精确性、多样性和可解释性.结合知识图谱与用户长短期兴趣提出了基于用户长短期兴趣与知识图卷积网络的推荐模型(LSKGCN).在知识图谱推荐算法的基础上提出了将用户长期兴趣偏好与短期兴趣偏好结合的用户表示方法.根据时间筛选近期历史项目并通过知识图卷积网络得到历史项目的向量表示,通过注意力机制...     

知识图谱增强的神经协同过滤推荐方法

推荐系统已经广泛应用于各领域以处理信息过载问题,但传统方法面临着数据稀疏的挑战,且使用矩阵分解也不能很好的捕获抽象的非线性交互.考虑到知识图谱可以提供丰富的边信息,文中提出一种知识图谱增强的神经协同过滤推荐方法.首先获取项目相关的元数据,将其构建为知识图谱,并利用表示学习方法获取图谱中的语义知识;其次,利用结合注意力的邻域传播机制获取图谱中的结构知识,以此增强项目表示;最后将得到的用户和项目表示送入矩阵分解与神经网络中进行推荐.在公开数据集MovieLens上的实验结果表明,该模型能够有效提升推荐结果的准确性.     

基于偏差的图注意力神经网络推荐算法

在推荐系统中,基于知识图谱的神经网络与传统神经网络相比,以图形作为输入,可以很好地将节点信息和拓扑结构相结合进行推理和推荐.然而,现有基于图神经网络的推荐算法,面临着知识表示不准确以及信息融合单一的问题.对此,将图神经网络与注意力机制相结合,提出一种基于偏差的图注意力神经网络推荐算法.该方法采用翻译模型对知识图谱信息进行特征表示的嵌入,获取节点在同一投影空间下的三元组信息,考虑到在三元组中预测值与真实值之间存在误差,以及邻居节点在信息传播时权重的差异,采用基于偏差的注意力计算机制以便更好地捕获节点间高阶连通性.其次,在神经网络的传播训练过程中,通过多通道融合机制对节点和邻居信息进行聚合以提高模型的健壮性.最后,在3个真实数据集上与经典算法进行对比,验证所提出算法的有效性.     

融合知识图谱和轻量图卷积网络的推荐算法

针对知识图谱推荐算法用户端和项目端建模程度不均且模型复杂度较高等问题, 提出融合知识图谱和轻量图卷积网络的推荐算法. 在用户端, 利用用户相似性生成邻居集合, 将用户及其相似用户的交互记录在知识图谱上多次迭代传播, 增强用户特征表示. 在项目端, 将知识图谱中实体嵌入传播, 挖掘与用户喜好相关的项目信息; 接着, 利用轻量图卷积网络聚合邻域特征获得用户和项目的特征表示, 同时采用注意力机制将邻域权重融入实体, 增强节点的嵌入表示; 最后, 预测用户和项目之间的评分. 实验表明, 在Book-Crossing数据集上, 相较于最优基线, AUC和ACC分别提高了1.8%和2.3%. 在Yelp2018数据集上, AUC和ACC分别提高了1.2%和1.4%. 结果证明, 该模型与其他基准模型相比有较好的推荐性能.     

基于异质信息网络的推荐模型

为了解决推荐系统的冷启动和稀疏性问题, 本文提出了一种基于异质信息网络的推荐模型. 传统的推荐方法无法在知识图谱表示学习中融入隐含的路径信息, 这样使得知识推荐系统性能较为一般. 本文提出的模型在异质信息网络中设置元路径, 通过图神经网络融入到知识图谱表示学习中. 再利用注意力网络连接推荐任务和知识图谱表示任务, 其可以学习两个任务之中潜在的特征, 并且能够增强推荐系统中被推荐项和知识图谱中实体的相互作用. 最后在推荐任务中进行用户点击率预测. 模型在公开数据集Book-Crossing和通过DBLP数据集构建的图谱上进行了实验. 最后结果表明, 模型在AUC, 召回率和F1值3个指标上均比其他算法有更好的表现.     

利用门控网络构建用户动态兴趣的序列推荐模型

在推荐系统中,现有多数序列推荐方法将用户行为视为一个时间有序的序列进行用户兴趣建模,用户兴趣的动态变化导致模型难以从用户行为序列中捕捉准确的用户兴趣信息。针对该问题,同时考虑到项目间成对的共现模式应作为交互信息的补充,提出利用门控网络构建用户动态兴趣的序列推荐模型DCGN。使用门控线性单元捕获交互序列中的用户兴趣,利用带有注意力权重的门控循环网络学习用户的动态兴趣。在此基础上,对用户交互项目间的共现模式进行建模,与用户兴趣信息以及用户信息进行融合后输入深度神经网络,得到最终推荐结果。在ML100K、Amazon 5-Elect、Retailrocket 3个公开数据集上进行实验,使用精确率、归一化折损累积增益和命中率进行性能评估,结果表明,DCGN模型较NARM、GRU4Rec、NLR等主流序列推荐模型性能更优,其归一化折损增益和精确率在Retailrocket数据集上平均提升1.9%和1.22%,在Amazon 5-Elect数据集上平均提升0.82%和1.05%,在ML100K数据集上平均提升0.36%和0.31%。     

基于知识图谱和图注意力的众包任务推荐算法

为解决目前众包任务推荐存在未考虑任务文本信息和数据稀疏的问题,提出一种基于知识图谱与图注意力的众包任务推荐模型。该模型首先利用自然语言处理技术提取任务文本信息中的关键要素,用于丰富图谱信息和缓解数据稀疏性;通过融合用户—任务交互图中的协同信息来构建协同知识图谱,在协同知识图谱中按协同邻居的类型分别运用图注意力网络;为获取用户准确的偏好,聚合邻居信息时按注意力得分从高到低采样固定数目的邻居;最后通过聚合不同类型的协同信息生成用户和任务的嵌入表示并得到交互概率。在构建的众包数据集上进行实验的结果表明,该模型在AUC、精准率、召回率和NDCG四个指标上均优于基线模型,验证了模型的可行性和有效性。     

动态融合社交信息的社会化推荐

针对推荐算法中的数据稀疏问题,通常引入社交数据作为辅助信息进行社会化推荐。传统的社会化推荐算法忽略用户的兴趣迁移,导致模型无法描述用户兴趣的动态变化特征,也忽略了社交影响的动态特性,导致模型将很久以前的社交行为与近期社交行为同等对待。针对这两点提出一种社交信息动态融合的社会化推荐模型SLSRec。首先,利用自注意力机制构建用户交互物品的序列模型,以实现对用户兴趣的动态描述;然后,设计具有时间遗忘的注意力机制对社交短期兴趣进行建模,并设计具有协同特性的注意力机制对社交长期兴趣进行建模;最后,融合社交的长短期兴趣与用户的短期兴趣来获得用户的最终兴趣并产生下一项推荐。利用归一化折损累计增益（NDCG）和命中率（HR）指标在稀疏数据集brightkite和稠密数据集Last.FM上把所提模型与序列推荐模型（自注意力序列推荐（SASRec）模型）和社会化推荐模型（社会推荐的神经影响扩散（DiffNet）模型）进行对比验证。实验结果显示,SLSRec模型与DiffNet模型相比,在稀疏数据集上的HR指标提升了8.5%;与SASRec模型相比,在稠密数据集上的NDCG指标提升了2.1%,表明考虑社交信息的动态特性使推荐结果更加准确。     

融合协同知识图谱与优化图注意网络的推荐算法

考虑到推荐算法存在数据稀疏及模型复杂度较高等问题,提出了一种融合协同知识图谱与优化图注意网络的推荐模型。将用户/项目知识图谱与用户-项目交互图结合为协同知识图谱,嵌入到优化的图注意网络模型中,这不仅可以很好地缓解数据稀疏问题,还能更大程度地挖掘用户的潜在兴趣和高阶关系;使用优化的图卷积网络,通过去除特征转换和非线性激活模块,可以在不影响整体推荐性能的基础上极大地降低模型复杂度;结合基于偏差的注意力机制,及时感知候选项目与用户真实感兴趣项目之间的偏差,提升模型的训练效率。在Movielens数据集和Douban数据集上进行仿真实验,结果表明该算法在推荐性能和时间复杂度方面,相比对比算法均得到了有效的提升。     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

基于知识图谱的双端知识感知图卷积推荐模型

针对现有基于知识图谱的推荐模型仅从用户或项目一端进行特征提取, 从而缺乏对另一端的特征提取的问题, 提出一种基于知识图谱的双端知识感知图卷积推荐模型. 首先, 对于用户、项目及知识图谱中的实体进行随机初始化表征得到初始特征表示; 接着, 采用基于用户和项目的知识感知注意力机制同时从用户、项目两端在知识图谱中进行特征提取; 其次, 使用图卷积网络采用不同的聚合方式聚合知识图谱传播过程中的特征信息并预测点击率; 最后, 为了验证模型的有效性, 在Last.FM和Book-Crossing两个公开数据集上与4个基线模型进行对比实验. 在Last.FM数据集上, AUC和F1分别比最优的基线模型提升了4.4%、3.8%, ACC提升了1.1%. 在Book-Crossing数据集上, AUC和F1分别提升了1.5%、2.2%, ACC提升了1.4%. 实验结果表明, 本文的模型在AUC、F1和ACC指标上比其他的基线模型具有更好的鲁棒性.     

融合知识图谱的双线性图注意力网络推荐算法

知识图谱可有效缓解传统协同过滤中的数据稀疏和冷启动问题,因此,近年来在推荐系统中融入知识图谱的方法成为重要的探索方向。然而现有的方法大多将知识图谱的网络结构划分为单独路径或仅利用了一阶邻居信息,造成无法建立整个图上的高阶连通性问题。为解决该问题,提出融合知识图谱和图注意力网络的KG-BGAT模型,并设计了双线性采集器。双线性采集器能够在信息采集阶段获取节点间的特征交互信息,丰富节点表示;图注意力网络通过递归嵌入传播算法将各个节点表示沿图进行传播,能够捕获图中的高阶连通性。在MovieLens-1M数据集上进行了Top-K推荐实验,在推荐列表长度为20时,精确率、召回率和归一化折损累计增益分别为29.4%、24.9%、67.4%,超过了目前主流的CKE、RippleNet、KGCN等融合知识图谱的推荐算法。实验证明提出的方法能够有效提高推荐结果的准确性。