基于注意力机制的深度学习推荐算法

针对目前基于评论文本的推荐算法存在文本特征和隐含信息提取能力不足的问题, 提出一种基于注意力机制的深度学习推荐算法. 通过分别构建用户和项目的评论文本表示, 利用双向门控循环单元提取文本的上下文依赖关系以获得文本特征表示, 引入注意力机制, 更准确的获取用户兴趣偏好和项目属性特征. 将生成的用户和项目评论数据的两组隐含特征分别输入全连接层处理, 再合并到同一个向量空间进行评分预测, 得到推荐结果. 在Yelp和Amazon两个公开数据集中进行实验, 结果表明所提出的算法与其他算法相比, 具有更好的推荐性能.     

融合画像和文本信息的轻量级关系图注意推荐模型

针对当前基于图神经网络的推荐系统受数据稀疏影响推荐效率不高的问题,提出融合画像和文本信息的轻量级关系图注意推荐模型(LightRGAN)。首先,利用用户画像和项目画像初始化用户和项目的嵌入表示。其次,引入评论、项目描述和项目类型作为辅助信息,并通过基于多头注意力机制的文本嵌入网络挖掘同一用户评论集和描述集中文本之间的潜在联系。然后,通过融合注意力机制的轻量级关系图卷积网络学习用户和项目的嵌入表示。最后,对各层嵌入表示加权求和并通过预测网络计算匹配分数。在三个公开数据集上的实验结果表明LightRGAN的效果优于多个现有的基线模型,评估指标HR@20、NDCG@20较最优基线模型最少提升了2.58%、2.37%。     

基于图注意力网络表示学习的协同过滤推荐算法

针对传统的基于模型的协同过滤推荐算法未能有效利用用户与项目的属性信息以及用户之间与项目之间的关系结构信息, 本文提出一种基于图注意力网络表示学习的协同过滤推荐算法. 该算法使用知识图谱表示节点的属性特征信息和节点间的关系结构信息, 并在用户和项目的同质网络上进行节点的图注意力网络表示学习, 得到用户和项目的网络嵌入特征表示, 最后构建融合网络嵌入信息的神经矩阵分解模型获得推荐结果. 本文在Movielens数据集上与相关算法进行对比实验, 实验证明该算法能优化模型的推荐性能, 提高推荐的召回率HR@K和归一化折损累计增益NDCG@K.     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

融合短文本层级注意力和时间信息的推荐方法

信息过载造成的数据稀疏性问题制约着基于评分数据的矩阵分解模型的推荐性能,融合评论文本的推荐模型能够有效缓解评分数据稀疏性.当前的推荐系统利用评论文本为用户和项目建模时,大多仅将用户对项目的评论作为数据来源,而忽视了时间信息对用户和项目属性的影响.针对此问题,提出了一种融合短文本层级注意力和时间信息的推荐方法(RHATR),该方法能够充分地挖掘评论文本潜在的语义信息,并为用户偏好和项目特征的动态变化进行建模.通过对单条评论文本应用单词级注意力,挖掘单条评论文本中情感词和关键词等有效信息,学习用户和项目表示;对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,提取有效的评论,进一步学习用户偏好和项目特征动态表示.将从评论文本中学到的用户和项目表示以及基于ID的项目和用户嵌入作为最终特征,来捕获各用户和项目的潜在因素.实验结果表明,提出的方法相对于当前基线方法在Amazon和Yelp数据集上的均方根误差(RMSE)取得了较好的效果.     

基于超图卷积网络和目标多意图感知的会话推荐算法

当前先进的会话推荐算法主要通过图神经网络从全局和目标会话中挖掘项目的成对转换关系,并将目标会话压缩成固定的向量表示,忽略了项目间复杂的高阶信息和目标项目对用户偏好多样性的影响。为此提出了基于超图卷积网络和目标多意图感知的会话推荐算法HCN-TMP。通过学习会话表示来表达用户偏好,首先依据目标会话构建会话图,依据全局会话构建超图,通过意图解纠缠技术将原有反映用户耦合意图的项目嵌入表示转换为项目多因素嵌入表示,再经图注意力网络和超图卷积网络分别学习目标会话节点的会话级和全局级项目表示,并使用距离相关性损失函数增强多因素嵌入块间的独立性;然后嵌入目标会话中节点位置信息,加权每个节点的注意力权重,得到全局级和会话级会话表示;利用对比学习最大化两者互信息,经目标多意图感知,针对不同的目标项目自适应地学习目标会话中多意图的用户偏好,得到目标感知级会话表示,最后线性融合三个级别的会话表示得到最终的会话表示。在Tmall和Nowplaying两个公开数据集上进行大量实验,实验结果验证了HCN-TMP算法的有效性。     

基于RoBERTa和图增强Transformer的序列推荐方法

自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著...     

融合全局和近邻协同信息的会话推荐算法

现有基于会话的推荐算法主要通过挖掘单个目标会话的项目转换关系进行推荐,对来自其他不同会话中项目之间的复杂转换信息考虑较少。为此,提出一种融合全局和近邻协同信息的会话推荐算法SFGN-GNN,同时考虑来自全局与近邻会话的协同信息,以充分挖掘用户偏好。通过学习会话表示来表达用户偏好,先按目标会话与近邻会话的成对项目转移关系构建近邻图,依据所有会话中的成对项目转移关系构建全局图,再利用图神经网络获取目标会话节点近邻级和全局级的项目表示,采用融合门融合得到会话级项目表示,并在其中嵌入项目在目标会话中的位置信息和时间信息,然后通过软注意力机制得到最终的会话表示,最后经过softmax函数预测下一个可能交互的项目。在两个数据集上的实验验证了SFGN-GNN算法有效性。     

一种用于方面级情感分析的知识增强双图卷积网络

近年来,深度神经网络特别是图神经网络在方面级情感分析任务上取得了较大进展,但是仍存在未充分利用外部知识信息、句法依赖树的边关系信息以及知识图谱结构信息的缺陷.针对上述问题,本文提出了一种知识增强的双图卷积网络BGCN-KE(Knowledge-enhanced Bi-Graph Convolutional Network).首先,提出一种融合句法依赖关系与外部知识的子图构造算法,得到节点间语义关系更紧密的知识子图.其次,提出了双图卷积网络,分别利用两个图卷积网络在句法依赖知识子图中引导评论文本的节点学习邻接节点的外部知识,以及在评论文本的句法依赖图中融合特定方面相关的语义信息,从而增强评论文本的特定方面知识表示和语义表示.再次,BGCN-KE引入边关系注意力机制,更好地捕获特定方面和上下文词语间的语义关系.最后,提出了一种多级特征融合机制,充分融合特定方面相关的外部知识、语义信息和边关系特征.多个公共数据集上的实验证明,BGCN-KE的性能优于最新的对比模型.     

结合注意力CNN与GNN的信息融合推荐方法

稀疏性问题一直是推荐系统面临的主要挑战,而信息融合推荐可以利用用户的评论、评分以及信任等信息发掘用户的偏好来缓解这一问题,从而为目标用户生成相应的推荐.用户、项目信息的充分学习是构建一个成功推荐系统的关键.但不同用户对不同项目有不同的偏好,且用户的兴趣偏好及社交圈是动态变化的.提出一种结合深度学习与信息融合的推荐方法来解决稀疏性等问题.特别地,构建了一种新的深度学习模型——结合注意力卷积神经网络(attention CNN)与图神经网络(GNN)的信息融合推荐模型ACGIF.首先,在CNN中加入注意力机制来处理评论信息,从评论信息中学习用户和项目的个性化表示.根据评论编码学习评论表示,通过用户/项目编码学习评论中用户/项目表示.加入个性化注意力机制来筛选不同重要性级别的评论.然后,利用GNN来处理评分和信任信息.对于每个用户来说,扩散过程从最初的嵌入开始,融合相关特性和捕获潜在行为偏好的自由用户潜在向量.设计了一个分层的影响传播结构,以模拟用户的潜在嵌入如何随着社交扩散过程的继续而演变.最后,对前两部分得到的用户对项目的偏好向量进行加权融合,获得最终的用户对于项目的偏好向量.在4组公开...     

基于图模型和注意力模型的会话推荐方法

为解决基于循环神经网络（RNN）会话推荐方法的兴趣偏好表示不全面、不准确问题,提出基于图模型和注意力模型的会话推荐（SR-GM-AM）方法。首先,图模型利用全局图和会话图分别获取邻域信息和会话信息,并且利用图神经网络（GNN）提取项目图特征,项目图特征经过全局项目表示层和会话项目表示层得到全局级嵌入和会话级嵌入,两种级别嵌入结合生成图嵌入;然后,注意力模型使用软注意力进行图嵌入和反向位置嵌入融合,目标注意力激活目标项目相关性,注意力模型通过线性转换生成会话嵌入;最后,SR-GM-AM经过预测层,输出下次点击的N项推荐列表。在两个真实的公共电子商务数据集Yoochoose和Diginetica上对比了SR-GM-AM方法与基于无损边缘保留聚合和快捷图注意力的推荐（LESSR）方法,结果显示,SR-GM-AM方法的P@20最高达到了72.41%,MRR@20最高达到了35.34%,验证了SR-GM-AM的有效性。     

基于会话的多粒度图神经网络推荐模型

基于会话的推荐旨在根据当前用户的匿名会话的点击序列信息来预测用户的下一次点击行为。现有方法多数都是通过对用户会话点击序列的物品信息进行建模,并学习物品的向量表示,进而进行推荐。而作为一种粗粒度的信息,物品的类别信息对物品有聚合作用,可作为物品信息的重要补充。基于此,提出了基于会话的多粒度图神经网络推荐模型（SRMGNN）。首先,使用图神经网络（GNN）得到会话序列中的物品和物品类别的嵌入向量表示,并使用注意力网络捕捉用户的注意力信息;然后,将赋予了不同注意力权重值的物品和物品类别信息进行融合后,输入到门限循环单元（GRU）里;最后,通过GRU学习会话序列的物品时序信息,并给出推荐列表。在公开的Yoochoose数据集和Diginetica数据集上进行实验,实验结果验证了该模型在增加了物品类别信息后的优势,且实验结果表明了在Precision@20和MRR@20这2种评价指标上,该模型相较于短期注意力/记忆优先级（STAMP）模型、神经注意力（NARM）模型、GRU4REC等8种模型均有更好的效果。     

基于多图神经网络的会话感知推荐模型

针对基于会话的推荐算法主要依赖目标会话中的信息,而未充分利用其他会话中的协同信息的问题,提出了一种基于多图神经网络的会话感知推荐(MGSP)模型.首先,根据目标会话与训练集中的所有会话构建物品转移图(ITG)和协同关联图(CRG),并基于这两张图应用图神经网络(GNN)来汇聚节点的信息,得到两类的节点表示;然后,经过双...     

联合学习用户端和项目端知识图谱的个性化推荐

如何在已有的用户行为和辅助信息的基础上准确建模用户的偏好非常重要。在各种辅助信息中,知识图谱(Know-ledge Graph,KG)作为一种新型辅助信息,其节点和边包含了丰富的结构信息和语义信息,近年来受到了越来越多研究者的关注。大量研究表明,在个性化推荐中引入知识图谱可以有效地提高推荐的性能,并增强推荐的合理性和可解释性。然而,现有的方法要么是在KG上探索每个用户-项目交互对(user-item)的独立子路径,要么使用图表示学习的方法在KG中分别学习目标用户(user)或项目(item)的表示,虽然都取得了一定的效果,但是前者没有充分捕获用户-项目(user-item)在KG上的结构信息,后者在产生嵌入(embedding)表示的过程中忽略了user和item的相互影响。为了弥补上述方法的不足,提出了一种联合学习用户端和项目端知识图谱(User-end and Item-end Knowledge Graph,UIKG)的新模型。该模型通过挖掘用户和项目在各自KG中的关联属性信息,并通过联合学习有效地捕获用户的个性化偏好与项目之间的关联性。具体的操作步骤是,利用基于图卷积神经网络的方法从用户知识图谱中学习用户表示向量,再将用户表示向量引入项目知识图谱中联合学习得到项目表示向量,实现用户端KG和项目端KG的无缝统一,最后通过多层感知器进行偏好预测,得到用户对项目的偏好概率,从而更有效地挖掘KG中的高阶结构信息和语义信息来捕获用户的个性化偏好。在公开数据集上的实验结果表明,与基线方法相比,UIKG在Recall@K指标上提高了2.5%~13.6%,在AUC和F1指标上提高了0.4%~5.8%。     

基于对比学习的多模态序列推荐算法

针对如何利用商品的多模态信息提高序列推荐算法准确性的问题,提出一种基于对比学习技术的多模态序列推荐算法。该算法首先通过改变商品颜色和截取商品图片中心区域等手段进行数据增强,并把增强后的数据与原数据进行对比学习,以提取到商品的颜色和形状等视觉模态信息;其次对商品的文本模态信息进行低维空间嵌入,从而得到商品多模态信息的完整表达;最后根据商品的时序性,采用循环神经网络（RNN）建模多模态信息的序列交互特征,得到用户的偏好表达,从而进行商品推荐。在两个公开的数据集上进行实验测试的结果表明,与现有的序列推荐算法LESSR相比,所提算法排序性能有所提升,且该算法在特征维度值到达50后,推荐性能基本保持不变。