一种融合用户动态偏好和注意力机制的跨领域推荐方法

作为当今电子商务中的一项重要技术,推荐系统的重要性日益提升.在项目空间上用户的评分数据十分稀疏,导致推荐系统的质量不佳.商品评论中蕴含着丰富的信息,通过提取评论文本信息能够有效地减少数据稀疏性带来的影响.事实上,用户的偏好并非一成不变的,将不同时间段设置不同的权重能更有效地描述用户的整体状况.在神经网络算法广泛应用的背景下,将神经网络引入到跨领域推荐中可以发现不同领域用户偏好的映射关系.此外,注意力机制是一种流行的深度学习方法,将注意力机制与主题模型结合,提出一种基于注意力机制的跨领域推荐方法.首先,使用LDA(Latent Dirichlet Allocation)主题模型分别提取源领域和目标领域的项目主题分布.接着,将其与用户评分、时间权重因子、注意力机制结合,得到用户的动态偏好.然后,使用BP(Back Propagation)神经网络学习用户偏好的映射关系,并将用户在源领域与目标领域的偏好结合.最后,通过协同过滤的方法进行评分预测.实验结果表明,提出的推荐方法在亚马逊电子商品、影视与以及音乐的评分评论数据集上较其它传统推荐策略有着更好的推荐效果.     

基于自注意力网络的共享账户跨域序列推荐

共享账户跨域序列推荐(shared-account cross-domain sequential recommendation,SCSR)是指在多个用户共同使用一个账户和用户的行为会在多个域中产生的情况下,给该账户推荐下一个可能会点击的项目.与传统的序列推荐任务相比,共享账户跨域序列推荐主要面临2方面的挑战:1)每一个账户里的交互行为是由多个用户产生的,并且这些用户的行为是混合在一起的;2)用户在1个域中产生的交互行为可能会提升推荐系统对该用户在其他域的推荐质量.目前,已有的一些相关工作大都是基于循环神经网络(recurrent neural network,RNN)的方法,但由于RNN本身固有的一些缺陷,导致基于RNN的方法不仅非常耗时,而且不能够很好地捕获交互行为之间的长期依赖关系针对SCSR问题,提出了基于自注意力的跨域推荐模型(self-attention-based cross-domain recommendation model,SCRM)来解决这2个挑战具体而言,首先引入1个多头自注意力网络来建模1个共享账户中多个用户参与的交互行为.然后,提出了一个基于多层交叉映射感知网络的跨域传输单元,以实现借助一个域的信息来提高另一个域的推荐质量最后,通过一个混合推荐解码器整合了来自2个域的信息以实现在不同域中的推荐.在真实数据集HVIDEO上进行了实验,实验结果表明,与目前最新的基准方法相比,所提出的模型能在MRR和Recall 这 2个指标上取得了更加优异的结果;在运行效率上,比基于RNN的方法取得了更短的训练和学习时间.     

基于注意力机制的深度学习推荐研究进展

近年来,注意力机制AM被广泛应用到基于深度学习的自然语言处理任务中,基于注意力机制的深度学习推荐也成为推荐系统研究的一个新方向.探讨了注意力机制的结构和分类标准,从基于注意力机制的DNN推荐、CNN推荐、RNN推荐、GNN推荐4个方面分析了现有融合注意力机制的深度学习推荐研究的主要进展和不足,阐明了其中的主要难点,最后指出了多特征交互的注意力机制推荐、多模态注意力机制深度学习推荐、融入注意力机制的多种深度神经网络混合推荐和注意力机制的群组推荐等基于注意力机制的深度学习推荐未来的主要研究方向.     

深度学习中基于注意力机制的推荐模型研究

通过筛选深度学习中结合注意力机制的推荐模型相关文献,将文献从注意力机制结合自编码器、图神经网络这两个方面进行归纳整理,分析了各模型在推荐应用中的特点和不足,展望了该领域的研究方向.     

基于注意力机制的自监督图卷积会话推荐

为了解决会话推荐系统中数据稀疏性问题, 提出了一种基于注意力机制的自监督图卷积会话推荐模型(self-supervised graph convolution session recommendation based on attention mechanism, ATSGCN). 该模型将会话序列构建成3个不同的视图: 超图视图、项目视图和会话视图, 显示会话的高阶和低阶连接关系; 其次, 超图视图使用超图卷积网络来捕获会话中项目之间的高阶成对关系, 项目视图和会话视图分别使用图卷积网络和注意力机制来捕获项目和会话级别局部数据中的低阶连接信息; 最后, 通过自监督学习使两个编码器学习到的会话表示之间的互信息最大化, 从而有效提升推荐性能. 在Nowplaying和Diginetica两个公开数据集上进行对比实验, 实验结果表明, 所提模型性能优于基线模型.     

基于注意力机制的深度学习推荐算法

针对目前基于评论文本的推荐算法存在文本特征和隐含信息提取能力不足的问题, 提出一种基于注意力机制的深度学习推荐算法. 通过分别构建用户和项目的评论文本表示, 利用双向门控循环单元提取文本的上下文依赖关系以获得文本特征表示, 引入注意力机制, 更准确的获取用户兴趣偏好和项目属性特征. 将生成的用户和项目评论数据的两组隐含...     

基于自注意力机制与知识图谱的序列推荐算法

针对现有的序列推荐算法难以充分挖掘序列间内在关系,以及项目之间更深层次联系等问题,提出一种新颖的序列推荐算法.算法主要分为两个主要部分,即项目嵌入和偏好学习.首先基于知识图谱创建一种新的项目嵌入方法,用于获得每个项目的统一表示.然后,通过自注意力机制学习序列的上下文信息,获取用户的个性化偏好向量,生成下一项推荐.在真实...     

基于评论方面级用户偏好迁移的跨领域推荐算法

为解决推荐系统中数据稀疏造成的用户冷启动问题,文中提出了一种基于方面级用户偏好迁移的跨领域推荐算法(Cross-Domain Recommendation via Review Aspect-Level User Preference Transfer, CAUT),设计了基于两阶段生成对抗网络的用户方面级偏好跨领域迁移结构,通过用户历史评论挖掘用户细粒度方面级偏好。CAUT利用预训练源领域编码器参数对目标领域编码器进行参数初始化,在固定源领域编码器参数的同时引入领域鉴别器,以解决源领域与目标领域数据分布差异的问题,进而可以有效利用源领域的丰富数据,缓解目标领域数据稀疏造成的用户冷启动问题。在亚马逊电商平台真实数据集上进行了实验,结果表明,与最新算法相比,CAUT在用户对商品的评分预测均方根误差(RMSE)指标上有明显的提升,说明CAUT可有效缓解用户冷启动问题。     

基于注意力机制的卷积-双向长短期记忆模型跨领域情感分类方法

针对现有跨领域情感分类方法中文本表示特征忽略了重要单词的情感信息，且在迁移过程中存在负迁移的问题，提出一种基于注意力机制的卷积-双向长短期记忆（AC-BiLSTM）模型的知识迁移方法。首先，利用低维稠密的词向量对文本进行向量表示；其次，采用卷积操作获取局部上下文特征之后，通过双向长短期记忆（BiLSTM）网络充分考虑特征之间的长期依赖关系；然后，通过引入注意力机制考虑不同词汇对文本的贡献程度，同时为了避免迁移过程中出现负迁移现象，在目标函数中引入正则项约束；最后，将在源领域产品评论训练得到的模型参数迁移到目标领域产品评论中，并在少量目标领域有标注数据上进行微调。实验结果表明，与AE-SCL-SR方法和对抗记忆网络（AMN）方法相比，AC-BiLSTM方法的平均准确率分别提高了6.5%和2.2%，AC-BiLSTM方法可以有效地提高跨领域情感分类性能。     

基于双层注意力机制的深度学习电影推荐系统

传统协同过滤技术仅使用用户对物品的评分矩阵,没有充分利用用户和物品的其他多种特征,而且由于评分矩阵非常稀疏,导致推荐系统的推荐准确率严重下降。近几年深度学习技术在机器学习的多个领域取得了显著的成就,本文针对传统协同过滤推荐系统的问题,提出一种基于双层注意力机制的深度学习推荐系统。以电影推荐为例,使用深度学习框架处理推荐系统中的多种输入特征信息,同时引入双层注意力机制,分别学习用户和电影每个特征之间的偏好以及用户与其观影列表中每一部电影间的偏好,从而尽可能多地利用用户和电影的特征数据,学习用户的行为偏好,在一定程度上改善了推荐的效果。     

基于注意力机制的音乐深度推荐算法

在海量音乐中,如何根据用户的历史收听记录分析用户需求以实现歌曲推荐是音乐推荐领域具有挑战性课题之一。现有的音乐推荐方法仅简单将用户听过的所有音乐均作为音乐推荐的上下文,导致不同类型音乐学习到的上下文权重分配相同,其严重影响了音乐推荐精度。针对此问题,提出了一种基于注意力机制的音乐深度推荐方法,针对不同用户的历史收听音乐动态分配不同的注意力,即学习出不同的上下文权重,使推荐结果更符合用户的实际偏好。通过在公开音乐数据集Million Song Dateset上的测试,所提方法的推荐准确率有很大的提升。     

融合短文本层级注意力和时间信息的推荐方法

信息过载造成的数据稀疏性问题制约着基于评分数据的矩阵分解模型的推荐性能,融合评论文本的推荐模型能够有效缓解评分数据稀疏性.当前的推荐系统利用评论文本为用户和项目建模时,大多仅将用户对项目的评论作为数据来源,而忽视了时间信息对用户和项目属性的影响.针对此问题,提出了一种融合短文本层级注意力和时间信息的推荐方法(RHATR),该方法能够充分地挖掘评论文本潜在的语义信息,并为用户偏好和项目特征的动态变化进行建模.通过对单条评论文本应用单词级注意力,挖掘单条评论文本中情感词和关键词等有效信息,学习用户和项目表示;对含有时间因素的用户评论集和项目评论集分别应用评论级注意力,提取有效的评论,进一步学习用户偏好和项目特征动态表示.将从评论文本中学到的用户和项目表示以及基于ID的项目和用户嵌入作为最终特征,来捕获各用户和项目的潜在因素.实验结果表明,提出的方法相对于当前基线方法在Amazon和Yelp数据集上的均方根误差(RMSE)取得了较好的效果.     

基于用户-项目交叉注意力机制的迁移推荐模型

随着互联网技术的发展,个性化的推荐系统得到了广泛应用.但用户数据稀疏与冷启动仍是推荐系统普遍面临的难题.将深度学习与注意力机制相结合,提出基于用户-项目交叉注意力机制的迁移推荐模型.该模型能够充分学习源域数据中用户、物品及评分间的潜在关系,然后初始化目标域神经网络,迁移应用到目标域.为验证算法模型的有效性,在公开数据集...     

一种基于自注意力机制的组推荐方法

基于自注意力网络和神经协同过滤模型（neural collaborative filtering,NCF）提出一种基于自注意力机制的组推荐系统模型SAGR（self-attention group recommendation）,用于建模用户交互数据以及学习群组潜在偏好的表示。通过在用户级和项目级分别使用自注意力机制,动态调整组中每个用户的权重,解决偏好融合问题从而得到组表示。再通过多层神经网络框架NCF从数据中挖掘组和项目之间的交互,最终完成群组推荐。在CAMRa2011和MovieLens数据集上与同类方法进行对比,实验结果表明SAGR方法能够取得更好的组推荐结果。     

基于复合卷积和自注意力的会话推荐

最近,基于卷积神经网络（convolutional neural networks,CNN）的方法显示了在会话数据建模中的潜力,尤其是在提取用户复杂的局部行为交互方面。递归神经网络（recurrent neural networks,RNN）很难从远距离学习项目依赖,而自注意力（self-attention,SA）结构具有对会话事件的顺序进行建模并捕获远距离项目之间交互关系的能力,对于会话数据来说是一种优越的选择。因此提出了一种复合卷积自注意力架构（compound convolutional and self-attention network,CCNN-SA）。该架构利用了两个卷积模块提取的复杂局部特征,同时使用了多头自注意力结构从会话事件中学习长期交互关系,这种灵活而统一的网络体系结构有利于对会话序列的各种重要特征进行综合建模。在两个来自电子商务的基准数据集上对所提出的模型进行了验证,在表征命中率和预测结果排名的评估指标Recall@20和MRR@20上,对于YOOCHOOSE数据集分别提升了2.79%和5.87%,在DIGINETIC数据集上分别提升了2.17%和6.43%,验...     

融合上下文信息与自注意力机制的群组推荐算法

针对群组推荐中组内成员存在偏好动态复杂性的问题,群组成员间的偏好会彼此影响,提出了一种融合上下信息与自注意力机制的群组推荐算法。首先,为了更好地捕捉群组成员间的动态关系,利用自注意力机制自动学习群组内用户的上下文信息与群组中其他成员间的关系权重;其次,根据自注意力机制学习到的组矩阵取其均值嵌入得到群组偏好表示;最后,根据群组偏好利用贝叶斯个性化排序方法进行群组推荐。将提出的方法在MovieLens-1M和CAMRa2011两个数据集上进行实验,并且与基准算法进行比较分析,该方法在推荐的命中率HR和NDCG两个指标上均有提升,实验结果证明该方法得到了更优的群组推荐结果。