深度学习中基于注意力机制的推荐模型研究

通过筛选深度学习中结合注意力机制的推荐模型相关文献,将文献从注意力机制结合自编码器、图神经网络这两个方面进行归纳整理,分析了各模型在推荐应用中的特点和不足,展望了该领域的研究方向.     

基于改进的FolkRank广告推荐及预测算法

广告的点击率预测是指利用点击日记预测的点击率,其结果受到多方面因素影响,其中包括用户性质。有效的预测广告点击率,可以提高用户对网站展示广告的满意程度。基于Page Rank的Folk Rank算法在一个用户、资源、标签的三元组中进行迭代计算,求出推荐的标签。本文使用改进后的Folk Rank方法,通过个性化地从目标节点向其他各个结点传递权重,达到广告推荐的目的中,并实现对推荐广告的广告点击率预测。     

基于用户-项目交叉注意力机制的迁移推荐模型

随着互联网技术的发展,个性化的推荐系统得到了广泛应用.但用户数据稀疏与冷启动仍是推荐系统普遍面临的难题.将深度学习与注意力机制相结合,提出基于用户-项目交叉注意力机制的迁移推荐模型.该模型能够充分学习源域数据中用户、物品及评分间的潜在关系,然后初始化目标域神经网络,迁移应用到目标域.为验证算法模型的有效性,在公开数据集...     

基于注意力机制的可解释点击率预估模型研究

在推荐系统研发中,点击率(Click-Through Rate, CTR)预估是非常重要的工作,点击率预估精度的提升直接影响到整个推荐系统的收益,对其性能和解释性的研究有助于理解系统决策的机理,同时还能帮助优化需求和系统设计。当前点击率预估深度模型多基于线性特征交互和深度特征提取进行设计。由于深度模型的黑盒特点,该类模型在解释性方面存在局限性,并且在先前的研究中,对点击率预估模型的解释性研究非常少。因此,文中基于多头自注意力机制,对该类模型的解释性进行研究,通过多头注意力机制对特征嵌入、线性特征交互和深度部分进行增强和解释,在深度部分设计了两种模型,即注意力增强的深度神经网络和注意力叠加的深度模型,通过计算每个模块的注意力得分对其进行解释。所提方法在多个真实数据集上进行了大量实验,结果表明所提方法能够有效提升模型效果,并且模型自身带有一定的解释性。     

个性化习题路径推荐方法研究综述

个性化习题路径推荐技术能够综合考虑学习者的个性化特征,为学习者量身定制习题路径。文章系统地梳理了个性化习题路径推荐研究工作。首先,从推荐方式的角度,介绍了全局最优习题路径推荐和局部迭代习题路径推荐方法,总结了两类推荐方法的优势及其存在的问题。然后,从目前个性化习题路径推荐工作使用较多的核心算法的角度,介绍了基于协同过滤、认知诊断、知识追踪、深度学习和强化学习五类方法。最后,探讨了该领域当前的研究难点,并展望未来研究工作的方向。     

基于注意力机制的深度学习推荐研究进展

近年来,注意力机制AM被广泛应用到基于深度学习的自然语言处理任务中,基于注意力机制的深度学习推荐也成为推荐系统研究的一个新方向.探讨了注意力机制的结构和分类标准,从基于注意力机制的DNN推荐、CNN推荐、RNN推荐、GNN推荐4个方面分析了现有融合注意力机制的深度学习推荐研究的主要进展和不足,阐明了其中的主要难点,最后指出了多特征交互的注意力机制推荐、多模态注意力机制深度学习推荐、融入注意力机制的多种深度神经网络混合推荐和注意力机制的群组推荐等基于注意力机制的深度学习推荐未来的主要研究方向.     

多层结合的多阶显式交互的融合推荐模型

现有不少模型着眼于对有限数据通过生成显式特征交互以进行挖掘来提升点击率预测效果,但存在以下问题：对于原特征与新生成的显式特征,直接一起输入到一个统一的神经网络结构进行挖掘然后输出,由于两者参数量差别较大导致在表征上差异巨大;同时如果直接采用多级层数的神经网络结构还会导致低层,如第一、二层信息的丢失,但若直接将各层进行累加以结合,则一些层中有用性有限的信息可能成为噪声以影响预测。为此设计多层权重结合的多阶显式交互的融合推荐模型,通过将原数据与生成的多阶显式特征分别放入各自对应的自注意力层中挖掘,其中各自对应结构的层数不同,同时对各层进行加权后输出以完成多层的结合,以提高点击率预测效果。通过在两个公开数据集上与多个不同模型进行比较分析,并对模型进行消融对比和超参数对比实验,证明了该模型能有效挖掘原特征与显式交互特征信息,平衡各阶特征表征能力。     

融合知识图谱与注意力机制的个性化序列推荐

序列推荐系统可以根据用户和物品交互的时间序列信息,精确预测用户下一次交互物品.现有的序列推荐算法存在用户兴趣过渡拟合的问题,导致推荐内容同质化严重,从而无法实现个性化推荐.基于此,本文提出一种融合知识图谱与注意力机制的个性化序列推荐算法(SR-KGA):首先,引入知识图谱,通过图卷积网络对物品进行嵌入表示;其次,通过自注意力机制和多头注意力机制构建序列到序列(seq2seq)模型,最后,在损失函数中加入多样性正则项;实现用交互序列来预测未来可能交互的物品序列,从而进行推荐.通过在真实的数据集上实验,SR-KGA在保证推荐准确度的同时,提升了推荐列表的多样性,实现了用户个性化推荐.     

面向个性化课程推荐的分层分期注意力网络模型

随着大规模在线开放课程（MOOC）平台的广泛使用,需要一种有效的方法为用户推荐个性化课程。针对现有的课程推荐方法通常利用课程学习记录为用户的学习兴趣建立整体的静态表示,但忽略了学习兴趣动态变化与用户短期学习兴趣的问题,提出一种分层分期的注意力网络（HPAN）进行个性化课程推荐。该网络的第1层利用注意力网络得到用户的长短期学习兴趣,第2层将用户的长短期学习兴趣和短期交互序列相结合并通过注意力网络得到用户的兴趣向量;然后计算用户兴趣向量与每个课程向量的偏好值,据此为用户进行课程推荐。在XuetangX（学堂在线）公开数据集上的实验结果表明,与次优的序列分层注意力网络（SHAN）模型相比,HPAN模型的Recall@5提高了12.7%,与FPMC(Factorizing Personalized Markov Chains)模型相比,它的MRR@20提高了15.6%。HPAN模型的推荐效果优于对比模型,可解决实际的个性化课程推荐。     

基于双层注意力机制的深度学习电影推荐系统

传统协同过滤技术仅使用用户对物品的评分矩阵,没有充分利用用户和物品的其他多种特征,而且由于评分矩阵非常稀疏,导致推荐系统的推荐准确率严重下降。近几年深度学习技术在机器学习的多个领域取得了显著的成就,本文针对传统协同过滤推荐系统的问题,提出一种基于双层注意力机制的深度学习推荐系统。以电影推荐为例,使用深度学习框架处理推荐系统中的多种输入特征信息,同时引入双层注意力机制,分别学习用户和电影每个特征之间的偏好以及用户与其观影列表中每一部电影间的偏好,从而尽可能多地利用用户和电影的特征数据,学习用户的行为偏好,在一定程度上改善了推荐的效果。     

融合推荐潜力的个性化趋势预测的混合推荐模型

预测用户对物品的行为中,准确的物品推荐是推荐系统的困难问题。为了提高推荐系统的推荐精度,引入物品的推荐潜力,提出一种新颖的融合物品推荐潜力的个性化混合推荐模型。首先根据最近短时间段和最近长时间段的物品访问率计算趋势动量,然后利用趋势动量计算出当前物品的推荐潜力值,最后将物品推荐潜力值融入到个性化推荐模型中得到混合推荐模型。实验证明,融合了物品推荐潜力值的个性化趋势预测,能较大地提高推荐系统的推荐精度。     

深度学习推荐模型中的注意力机制研究综述

探讨注意力机制如何帮助推荐模型动态关注有助于执行当前推荐任务输入的特定部分.分析注意力机制网络框架及其输入数据的权重计算方法,分别从标准注意力机制、协同注意力机制、自注意力机制、层级注意力机制和多头注意力机制这五个角度出发,归纳分析其如何采用关键策略、算法或技术来计算当前输入数据的权重,并通过计算出的权重以使推荐模型可...     

基于双路注意力机制的学生成绩预测模型

学生成绩的预测与分析旨在实现对学生的个性化指导,提升学生成绩及教师的教学成果.学生成绩受家庭环境、学习条件以及个人表现等多种因素的影响.传统的成绩预测方法往往忽视了不同因素对同一学生成绩的影响程度不同,而且不同学生受同一因素的影响程度也不同,所构建的模型无法实现对学生的个性化分析与指导.因此提出一种基于双路注意力机制的学生成绩预测模型(two-way attention, TWA),该方法不仅有区别地对待了这些因素对成绩的影响程度,而且考虑到了学生的个体差异性.该方法通过两次注意力计算分别得到各属性特征在第1阶段成绩和第2阶段成绩上的注意力得分,并考虑了多种特征融合方式,最后基于融合后的特征对期末成绩进行更好地预测.分别在2个公开数据集上对模型进行了验证,并根据各属性特征在期末成绩上的概率分布对预测结果进行可视化分析.结果显示,所构建模型能够更准确地预测出学生成绩,并且具有良好的可解释性.     

融合推荐潜力的个性化趋势预测的混合推荐模型

预测用户对物品的行为中,准确的物品推荐是推荐系统的困难问题。为了提高推荐系统的推荐精度,引入物品的推荐潜力,提出一种新颖的融合物品推荐潜力的个性化混合推荐模型。首先根据最近短时间段和最近长时间段的物品访问率计算趋势动量,然后利用趋势动量计算出当前物品的推荐潜力值,最后将物品推荐潜力值融入到个性化推荐模型中得到混合推荐模型。实验证明,融合了物品推荐潜力值的个性化趋势预测,能较大地提高推荐系统的推荐精度。     

基于注意力机制的音乐深度推荐算法

在海量音乐中,如何根据用户的历史收听记录分析用户需求以实现歌曲推荐是音乐推荐领域具有挑战性课题之一。现有的音乐推荐方法仅简单将用户听过的所有音乐均作为音乐推荐的上下文,导致不同类型音乐学习到的上下文权重分配相同,其严重影响了音乐推荐精度。针对此问题,提出了一种基于注意力机制的音乐深度推荐方法,针对不同用户的历史收听音乐动态分配不同的注意力,即学习出不同的上下文权重,使推荐结果更符合用户的实际偏好。通过在公开音乐数据集Million Song Dateset上的测试,所提方法的推荐准确率有很大的提升。     

基于多级客户模型的个性化推荐机制

个性化是未来Web智能系统的一大特征．为了实现商品的个性化推荐，提出了一种新的基于多级客户模型的推荐系统机制，它由数据准备、模型学习、推荐集的生成和智能过滤四个子过程构成．该机制借助于多级客户模型从客户的购物需求、偏爱特征和消费能力三方面捕获客户的实际需求，从而实现了一种深层次的个性化推荐，改善了推荐效果．     

基于双重注意力机制和时间因子的深度推荐模型

现阶段大多数基于评论文本的推荐模型没有从多个视角充分挖掘用户评论的价值,忽略了评论文本在不同层面的重要度信息。基于此,论文提出一种基于双重注意力机制和时间因子的深度推荐模型DATCoNN。该模型使用并行的卷积神经网络结合两层注意力层分别挖掘单词层面和评论层面的重要度信息,然后使用时间因子进一步拟合用户对项目兴趣度的变化情况,最终采用因子分解机实现评分预测。模型在Amazon的三组不同领域数据集上进行对比实验评估,发现论文提出的推荐模型性能最优,同时该模型具有较好的可解释性。     

注入注意力机制的深度特征融合新闻推荐模型

现有新闻推荐模型在挖掘新闻特征和用户特征时,往往没有考虑所浏览新闻之间的关系、时序变化以及不同新闻对用户的重要性,从而缺乏全面性;同时,现有模型在新闻更细粒度的内容特征挖掘方面有欠缺.因此构建了一个能够全面而不冗余地进行用户表征并能提取新闻更细粒度片段特征的新闻推荐模型——注入注意力机制的深度特征融合新闻推荐模型.该模...