融合用户兴趣表征与注意力机制的推荐算法

为利用用户行为挖掘用户的兴趣,提出一种融合用户兴趣表征与注意力机制的推荐算法.利用CVR算法将传统的用户-项目表征转换为用户-兴趣表征;构建一种应用于用户兴趣预测的深度森林模型,引入兴趣簇重要性作为特征选择权重,融合时间注意力机制进行兴趣预测,将用户-兴趣模型结合基于用户的协同过滤算法预测推荐结果.两个数据集上的实验结果表明,该算法能够提高用户兴趣预测准确率,提升推荐效果.     

基于自注意力机制和迁移学习的跨领域推荐算法

传统的单领域推荐算法受限于用户和项目的稀疏关系,存在用户/项目冷启动的问题,并且,其仅以用户对项目评分进行建模,忽略了评论文本中所蕴含的信息。基于评论文本的跨领域推荐算法在辅助领域提取用户/项目的评论信息来缓解目标领域的数据稀疏问题,以提高推荐的准确率。文中提出了结合自注意力机制和迁移学习的跨领域推荐算法SAMTL(Self-Attention Mechanism and Transfer Learning)。与现有算法不同,SAMTL充分融合了目标领域和辅助领域的知识。首先,引入自注意力机制建模用户的喜好信息;其次,通过交叉映射跨域传输网络实现借助一个领域的信息来提高另一个领域的推荐准确率;最后,在知识融合模块和评分预测模块整合两个域的信息,进行评分预测。在Amazon数据集上的实验表明,与现有的跨领域推荐模型相比,SAMTL的MAE和MSE值更高,在3种不同的跨领域数据集上的MAE值分别提高了8.4%,13.2%和19.4%,MSE值分别提高了6.3%,7.8%和5.6%。通过多项实验验证了自注意力机制和迁移学习的有效性,以及它们在缓解数据稀疏和用户冷启动问题方面的优势。     

一种融合用户动态偏好和注意力机制的跨领域推荐方法

作为当今电子商务中的一项重要技术,推荐系统的重要性日益提升.在项目空间上用户的评分数据十分稀疏,导致推荐系统的质量不佳.商品评论中蕴含着丰富的信息,通过提取评论文本信息能够有效地减少数据稀疏性带来的影响.事实上,用户的偏好并非一成不变的,将不同时间段设置不同的权重能更有效地描述用户的整体状况.在神经网络算法广泛应用的背景下,将神经网络引入到跨领域推荐中可以发现不同领域用户偏好的映射关系.此外,注意力机制是一种流行的深度学习方法,将注意力机制与主题模型结合,提出一种基于注意力机制的跨领域推荐方法.首先,使用LDA(Latent Dirichlet Allocation)主题模型分别提取源领域和目标领域的项目主题分布.接着,将其与用户评分、时间权重因子、注意力机制结合,得到用户的动态偏好.然后,使用BP(Back Propagation)神经网络学习用户偏好的映射关系,并将用户在源领域与目标领域的偏好结合.最后,通过协同过滤的方法进行评分预测.实验结果表明,提出的推荐方法在亚马逊电子商品、影视与以及音乐的评分评论数据集上较其它传统推荐策略有着更好的推荐效果.     

融合项目影响力的图神经网络会话推荐模型

针对现有的会话推荐模型难以显式地表示项目对推荐结果的影响的问题，提出一种融合项目影响力的图神经网络会话推荐模型（SR-II）。首先，提出一种新的边权重计算方法，将计算结果作为图结构中转移关系的影响力权重，并用图神经网络（GNN）的影响力图门控层提取该图的特征；其次，提出改进的捷径图连接有关联的项目，有效捕获远程依赖，丰富图结构所能表达的信息，并通过注意力机制的捷径图注意力层提取该图的特征；最后，通过结合上述两层，构建推荐模型。在Diginetica和Gowalla数据集上的实验结果中，SR-II的HR@20最高达到53.12%,MRR@20最高达到25.79%。在Diginetica数据集上，相较于同一表征空间下基于训练模型的会话推荐（CORE-trm）,SR-II在HR@20上提升了1.10%，在MRR@20上提升了1.21%。在Gowalla数据集上，相较于基于会话的自注意网络推荐（SR-SAN）,SR-II在HR@20上提升了1.73%；相较于基于无损边缘保留聚合和捷径图注意力的推荐（LESSR）模型，SR-II在MRR@20上提升了1.14%。实验结果表明SR-II的推荐效果优...     

基于注意力机制的可解释点击率预估模型研究

在推荐系统研发中，点击率(Click-Through Rate, CTR)预估是非常重要的工作，点击率预估精度的提升直接影响到整个推荐系统的收益，对其性能和解释性的研究有助于理解系统决策的机理，同时还能帮助优化需求和系统设计。当前点击率预估深度模型多基于线性特征交互和深度特征提取进行设计。由于深度模型的黑盒特点，该类模型在解释性方面存在局限性，并且在先前的研究中，对点击率预估模型的解释性研究非常少。因此，文中基于多头自注意力机制，对该类模型的解释性进行研究，通过多头注意力机制对特征嵌入、线性特征交互和深度部分进行增强和解释，在深度部分设计了两种模型，即注意力增强的深度神经网络和注意力叠加的深度模型，通过计算每个模块的注意力得分对其进行解释。所提方法在多个真实数据集上进行了大量实验，结果表明所提方法能够有效提升模型效果，并且模型自身带有一定的解释性。     

一种基于深度挖掘用户和内容特征的CTR预估方法

预估点击率（CTR）是推荐系统的核心任务之一，基于此提出一种深度挖掘用户和内容特征的CTR预估模型——DFAR模型。在用户特征提取部分，通过长短期记忆网络（LSTM）对用户时序特征进行提取，通过残差模块与注意力机制实现对用户特征的深度提取。首先，在待推荐内容部分利用因子分解机（FM）来提取浅层特征。然后，使用多头注意力机制和残差网络从待推荐内容中提取深度特征。最后，将用户特征与待推荐内容特征做内积结合并做出最终预测。最终在Movielens-100K数据集上利用该模型进行实验，实验结果表明，提出的模型在AUC值上相比于深度因子分解机（DeepFM）模型提升了1.45%。验证了DFAR模型对CTR预测的有效性。     

基于评分和项目特征的群组推荐方法

针对现有群组推荐方法准确率偏低的问题,提出了一种基于评分和项目特征相结合的方法。首先综合时间因素对评分的影响和项目领域特征,利用改进的TF-IDF方法构建成员在各个特征上的偏好模型。其次考虑群体用户间的相互作用,从项目特征属性均值相似性权重和特征属性频度权重两个方面来得到群体偏好模型。最后计算群组在项目特征上和评分上的综合相似度,进行预测评分并推荐。通过在MovieLens数据集上进行实验,表明本方法比现有方法的准确率有明显提高。     

基于FM衍化模型的CTR问题分析与研究

点击率(Click Through Rate, CTR)预测是推荐系统领域最常见的应用之一，它通过对用户属性及相关行为信息建模，计算特定情况下用户点击某项物品的可能性，其准确性对用户体验和平台收入有直接影响。当前工业界常用的CTR预估方法包括GBDT+LR (Gradient Boosting Decision Tree+Logistic Regression,梯度提升决策树+逻辑回归)、FM (factor Machine,因子分解机)、DNN(Deep Neural Networks,深度神经网络)以及Transformer等，其中，FM因对高维稀疏矩阵具有良好的处理能力以及拥有线性的计算复杂度而表现得尤为突出。但其也存在只能进行浅层特征交互问题，特征交互权重表达能力不够等缺点。本文在三个正负样本比例不同的公开数据集上对FM及其八种衍化模型进行了广泛的对比试验分析，探索其在CTR问题上的优势与不足，以及如何改进。     

基于用户评论的动态方面注意力电商推荐深度学习模型

为了提供个性化推荐,推荐系统会将用户和物品分别表达为用户偏好向量和物品特征向量。物品特征向量中不同维度分别对应物品不同的特征。用户偏好向量中各维度表示用户对物品对应维度(特征)的喜好程度。目前大部分的推荐算法都假设为对于不同物品、同一用户的偏好向量是相同的。然而在现实生活中,该假设是不成立的。为此,提出一种结合注意力机制的深度学习模型,其能根据不同的用户-物品对,相应地学习到一个注意力权重向量,最终达到动态调整用户偏好向量的目的。在3组公开数据集上进行对比实验,以预测评分的均方误差(MSE)作为评估指标,实验结果表明该方法比已有的相关算法的效果更好。     

基于注意力机制的兴趣网络点击率预估模型

广告点击率(CTR)是互联网公司进行流量分配的重要依据,针对目前点击率预估精度较低的问题,结合通用的神经网络解决方案,构建一种基于注意力机制的深度兴趣网络(ADIN)模型。设计一个局部激活单元和自适应激活函数,根据用户历史行为和给定广告自适应地学习用户兴趣。引入注意力机制,区分不同特征对预测结果的影响程度,从而增强模型的可解释性。在3个公开数据集上的实验结果表明,相对LR、PNN等CTR预估模型,ADIN模型具有更高的AUC值和更低的LogLoss值,其预测效果更优。     

融合知识图谱与注意力机制的个性化序列推荐

序列推荐系统可以根据用户和物品交互的时间序列信息,精确预测用户下一次交互物品.现有的序列推荐算法存在用户兴趣过渡拟合的问题,导致推荐内容同质化严重,从而无法实现个性化推荐.基于此,本文提出一种融合知识图谱与注意力机制的个性化序列推荐算法(SR-KGA):首先,引入知识图谱,通过图卷积网络对物品进行嵌入表示;其次,通过自注意力机制和多头注意力机制构建序列到序列(seq2seq)模型,最后,在损失函数中加入多样性正则项;实现用交互序列来预测未来可能交互的物品序列,从而进行推荐.通过在真实的数据集上实验,SR-KGA在保证推荐准确度的同时,提升了推荐列表的多样性,实现了用户个性化推荐.     

面向会话推荐的注意力图神经网络

面向会话的推荐方式起源于无法获得用户历史数据的应用场景,它是通过匿名会话来预测用户的行为.现有面向会话的推荐方法,虽然可以准确获得项目嵌入和考虑项目的复杂转换,但不能从多维度提取会话序列中隐藏的用户的长期兴趣和短期偏好,造成推荐性能低.该文引入注意力机制,提出一种多头注意力机制和软注意力机制有机结合的新机制,并据此提出面向会话推荐的注意力图神经网络.该注意力机制通过给不同的输入数据赋予不同权重,实现对当前推荐任务更为关键的信息的聚焦,以此从不同角度提取用户的兴趣和偏好.该模型在电商数据集上进行实验,与已有的基准模型相比,该文所提模型在各项评论指标上均有显著提升.在Dgeca数据集上,P@20可达61.77%,充分表明了所提方法的有效性.     

基于注意力机制的音乐深度推荐算法

在海量音乐中,如何根据用户的历史收听记录分析用户需求以实现歌曲推荐是音乐推荐领域具有挑战性课题之一。现有的音乐推荐方法仅简单将用户听过的所有音乐均作为音乐推荐的上下文,导致不同类型音乐学习到的上下文权重分配相同,其严重影响了音乐推荐精度。针对此问题,提出了一种基于注意力机制的音乐深度推荐方法,针对不同用户的历史收听音乐动态分配不同的注意力,即学习出不同的上下文权重,使推荐结果更符合用户的实际偏好。通过在公开音乐数据集Million Song Dateset上的测试,所提方法的推荐准确率有很大的提升。     

面向推荐系统的分期序列自注意力网络

在推荐系统中,为了充分表达用户反馈数据内部的相互依赖和序列性,准确提取用户的长期/一般偏好、应对数据的动态性,本文提出了一种分期序列自注意力网络(long-term & short-term sequential self-attention network,LSSSAN)进行序列推荐。模型采用自注意力机制和GRU捕捉了用户反馈数据之间的相互依赖和序列性;模型采用注意力机制为不同反馈数据赋予不同权重以动态捕捉重点信息,同时考虑了上下文的动态性;模型基于用户的长期反馈数据,准确表达了用户的长期/一般偏好。该模型在两个数据集上进行训练和测试,结果表明该模型的推荐效果整体优于之前的相关工作。     

融合双层注意力机制的群组偏好融合策略研究

当前推荐系统研究热点及其演变趋势之一是个性化推荐由关注个体推荐逐步转向关注群体推荐。目前多数群组推荐方法在选择偏好融合策略时习惯采用预定义的静态策略，而静态策略的特点就导致算法无法最大化模拟出群组决策的真实过程。在前人研究的基础之上提出一种基于双层注意力机制的群组推荐方法，该方法充分考虑到群体用户的差异性和相互影响，以及对于不同领域的决策权等问题。计算群组内每位成员对其他成员的注意力权重，获得群组成员特征向量，再计算每个成员在选择某一个项目的注意力权重，为群组生成对于该项目的偏好向量，以此来充分还原群组用户之间的交互以及群组决策的过程。通过在CAMRa2011和Meetup数据集上与COM、SIG、AGR、AGREE、FastGR等方法在不同参数条件下进行了对比，在归一化折扣累计增益和命中率两个指标上，相较基线模型平均提高了0.025 4和0.030 7。     

异质信息融合网络嵌入的注意力偏好推荐方法

基于异质信息网络的推荐方法已成为当前数据挖掘领域的研究热点。但传统基于异质信息网络的推荐方法多存在可解释性缺失和稀疏不一致性问题,导致无法充分挖掘用户潜在的偏好特征,且有效地进行特征融合。因此,提出了一种在异质信息网络中融合网络嵌入的注意力偏好推荐方法（MFFHINE）;利用对称元路径在刻画对象间语义关系上的优势,在对称元路径上随机游走进行网络嵌入来学习用户偏好特征。采用基于注意力机制的偏好权重融合策略将学习到的各个偏好特征有效融合,并将其集成到矩阵分解模型中。通过联合优化矩阵分解模型和融合函数,以进行最终的评分预测任务。在Douban和Yelp真实大规模数据集上对提出的算法进行实验分析。通过对各基准算法进行横向性能比较,在训练集比例、元路径设置、潜在因子维度等方面进行纵向比较。实验结果表明,MFFHINE性能提升显著。     

基于轻量图卷积和注意力增强的多行为推荐模型

近年来,图卷积网络被广泛应用于多行为推荐中,以进一步缓解数据稀疏问题。但目前许多方法都是直接使用图卷积网络,使得模型时间复杂度较高,还忽略了邻域的不同聚合权重和各行为对用户偏好的不同贡献。为此,提出一种基于轻量图卷积和注意力增强的多行为推荐模型(MB-LGCA)。首先根据多行为数据构建用户—项目二部图,采用一种轻量图卷积网络聚合邻域特征获得高阶协同信息,同时利用注意力机制融入邻域权重,增强节点嵌入表示;利用k-阶用户嵌入传播来获取各行为对用户偏好的不同重要性,使模型具有更好的可解释性;最后合并不同层的嵌入表示进行预测。两个真实数据集上的实验结果表明,该模型具有较好的性能。     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

融合画像和文本信息的轻量级关系图注意推荐模型

针对当前基于图神经网络的推荐系统受数据稀疏影响推荐效率不高的问题,提出融合画像和文本信息的轻量级关系图注意推荐模型(LightRGAN)。首先,利用用户画像和项目画像初始化用户和项目的嵌入表示。其次,引入评论、项目描述和项目类型作为辅助信息,并通过基于多头注意力机制的文本嵌入网络挖掘同一用户评论集和描述集中文本之间的潜在联系。然后,通过融合注意力机制的轻量级关系图卷积网络学习用户和项目的嵌入表示。最后,对各层嵌入表示加权求和并通过预测网络计算匹配分数。在三个公开数据集上的实验结果表明LightRGAN的效果优于多个现有的基线模型,评估指标HR@20、NDCG@20较最优基线模型最少提升了2.58%、2.37%。     

基于双重最相关注意力网络的协同过滤推荐算法

基于项目的协同过滤从用户的历史交互项目中学习用户偏好，根据用户的偏好推荐相似的新项目。现有的协同过滤方法认为用户所交互的一组历史项目对用户的影响是相同的，并且将所有历史交互项目在对目标项目作预测时的贡献看作是相同的，导致这些推荐方法的准确性受限。针对上述问题，提出了一种基于双重最相关注意力网络的协同过滤推荐算法，该算法包含两层注意力网络。首先，使用项目级注意力网络为不同历史项目分配不同的权重来捕获用户历史交互项目中最相关的项目；然后，使用项目交互级注意力网络感知不同历史项目与目标项目之间的交互关联度；最后，通过两层注意力网络的使用来同时捕获用户在历史交互项目上和目标项目上的细粒度偏好，从而更好地进行下一步推荐工作。在MovieLens和Pinterest两个真实数据集上进行实验，实验结果表明，所提算法在推荐命中率上与基准模型基于深度学习的项目协同过滤（DeepICF）算法相比分别提升了2.3个百分点和1.5个百分点，验证了该算法在为用户进行个性化推荐上的有效性。