融合知识图谱与注意力机制的个性化序列推荐

序列推荐系统可以根据用户和物品交互的时间序列信息,精确预测用户下一次交互物品.现有的序列推荐算法存在用户兴趣过渡拟合的问题,导致推荐内容同质化严重,从而无法实现个性化推荐.基于此,本文提出一种融合知识图谱与注意力机制的个性化序列推荐算法(SR-KGA):首先,引入知识图谱,通过图卷积网络对物品进行嵌入表示;其次,通过自注意力机制和多头注意力机制构建序列到序列(seq2seq)模型,最后,在损失函数中加入多样性正则项;实现用交互序列来预测未来可能交互的物品序列,从而进行推荐.通过在真实的数据集上实验,SR-KGA在保证推荐准确度的同时,提升了推荐列表的多样性,实现了用户个性化推荐.     

融合时空网络和自注意力的兴趣点序列推荐

针对现有的序列推荐算法仅利用长短期顺序行为和用户交互行为进行推荐,没有充分考虑用户交互行为之间的时空间隔信息对用户推荐序列更深层影响的问题,提出一种融合时空网络和自注意力的兴趣点序列推荐模型。将用户签到之间的时间和空间间隔信息融入门控循环单元网络,使用用户的历史签到序列信息获取用户的偏好,通过自注意力机制对签到地点进行建模,获得用户对于模型的权重序列,通过签到地点与候选地点的时间间隔和空间间隔匹配兴趣点,为用户推荐一个兴趣点序列。在两个数据集上的实验结果表明,提出方法在召回率上优于之前先进的方法。     

动态融合社交信息的社会化推荐

针对推荐算法中的数据稀疏问题,通常引入社交数据作为辅助信息进行社会化推荐。传统的社会化推荐算法忽略用户的兴趣迁移,导致模型无法描述用户兴趣的动态变化特征,也忽略了社交影响的动态特性,导致模型将很久以前的社交行为与近期社交行为同等对待。针对这两点提出一种社交信息动态融合的社会化推荐模型SLSRec。首先,利用自注意力机制构建用户交互物品的序列模型,以实现对用户兴趣的动态描述;然后,设计具有时间遗忘的注意力机制对社交短期兴趣进行建模,并设计具有协同特性的注意力机制对社交长期兴趣进行建模;最后,融合社交的长短期兴趣与用户的短期兴趣来获得用户的最终兴趣并产生下一项推荐。利用归一化折损累计增益（NDCG）和命中率（HR）指标在稀疏数据集brightkite和稠密数据集Last.FM上把所提模型与序列推荐模型（自注意力序列推荐（SASRec）模型）和社会化推荐模型（社会推荐的神经影响扩散（DiffNet）模型）进行对比验证。实验结果显示,SLSRec模型与DiffNet模型相比,在稀疏数据集上的HR指标提升了8.5%;与SASRec模型相比,在稠密数据集上的NDCG指标提升了2.1%,表明考虑社交信息的动态特性使推荐结果更加准确。     

一种结合矩阵分解和深度学习技术的POI推荐模型

基于位置社交网络(Location-based social network, LBSN)的兴趣点(Point-of-Interest,POI)推荐算法是近年来的研究热点,有效的POI推荐具有极大的经济和社会效益。针对LBSN中的数据稀疏问题、用户细粒度兴趣(即用户的长期和短期兴趣)序列建模问题和联合多种影响因素的POI推荐问题,研究一种结合矩阵分解和带有注意力机制深度学习技术的POI推荐模型(CF-ADNN)。一方面,构造特征矩阵缓解签到数据稀疏问题,通过矩阵分解得到隐藏因子,计算POI的特征向量;另一方面,构建一种带注意力机制的用户细粒度兴趣的序列建模方式,有效学习用户长期和短期的兴趣特征,提高POI推荐精确度;结合上述两种方法,最终得到可以融合多种影响因素的POI推荐模型。并通过对比试验,进一步验证模型的推荐效果。     

基于生成对抗模型的序列推荐算法

针对传统序列推荐算法时间信息和项目内容信息运用不充分的问题,该文提出基于生成对抗模型的序列推荐算法。通过生成对抗模型将序列建模与时间、内容信息建模分离,充分挖掘用户项目交互的序列信息和项目内容信息。运用卷积神经网络作为生成对抗模型的生成器,捕获用户项目交互的序列模式。运用注意力机制作为生成对抗模型的判别器,捕获交互序列的时间信息和项目内容信息。针对传统序列推荐算法时间信息建模不充分的问题,提出一种改进的时间嵌入方式,充分建模用户项目交互关于时间的周期性模式。利用生成对抗模型同时建模用户的稳定偏好和动态偏好,提升推荐系统的用户体验,并在公开数据集MovieLens-1M和Amazon-Beauty上与现有的优秀算法做比较。实验证明,该文所提出的算法在评价指标HR@N和NDCG@N上较基线方法均有一定提升。     

基于自注意力网络的时间感知序列化推荐

随着信息技术的发展, 推荐系统作为信息过载时代的重要工具, 正扮演着越来越重要的角色. 基于内容和协同过滤的传统推荐系统, 倾向于以静态方式对用户与商品交互进行建模, 以获取用户过去的长期偏好. 考虑到用户的偏好往往是动态的, 且具有非持续性和行为依赖性, 序列化推荐方法将用户与商品的交互历史建模为有序序列, 能有效捕获商品的依赖关系和用户的短期偏好. 然而多数序列化推荐模型过于强调用户-商品交互的行为顺序, 忽视了交互序列中的时间信息, 即隐式假设了序列中相邻商品具有相同的时间间隔, 在捕捉包含时间动态的用户偏好上具有局限性. 针对以上问题, 文中提出基于自注意力网络的时间感知序列化推荐(self-attention-based network for time-aware sequential recommendation, SNTSR)模型, 该模型将时间信息融入改进的自注意力网络中, 以探索动态时间对下一商品预测的影响. 同时, SNTSR独立计算位置相关性, 以消除可能引入的噪声相关性, 增强捕获用户序列模式的能力. 在两个真实世界数据集上的大量实验表明, SNTSR始终优于一组先进的序列化推荐模型.     

基于会话的多粒度图神经网络推荐模型

基于会话的推荐旨在根据当前用户的匿名会话的点击序列信息来预测用户的下一次点击行为。现有方法多数都是通过对用户会话点击序列的物品信息进行建模,并学习物品的向量表示,进而进行推荐。而作为一种粗粒度的信息,物品的类别信息对物品有聚合作用,可作为物品信息的重要补充。基于此,提出了基于会话的多粒度图神经网络推荐模型（SRMGNN）。首先,使用图神经网络（GNN）得到会话序列中的物品和物品类别的嵌入向量表示,并使用注意力网络捕捉用户的注意力信息;然后,将赋予了不同注意力权重值的物品和物品类别信息进行融合后,输入到门限循环单元（GRU）里;最后,通过GRU学习会话序列的物品时序信息,并给出推荐列表。在公开的Yoochoose数据集和Diginetica数据集上进行实验,实验结果验证了该模型在增加了物品类别信息后的优势,且实验结果表明了在Precision@20和MRR@20这2种评价指标上,该模型相较于短期注意力/记忆优先级（STAMP）模型、神经注意力（NARM）模型、GRU4REC等8种模型均有更好的效果。     

基于高斯分布建模的序列推荐算法

目前大多数序列推荐系统(SRS)都假设需要预测的下一项与用户的上一项输入有关,然而真实场景中,用户可能会在浏览过程中误点击与自身兴趣偏好不一致的项目(不可靠实例)。针对此问题,提出了一种基于高斯分布建模的序列推荐算法。该算法首先通过一个含有多头自注意力的不确定性感知图集合网络(uncertainty-aware graph ensemble network,UAN),通过降低输入项的不确定性来提取输入的序列模式;其次将提取的输入序列模式建模为一个高斯分布,得到序列信息中的动态用户偏好以及偏好的不确定性;再将传统的推荐目标函数拓展为一个采样损失函数和一个不确定性正则化器,赋予每个训练实例适当的不确定性;最后将高损失且低不确定性的不可靠实例去除,增强序列推荐的准确性。该算法在三个公开的数据集Book-Crossing、MovieLens-1M和Steam上进行实验测试,结果表明,该算法相对于效果较好的基线取得了5.3%左右的提升,得到了更优的序列推荐结果,并能通过有效降低输入序列信息的不确定性,从而提升推荐准确率。     

注意力与多视角融合的新闻推荐算法

针对目前现有的新闻推荐系统未能充分考虑新闻的语义信息,对新闻文本建模因子的单一性问题,提出注意力与多视角融合的新闻推荐算法(Attention-BodyTitleEvent, Attention-BTE).利用BERT模型以及注意力机制分别对新闻标题、正文、事件向量化,将三者融合即新闻向量化表示,再对候选新闻和用户浏览新闻数据进行处理,分别得到对应的候选新闻向量化和用户向量化,并将其进行点乘得到用户点击候选新闻的概率,即新闻推荐结果.实验数据表明,与其他的新闻推荐算法相比,该模型在F1指标上提高了约6%.     

一种分层注意力机制与用户动态偏好融合的序列推荐算法

针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确表示的问题,提出一种分层注意力机制用于学习高质量的项目表示.其次,针对循环神经网络的时间依赖性严重损害了用户近期偏好建模的问题,引入文本卷积神经网络来提取循环隐藏状态之间的短期序列模式,并根据用户意图将用户长期偏好与近期偏好进行动态融合.此外,针对传统自注意力机制无法对序列中元素的相对位置信息进行建模的问题,对现有的自注意力机制进行了改进,充分捕获序列中元素的相对位置信息.并在公开数据集MovieLens-1M与Amazon-Book上与现有优秀算法作比较,实验结果证明了所提算法的有效性.     

自注意力下时空-语义相融合的POI序列推荐

近年来,随着基于位置的社交网络(Location-Based Social Network, LBSN)不断发展,POI序列推荐逐渐成为近年来研究的热点问题.现有的POI序列推荐方法仅仅按照时间的先后顺序建模用户历史签到序列,默认用户POI轨迹中连续POI之间具有相等的时间间隔,忽略了用户签到记录之间的时间间隔影响.另外,POI之间的地理距离以及语义信息也是影响推荐准确性的重要因素.基于此,本文提出自注意力下时空-语义相融合的POI序列推荐模型(POI sequence recommendation model based on the integration of spatiotemporal and semantics under self-attention, SA-TDS-PRec).首先,根据用户的实际签到时间建模POI轨迹.其次,融合POI绝对位置、时空间隔以及语义相关信息.最后利用自注意力机制捕捉用户动态偏好的演化,从而提高POI推荐的准确性.在公开数据集Gowalla和Yelp上进行可扩展实验.结果表明,该模型优于目前主流的基准模型,有效提升推荐结果准确性.     

基于AGRU-GNN的图网络社交推荐算法

在推荐系统中,用户对物品的兴趣是动态变化的,会受用户自身历史行为、朋友历史行为甚至短时热点等多方面因素影响.而如何在推荐系统中对用户的时序兴趣进行描述并提取有效信息,一直以来是推荐算法的一大挑战之一.本文在图神经网络(GNN)推荐算法的基础上,提出一种基于注意力门控循环单元(Attention-GRU)的改进图网络算法,对用户、物品的交互时序历史进行特征建模,于此同时结合社交网络将此时序特征在用户、物品之间传播.算法在Ciao与Epionions数据集上进行了验证,并与其他相关工作进行对比,证明了该模型有效地提取了用户、物品的时序特征,提升了推荐系统的有效性.     

基于图注意力网络的下一个购物篮推荐

购物篮是用户在一次购物中一系列物品的集合。在下一个购物篮推荐中，可以根据用户的历史购物篮序列推荐出用户接下来购买的物品集合。受图注意力网络的启发，利用该网络建模购物篮中的物品联系，得到含有物品关系的购物篮表示；为了建模用户的短期兴趣，设计一个固定大小的移动窗口，融合最近几个连续购物篮的用户偏好；融合经过循环神经网络的篮子表示、全局和短期的用户购物偏好得到最终的推荐。在两个公开数据集上进行实验，结果表明该算法可有效提高下一个购物篮推荐精度。     

基于张量相似度的推荐方法研究

传统推荐方法中将用户建模为向量的建模方式只关注用户单方面偏好，为了弥补此种建模方法的局限性，提出一种将用户建模为矩形的张量建模方法。构建了一个基于融合协同过滤与序列推荐算法的推荐模型，该模型集成了Fastformer模型和键值记忆网络对用户张量进行建模；结合用户张量与目标物品的距离及偏置项对用户张量与目标物品的相似度进行计算。在MovieLens和CiaoDVD数据集上对该模型进行实验验证，实验结果表明，该模型能够关注用户多方面偏好并在推荐结果的精准度上优于基线方法，特别是在HR与NDCG评价指标上分别比现有基线方法平均提高了1.4%、1.95%。     

面向个性化课程推荐的分层分期注意力网络模型

随着大规模在线开放课程（MOOC）平台的广泛使用，需要一种有效的方法为用户推荐个性化课程。针对现有的课程推荐方法通常利用课程学习记录为用户的学习兴趣建立整体的静态表示，但忽略了学习兴趣动态变化与用户短期学习兴趣的问题，提出一种分层分期的注意力网络（HPAN）进行个性化课程推荐。该网络的第1层利用注意力网络得到用户的长短期学习兴趣，第2层将用户的长短期学习兴趣和短期交互序列相结合并通过注意力网络得到用户的兴趣向量；然后计算用户兴趣向量与每个课程向量的偏好值，据此为用户进行课程推荐。在XuetangX（学堂在线）公开数据集上的实验结果表明，与次优的序列分层注意力网络（SHAN）模型相比，HPAN模型的Recall@5提高了12.7%，与FPMC(Factorizing Personalized Markov Chains)模型相比，它的MRR@20提高了15.6%。HPAN模型的推荐效果优于对比模型，可解决实际的个性化课程推荐。     

一种基于用户播放行为序列的个性化视频推荐策略

本文针对在线视频服务网站的个性化推荐问题,提出了一种基于用户播放行为序列的个性化推荐策略.该策略通过深度神经网络词向量模型分析用户播放视频行为数据,将视频映射成等维度的特征向量,提取视频的语义特征.聚类用户播放历史视频的特征向量,建模用户兴趣分布矩阵.结合用户兴趣偏好和用户观看历史序列生成推荐列表.在大规模的视频服务系统中进行了离线实验,相比随机算法、基于物品的协同过滤和基于用户的协同过滤传统推荐策略,本方法在用户观看视频的Top-N推荐精确率方面平均分别获得22.3%、30.7%和934%的相对提升,在召回率指标上分别获得52.8%、41%和1065%的相对提升.进一步地与矩阵分解算法SVD++、基于双向LSTM模型和注意力机制的Bi-LSTM+Attention算法和基于用户行为序列的深度兴趣网络DIN比较,Top-N推荐精确率和召回率也得到了明显提升.该推荐策略不仅获得了较高的精确率和召回率,还尝试解决传统推荐面临大规模工业数据集时的数据要求严苛、数据稀疏和数据噪声等问题.     

融合项目序列与微观行为的序列推荐方法

针对现有的大多数序列推荐模型只考虑与用户交互的项目序列，却经常忽视用户的微观行为即用户与项目交互的具体操作行为的问题，本文提出了一种融合用户项目序列和微观行为的序列推荐方法，在学习用户宏观项目序列特征的基础上，将用户微观行为考虑进来.首先进行多层次序列特征的学习与提取，由于宏观项目序列和微观操作序列表现着不同的转换模式且对序列推荐任务有着不同的影响，因此分别利用图神经网络与Transformer对项目序列与操作序列进行建模，以充分捕获序列中项目的转换模式，学习到更加细粒度的特征，然后计算可能成为下一项推荐的得分，为用户生成下一项推荐.实验验证了本文提出方法的有效性.     

面向推荐系统的分期序列自注意力网络

在推荐系统中,为了充分表达用户反馈数据内部的相互依赖和序列性,准确提取用户的长期/一般偏好、应对数据的动态性,本文提出了一种分期序列自注意力网络(long-term & short-term sequential self-attention network,LSSSAN)进行序列推荐。模型采用自注意力机制和GRU捕捉了用户反馈数据之间的相互依赖和序列性;模型采用注意力机制为不同反馈数据赋予不同权重以动态捕捉重点信息,同时考虑了上下文的动态性;模型基于用户的长期反馈数据,准确表达了用户的长期/一般偏好。该模型在两个数据集上进行训练和测试,结果表明该模型的推荐效果整体优于之前的相关工作。     

融合序列局部信息的日期感知序列推荐算法

基于自注意力机制的序列推荐算法利用用户的交互序列建模用户的动态偏好,预测用户未来的行为。但是,将交互序列直接输入自注意力层将会限制算法对序列局部关联信息的有效利用。此外,现有的大部分推荐算法利用用户最近的行为表征与目标项目的点积计算项目得分,这将削弱先前交互项目对推荐结果的影响。提出融合序列局部信息的日期感知序列推荐算法,使用多个垂直过滤器融合各交互项目在交互序列中的多种局部关联信息,同时使用交叉注意力机制捕获所有历史交互项目和目标项目的关系,并且抛弃了传统的位置嵌入方法,改用交互发生的日期作为绝对时间嵌入。在多个公开数据集上的实验表明,该算法在不同的评估指标上较基线算法均有一定程度的提升。     

基于自注意力机制与知识图谱的序列推荐算法

针对现有的序列推荐算法难以充分挖掘序列间内在关系,以及项目之间更深层次联系等问题,提出一种新颖的序列推荐算法.算法主要分为两个主要部分,即项目嵌入和偏好学习.首先基于知识图谱创建一种新的项目嵌入方法,用于获得每个项目的统一表示.然后,通过自注意力机制学习序列的上下文信息,获取用户的个性化偏好向量,生成下一项推荐.在真实...