时间感知增强的动态图神经网络序列推荐算法

现有的图神经网络序列推荐方法只关注序列的时序信息而没考虑到序列的时间间隔信息,且只采用单任务的模式进行序列推荐,忽略了可以增强数据,提高泛化能力的辅助任务,这将导致用户的动态交互偏好以及交互时间信息无法被清晰地捕捉。为了缓解上述问题带来的影响,提出了增强时间感知的动态图神经网络序列推荐算法（time-aware enhancement dynamic graph neural networks for sequential recommendation,TaDGSR）,具有两方面的优点。该方法将序列构造为一个具有时序信息的动态图,在此基础上融入时间间隔信息并增加时间门控注意力网络模块,以便在捕捉序列间的高阶动态连接的同时增强对时间信息的充分利用。该方法采用了时间阈值分割的长短期预估任务作为其辅助任务,加强时间间隔信息表征的利用,使模型更好地捕捉不同交互间隔的用户动态偏好,最终提升序列推荐任务性能。通过在Amazon电商的Beauty数据集、Games数据集以及CDs数据集上进行的实验,结果表明：（1）与目前较新的基准方法相比,所提方法在三个数据集的Hit@10和NDCG@10指标值上分别取得了4.47%、4.37%、2.72%、1.16%、4.61%、3.97%的平均提升;（2）增加时间间隔信息可以有效提高动态图神经网络的推荐性能,采用时间门控注意力模块以及长短期预估辅助任务对预测性能均能带来正面提升。     

时间序列预测方法综述

时间序列是按照时间排序的一组随机变量,它通常是在相等间隔的时间段内依照给定的采样率对某种潜在过程进行观测的结果。时间序列数据本质上反映的是某个或者某些随机变量随时间不断变化的趋势,而时间序列预测方法的核心就是从数据中挖掘出这种规律,并利用其对将来的数据做出估计。针对时间序列预测方法,着重介绍了传统的时间序列预测方法、基于机器学习的时间序列预测方法和基于参数模型的在线时间序列预测方法,并对未来的研究方向进行了进一步的展望。     

基于循环时间卷积网络的序列流推荐算法

针对循环神经网络(Recurrent Neural Network,RNN)模型在序列流推荐中只能从宏观上捕捉序列的演变模式,忽略了物品(Item)间内部的微观联系,无法长程建模序列数据的变化规律的问题,提出了多维度序列建模算法循环时间卷积网络(Recurrent Temporal Convolutional Network,RTCN)。首先,将每个物品表示成定长向量,采用多层因果卷积和扩张卷积操作扩大感受野范围,建立序列元素间的长程依赖关系。利用残差连接网络提取不同层次的特征信息,解决反向传播中梯度衰减甚至消失的问题。综合设计时间卷积网络(Temporal Convolutional Network,TCN)提取序列流中前后物品间的局部特征,将物品信息映射到隐藏空间,得到细粒度的特征向量。为进一步建立元素间的宏观联系,将特征向量依次输入门限循环单元(Gated Recurrent Unit,GRU),迭代更新现有隐藏状态并预测下一时刻的输出。RTCN通过时间卷积网络,从输入序列流提取出长时间、多维度、细粒度的局部关联特征;经过门限循环网络,建模序列间的长距离依赖关系,捕捉序列元素的演变模式,并预测下一个出现的物品。利用网站、手机应用和音乐3个不同场景中的数据对模型进行了实验。实验结果显示,RTCN模型在召回率(Recall)和平均排序倒数(MRR)两个指标上比RNN模型高出6%~13%,比传统推荐算法高出9%~59%。通过对比不同的损失函数,模型在交叉熵损失函数下表现最优。此外,由于TCN中的卷积层具有多通道的结构,当数据维度丰富时,该模型对物品和用户的上下文信息具有很强的综合能力。     

一种基于深度学习的时间序列预测方法

时间序列是一种广泛存在于现实各领域之中的海量高维数据,时间序列预测是该领域的一个研究重点.传统的时间序列预测方法仅仅从时间的维度对时间序列进行分析,忽略了外界影响因素对时间序列可能产生的影响.针对传统时间序列预测方法存在的问题,提出一种基于深度学习的时间序列预测模型DAFDC-RNN(dual-stage attent...     

基于RBF神经网络的时间序列预测

前馈神经网络在时间序列预测中的应用已得到充分地认可,一些模型已经提出,例如多层感知器(MLP),误差反向传播(BP)和径向基函数(RBF)网络等等。相对于其他前馈神经网络,RBF网络学习速度快,函数逼近能力强,因而在时间序列预测方面具有很好的应用前景。     

多任务LS-SVM在时间序列预测中的应用

针对单任务时间序列中存在的信息挖掘不充分、预测精度低等问题,提出了一种基于多任务最小二乘支持向量机（MTLS-SVM）的时间序列预测方法。该方法将多个时间序列任务同时进行学习,使得在训练过程中任务之间能够相互牵制起到归纳偏置作用,最终有效提高模型的预测精度。首先,利用相邻时间点之间的密切相关性,构造多个相邻时间点的学习任务,然后将每个任务对应的数据集同时训练MTLS-SVM模型并将其用于预测。将该方法用于几个时间序列数据集并与单任务LS-SVM方法相比,实验结果表明该方法具有较高的预测精度,验证了方法的可行性和有效性。     

基于Bayes网的时间序列预测

时间序列预测问题在气象、天文、电力、医学、生物、经济、金融和计算机等各个领域有着广泛的应用。本文将Bayes网模型用于该领域,提出并建立了一套基于Bayes的时间序列预测模型——静态]3ayes网预测模型,动态Bayes网预测模型和分类静态Bayes网预测模型。实验表明,这三个模型能更准确地描述用户在Web上的浏览特征,在预测准确率和存储复杂度方面都显著地优于传统的时间序列预测模型。     

基于栈式自编码器模型的汇率时间序列预测

针对目前具有非线性特征的金融时间序列浅层模型预测精度有限的问题,提出一种由底层的栈式自编码器和顶层的回归神经元组成的栈式自编码神经网络预测模型。首先利用自编码器的无监督学习机制对时间序列进行特征识别与学习,逐层贪婪学习神经网络各层,之后将栈式自编码器扩展为有监督机制的SAEP模型,将SAE学习到的参数用于初始化神经网络,最后利用有监督学习对权值进行微调。实验设计利用汇率时间序列作为训练及测试样本,与目前较成熟的方法进行对比实验,验证了所提出的模型在汇率时序预测应用中的有效性。     

融合全局和序列特征的多变量时间序列预测方法

时间序列在现实生活中具有广泛的用途,使用时间序列预测模型能够预估序列的未来变化趋势,为决策提供支撑.对于多变量时间序列的预测研究,已经提出了很多模型,但已有方法存在如下问题：不能同时考虑时间序列本身和协变量的信息;忽略了多变量时间序列中的全局信息;不能对预测结果进行解释.针对这些问题,本文提出了一个基于深度学习的多变量时间序列预测模型TEDGER,可以提取隐藏在单个时间序列中的序列模式和隐藏在多变量时间序列中的全局特征,并将序列模式和全局特征进行融合,通过残差预测的方式实现时间序列的预测.本文所提模型在真实的时间序列数据集上进行了实验评估.结果表明,本文提出的模型在预测准确度上超越了其他基准模型,同时模型拥有一定的可解释性.     

一种周期时间序列的预测算法

时间序列分析作为现代数据分析处理的有效方法之一,目前广泛地应用于商业、金融、证券、电信等领域,由于人们生活及消费模式的自然规律性,时间序列往往呈现出明显的周期变化趋势。论文依据移动通信网管测量数据,提出了一种针对周期时间序列的线性预测算法——自循环算法,实验表明预测精度高于传统的线性预测分析方法。     

基于物品嵌入向量的会话型推荐算法

传统基于会话的推荐算法主要利用点击物品的时序信息进行建模,忽略了挖掘物品的特征信息,且未利用物品之间的相似性.为提升推荐效果,提出一种新的基于会话的推荐算法SR-I2V.通过Skip-gram模型和层次softmax优化方法学习物品的嵌入向量,由意图递进公式对已发生的物品点击提取出意图特征向量,并根据特征向量相似度计算...     

融合全局信息的注意力增强会话推荐方法

近年来,基于会话推荐系统（session-based recommender system,SRS）的应用和研究是推荐系统的一个热门方向。如何利用用户会话信息进一步提升用户满意度和推荐精确度,是基于会话推荐系统的主要任务。目前大多数SBR模型仅基于目标会话对用户偏好建模,忽略了来自其他会话的物品转换信息,导致无法全面了解用户偏好。为了解决其局限性,提出融合全局上下文信息注意力增强的图神经网络模型（global context information graph neural networks for session-based recommendation,GCI-GNN）。该模型利用所有会话上的物品转换关系,更准确地获取用户偏好。具体而言,GCI-GNN从目标会话和全局会话学习物品向量表示。使用位置感知注意网络,将反向位置信息纳入物品嵌入中。考虑会话长度信息学习用户表示进而达到更有效的推荐。在Diginetica和Yoochoose数据集上进行实验,实验结果表明,相对最优的基准模型,GCI-GNN模型在Diginetica数据集各项指标上的提高超过2个百分点,在Yoochoose数据...     

基于邻域感知图神经网络的会话推荐

在基于会话的推荐中,图神经网络及其改进模型将会话内复杂的交互关系建模为图结构并从中捕获项目特征,是现有推荐模型中性能较好的一类方法。然而大多数模型都忽略了不同会话之间可能存在的有效信息,仅对当前会话建模难以利用其他会话,也无法发挥邻域信息的辅助作用。因此提出基于邻域感知图神经网络的会话推荐（NA-GNN）。该模型构建会话层和全局邻域层的图结构捕获项目表示,结合注意力机制聚合两种项目表征,将会话序列之间的互信息最大化地结合到网络训练中。在真实的数据集Yoochoose和Diginetica上进行实验,与性能最优的基准模型相比,模型P@20在Yoochoose上提高了1.85%,在Diginetica上提升了7.19%;MRR@20分别提升了0.48%和8.36%,证明模型的有效性和合理性。     

融合交互注意力和参数自适应的商品会话推荐

在电商场景中,用户面对繁杂的商品时往往难以快速检索到所需商品,而基于会话的商品推荐能通过学习用户短期兴趣从而为其推荐可能感兴趣的商品,因此基于会话的推荐研究具有显著的理论和应用研究价值。已有的会话推荐算法大多关注于利用全局图中的信息来增强会话图中的表征学习,而忽略了会话图和全局图上物品表征之间的交互关系。该文提出一种通过交互注意力和改进参数自适应策略增强的图神经网络商品会话推荐模型。交互注意层通过提取强相关信息来修正全局图和会话图中的商品表示,而参数自适应层则通过改进参数自适应策略动态权重调整以获得物品的最终表示进而用于预测。实验结果表明,该文所提出的模型在Tmall数据集上显著优于对比模型。     

基于生成对抗模型的序列推荐算法

针对传统序列推荐算法时间信息和项目内容信息运用不充分的问题,该文提出基于生成对抗模型的序列推荐算法。通过生成对抗模型将序列建模与时间、内容信息建模分离,充分挖掘用户项目交互的序列信息和项目内容信息。运用卷积神经网络作为生成对抗模型的生成器,捕获用户项目交互的序列模式。运用注意力机制作为生成对抗模型的判别器,捕获交互序列的时间信息和项目内容信息。针对传统序列推荐算法时间信息建模不充分的问题,提出一种改进的时间嵌入方式,充分建模用户项目交互关于时间的周期性模式。利用生成对抗模型同时建模用户的稳定偏好和动态偏好,提升推荐系统的用户体验,并在公开数据集MovieLens-1M和Amazon-Beauty上与现有的优秀算法做比较。实验证明,该文所提出的算法在评价指标HR@N和NDCG@N上较基线方法均有一定提升。     

基于自注意力网络的共享账户跨域序列推荐

共享账户跨域序列推荐(shared-account cross-domain sequential recommendation,SCSR)是指在多个用户共同使用一个账户和用户的行为会在多个域中产生的情况下,给该账户推荐下一个可能会点击的项目.与传统的序列推荐任务相比,共享账户跨域序列推荐主要面临2方面的挑战:1)每一个账户里的交互行为是由多个用户产生的,并且这些用户的行为是混合在一起的;2)用户在1个域中产生的交互行为可能会提升推荐系统对该用户在其他域的推荐质量.目前,已有的一些相关工作大都是基于循环神经网络(recurrent neural network,RNN)的方法,但由于RNN本身固有的一些缺陷,导致基于RNN的方法不仅非常耗时,而且不能够很好地捕获交互行为之间的长期依赖关系针对SCSR问题,提出了基于自注意力的跨域推荐模型(self-attention-based cross-domain recommendation model,SCRM)来解决这2个挑战具体而言,首先引入1个多头自注意力网络来建模1个共享账户中多个用户参与的交互行为.然后,提出了一个基于多层交叉映射感知网络的跨域传输单元,以实现借助一个域的信息来提高另一个域的推荐质量最后,通过一个混合推荐解码器整合了来自2个域的信息以实现在不同域中的推荐.在真实数据集HVIDEO上进行了实验,实验结果表明,与目前最新的基准方法相比,所提出的模型能在MRR和Recall 这 2个指标上取得了更加优异的结果;在运行效率上,比基于RNN的方法取得了更短的训练和学习时间.     

融合时间特性和用户偏好的卷积序列化推荐

推荐系统如今已被广泛应用于生活中,大大便利了人们的生活.传统的推荐方法主要是针对用户与物品的交互情况进行分析,分析用户与物品的历史记录,得到的只是用户过去对于物品的喜好程度.序列化推荐系统通过分析用户近一段时间与物品交互的序列,来考虑用户前后行为的关联性,能够获得用户短期内对物品的喜好程度.然而,序列化方法强调的是用户...     

基于项目的非邻近序列模式推荐算法

针对推荐系统存在的稀疏性问题,提出将非邻近序列模式挖掘算法与基于项目的协作过滤推荐算法相结合的推荐方法,通过构造Markov概率的路径加权转移矩阵,计算资源被推荐的可能性,向用户进行推荐。结果证明,在数据稀疏的情况下,较传统的基于项目的协作过滤推荐算法,该算法能有效提高推荐系统的推荐质量。     

动态层次Transformer序列推荐算法

序列化推荐任务根据用户历史行为序列,预测下一时刻即将交互的物品.大量研究表明:预测物品对用户历史行为序列的依赖是多层次的.已有的多尺度方法是针对隐式表示空间的启发式设计,不能显式地推断层次结构.为此,该文提出动态层次Transformer,来同时学习多尺度隐式表示与显式层次树.动态层次Transformer采用多层结构...     

时间感知的兴趣点推荐方法

在基于位置的社交网络(Location-based Social Networks,LBSN)中,用户共享位置和与位置信息相关的内容.兴趣点推荐是LBSN的重要应用,根据用户历史访问签到记录推荐其可能感兴趣的位置.与其他推荐问题(如产品推荐或电影推荐)相比,用户对兴趣点的偏好在时间感知特征上尤为凸显.文中探索了时间感知...