动态层次Transformer序列推荐算法

序列化推荐任务根据用户历史行为序列,预测下一时刻即将交互的物品.大量研究表明:预测物品对用户历史行为序列的依赖是多层次的.已有的多尺度方法是针对隐式表示空间的启发式设计,不能显式地推断层次结构.为此,该文提出动态层次Transformer,来同时学习多尺度隐式表示与显式层次树.动态层次Transformer采用多层结构...     

基于高斯分布建模的序列推荐算法

目前大多数序列推荐系统(SRS)都假设需要预测的下一项与用户的上一项输入有关,然而真实场景中,用户可能会在浏览过程中误点击与自身兴趣偏好不一致的项目(不可靠实例)。针对此问题,提出了一种基于高斯分布建模的序列推荐算法。该算法首先通过一个含有多头自注意力的不确定性感知图集合网络(uncertainty-aware graph ensemble network,UAN),通过降低输入项的不确定性来提取输入的序列模式;其次将提取的输入序列模式建模为一个高斯分布,得到序列信息中的动态用户偏好以及偏好的不确定性;再将传统的推荐目标函数拓展为一个采样损失函数和一个不确定性正则化器,赋予每个训练实例适当的不确定性;最后将高损失且低不确定性的不可靠实例去除,增强序列推荐的准确性。该算法在三个公开的数据集Book-Crossing、MovieLens-1M和Steam上进行实验测试,结果表明,该算法相对于效果较好的基线取得了5.3%左右的提升,得到了更优的序列推荐结果,并能通过有效降低输入序列信息的不确定性,从而提升推荐准确率。     

一种基于时间序列性的推荐算法

聚类分析是Web个性化应用的一种重要技术手段,本文分析了K-means、MCA、Buildclassification三种典型的聚类算法.考虑到学习知识的循序渐进性,引入一个时间分量,提出一种基于时间序列性的推荐算法.在这个算法中,综合利用了三种聚类算法,将资源的后继资源在最准确的时间推荐给用户,使用户能够及时的获取最需要的资源.     

一种多序列比对的局部优化算法

核苷酸序列簇和氨基酸序列簇的比对是分子生物学研究的一种基本工具。多序列比对问题是NP完全问题,任何研究快而完全算法的努力都将面临极大的困难。该文提出了一种多序列比对的局部优化算法,并对基因库中的序列做了测试。     

多时间尺度时间序列趋势预测

针对股票、基金等大量时间序列数据的趋势预测问题，提出一种基于新颖特征模型的多时间尺度时间序列趋势预测算法。首先，在原始时间序列中提取带有多时间尺度特征的特征树，其刻画了时间序列，不仅带有序列在各个层次的特征，同时表示了层次之间的关系。然后，利用聚类挖掘特征序列中的隐含状态。最后，应用隐马尔可夫模型（HMM）设计一个多时间尺度趋势预测算法（MTSTPA），同时对不同尺度下的趋势以及趋势的长度作出预测。在真实股票数据集上的实验中，在各个尺度上的预测准确率均在60%以上，与未使用特征树对比，使用特征树的模型预测效率更高，在某一尺度上准确率高出10个百分点以上。同时，与经典自回归滑动平均模型（ARMA）模型和PHMM（Pattern-based HMM）对比，MTSTPA表现更优，验证了其有效性。     

一种基于MFSP-DG的个性化推荐算法

提出一种基于最大频繁序列模式有向图的页面个性化推荐技术,由于考虑了用户会话的页面访问顺序,比一些不考虑页面访问顺序的推荐技术有更高的准确率。有向图结构压缩存储了所有最大频繁序列模式,推荐引擎依据截取的用户最近访问页面子序列,与有向图的部分路径进行匹配并进行横向推荐和纵向推荐,无需在整个模式库中搜索相同或相似的模式,从而加快了模式匹配的速度,更好地满足了页面推荐的特性和实时要求。实验证明,方法是有效的。     

一种分层注意力机制与用户动态偏好融合的序列推荐算法

针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确表示的问题,提出一种分层注意力机制用于学习高质量的项目表示.其次,针对循环神经网络的时间依赖性严重损害了用户近期偏好建模的问题,引入文本卷积神经网络来提取循环隐藏状态之间的短期序列模式,并根据用户意图将用户长期偏好与近期偏好进行动态融合.此外,针对传统自注意力机制无法对序列中元素的相对位置信息进行建模的问题,对现有的自注意力机制进行了改进,充分捕获序列中元素的相对位置信息.并在公开数据集MovieLens-1M与Amazon-Book上与现有优秀算法作比较,实验结果证明了所提算法的有效性.     

面向序列推荐的小程序应用情境感知与建模

小程序自2017年横空出世就广受用户青睐,主张“即扫即用、即用即走”,但依旧难以针对用户所处特定情境下的需求提供更细粒度和差异化的服务.为此,本文提出一种基于注意力网络的情境感知序列推荐模型(ACA-SR).首先在活动理论视角下对情境信息进行本体建模;然后通过重新定义门控循环单元的更新门和重置门,计算由这些情境所确定的隐藏状态,对用户偏好进行动态建模;最后,通过利用关联情境中的注意力网络,模型能够区分历史行为序列中每个小程序的重要性.实验结果表明,该算法相比其他算法在评价指标如命中率、平均倒数排名和归一化折损累计增益有显著提升.     

一种同伴知识互增强下的序列推荐方法

序列推荐(Sequential recommendation, SR)旨在建模用户序列中的动态兴趣, 预测下一个行为. 现有基于知识蒸馏(Knowledge distillation, KD)的多模型集成方法通常将教师模型预测的概率分布作为学生模型样本学习的软标签, 不利于关注低置信度序列样本中的动态兴趣. 为此, 提出一种同伴知识互增强下的序列推荐方法(Sequential recommendation enhanced by peer knowledge, PeerRec), 使多个具有差异的同伴网络按照人类由易到难的认知过程进行两阶段的互相学习. 在第1阶段知识蒸馏的基础上, 第2阶段的刻意训练通过动态最小组策略协调多个同伴从低置信度样本中挖掘出可被加强训练的潜在样本. 然后, 受训的网络利用同伴对潜在样本预测的概率分布调节自身对该样本学习的权重, 从解空间中探索更优的兴趣表示. 3个公开数据集上的实验结果表明, 提出的PeerRec方法相比于最新的基线方法在基于Top-k的指标上不仅获得了更佳的推荐精度, 且具有良好的在线推荐效率.     

基于生成对抗模型的序列推荐算法

针对传统序列推荐算法时间信息和项目内容信息运用不充分的问题,该文提出基于生成对抗模型的序列推荐算法。通过生成对抗模型将序列建模与时间、内容信息建模分离,充分挖掘用户项目交互的序列信息和项目内容信息。运用卷积神经网络作为生成对抗模型的生成器,捕获用户项目交互的序列模式。运用注意力机制作为生成对抗模型的判别器,捕获交互序列的时间信息和项目内容信息。针对传统序列推荐算法时间信息建模不充分的问题,提出一种改进的时间嵌入方式,充分建模用户项目交互关于时间的周期性模式。利用生成对抗模型同时建模用户的稳定偏好和动态偏好,提升推荐系统的用户体验,并在公开数据集MovieLens-1M和Amazon-Beauty上与现有的优秀算法做比较。实验证明,该文所提出的算法在评价指标HR@N和NDCG@N上较基线方法均有一定提升。     

Exploiting Structural and Temporal Influence for Dynamic Social-Aware Recommendation

Recent years have witnessed the rapid development of online social platforms,which effectively support the business intelligence and provide services for massive users.Along this line,large efforts have been made on the socialaware recommendation task,i.e.,leveraging social contextual information to improve recommendation performance.Most existing methods have treated social relations in a static way,but the dynamic influence of social contextual information on users'consumption choices has been largely unexploited.To that end,in this paper,we conduct a comprehensive study to reveal the dynamic social influence on users'preferences,and then we propose a deep model called Dynamic Social-Aware Recommender System(DSRS)to integrate the users'structural and temporal social contexts to address the dynamic socialaware recommendation task.DSRS consists of two main components,i.e.,the social influence learning(SIL)and dynamic preference learning(DPL).Specifically,in the SIL module,we arrange social graphs in a sequential order and borrow the power of graph convolution networks(GCNs)to learn social context.Moreover,we design a structural-temporal attention mechanism to discriminatively model the structural social influence and the temporal social influence.Then,in the DPL part,users'individual preferences are learned dynamically by recurrent neural networks(RNNs).Finally,with a prediction layer,we combine the users'social context and dynamic preferences to generate recommendations.We conduct extensive experiments on two real-world datasets,and the experimental results demonstrate the superiority and effectiveness of our proposed model compared with the state-of-the-art methods.     

知识增强的图神经网络序列推荐模型

现有基于图神经网络的序列推荐模型大多仅关注用户与项目交互的结构性信息,序列偏好的学习仅涉及项目交互顺序,缺乏项目自身的内容信息,并且未有效利用用户信息及挖掘项目之间更深层的语义关系。提出一种知识增强的图神经网络序列推荐模型KGGNN,引入知识图谱,并结合用户交互数据构建协同知识图谱,学习得到项目语义关联辅助信息以及用户关联辅助信息。将交互序列构建成有向序列图,利用门控图神经网络以及用户关联辅助信息学习序列中项目节点的结构性信息。通过注意力机制组合项目向量作为全局序列偏好,将最近交互的项目作为当前兴趣偏好,融合两者形成最终序列偏好,并结合项目语义关联辅助信息进行模型预测。在Amazon-Book、Last-FM、Yelp2018这3个公开数据集上的实验结果表明,辅助信息能有效提升序列推荐的准确性,该模型在命中率（HIT@K）和归一化折损累计增益（NDCG@K）2个指标上相较于GRU4Rec、NARM、SASRec等模型均有显著提升。当评估指标K值选取10时,与KGSR模型相比,其HIT@10指标在3个数据集上分别提升12.9%、4.5%、6.9%,NDCG@10指标在3个数据集上分别提升...     

反事实增强的对抗学习序列推荐

最近,强化学习技术在序列推荐系统取得成功,它能从用户长期反馈信号中学习有效的推荐策略.然而,模型的激励函数设计面临区分度过低的难题.这限制了模型学习不同用户反馈信号间的价值差异的能力,并导致推荐策略总是次优的.现有工作主要通过调节衰减因子来保证激励函数区分度,但它依赖专家先验知识缺乏理论基础.为了更合理地设计激励函数和提高其区分度,本文依据因果论来分析推荐系统,并提出一种基于反事实区分度增强的序列推荐算法CAL4Rec.首先,所提出方法用结构因果图描述序列推荐过程,并创造性地用因果图定义了因果可鉴别的价值激励区分度.其次,该方法用反事实生成对抗的自监督学习过程优化推荐策略网络,以学习用户的真实倾向.在一系列序列推荐基准数据集上,对CAL4Rec开展了广泛对比和消融实验,实验结果表明CAL4Rec的提升对多种网络实现结构有效(平均2.34%).     

利用门控网络构建用户动态兴趣的序列推荐模型

在推荐系统中,现有多数序列推荐方法将用户行为视为一个时间有序的序列进行用户兴趣建模,用户兴趣的动态变化导致模型难以从用户行为序列中捕捉准确的用户兴趣信息。针对该问题,同时考虑到项目间成对的共现模式应作为交互信息的补充,提出利用门控网络构建用户动态兴趣的序列推荐模型DCGN。使用门控线性单元捕获交互序列中的用户兴趣,利用带有注意力权重的门控循环网络学习用户的动态兴趣。在此基础上,对用户交互项目间的共现模式进行建模,与用户兴趣信息以及用户信息进行融合后输入深度神经网络,得到最终推荐结果。在ML100K、Amazon 5-Elect、Retailrocket 3个公开数据集上进行实验,使用精确率、归一化折损累积增益和命中率进行性能评估,结果表明,DCGN模型较NARM、GRU4Rec、NLR等主流序列推荐模型性能更优,其归一化折损增益和精确率在Retailrocket数据集上平均提升1.9%和1.22%,在Amazon 5-Elect数据集上平均提升0.82%和1.05%,在ML100K数据集上平均提升0.36%和0.31%。     

基于自注意力网络的时间感知序列化推荐

随着信息技术的发展, 推荐系统作为信息过载时代的重要工具, 正扮演着越来越重要的角色. 基于内容和协同过滤的传统推荐系统, 倾向于以静态方式对用户与商品交互进行建模, 以获取用户过去的长期偏好. 考虑到用户的偏好往往是动态的, 且具有非持续性和行为依赖性, 序列化推荐方法将用户与商品的交互历史建模为有序序列, 能有效捕获商品的依赖关系和用户的短期偏好. 然而多数序列化推荐模型过于强调用户-商品交互的行为顺序, 忽视了交互序列中的时间信息, 即隐式假设了序列中相邻商品具有相同的时间间隔, 在捕捉包含时间动态的用户偏好上具有局限性. 针对以上问题, 文中提出基于自注意力网络的时间感知序列化推荐(self-attention-based network for time-aware sequential recommendation, SNTSR)模型, 该模型将时间信息融入改进的自注意力网络中, 以探索动态时间对下一商品预测的影响. 同时, SNTSR独立计算位置相关性, 以消除可能引入的噪声相关性, 增强捕获用户序列模式的能力. 在两个真实世界数据集上的大量实验表明, SNTSR始终优于一组先进的序列化推荐模型.     

Sequential Recommendation via Cross-Domain Novelty Seeking Trait Mining

Transfer learning has attracted a large amount of interest and research in last decades, and some effort has been made to build more precise recommendation systems. Most previous transfer recommendation systems assume that the target domain shares the same/similar rating patterns with the auxiliary source domain, which is used to improve the recommendation performance. However, almost all existing transfer learning work does not consider the characteristics of sequential data. In this paper, we study the new cross-domain recommendation scenario by mining novelty-seeking trait. Recent studies in psychology suggest that novelty-seeking trait is highly related to consumer behavior, which has a profound business impact on online recommendation. Previous work performed on only one single target domain may not fully characterize users' novelty-seeking trait well due to the data scarcity and sparsity, leading to the poor recommendation performance. Along this line, we propose a new cross-domain novelty-seeking trait mining model (CDNST for short) to improve the sequential recommendation performance by transferring the knowledge from auxiliary source domain. We conduct systematic experiments on three domain datasets crawled from Douban to demonstrate the effectiveness of our proposed model. Moreover, we analyze the directed influence of the temporal property at the source and target domains in detail.     

融合时间特性和用户偏好的卷积序列化推荐

推荐系统如今已被广泛应用于生活中,大大便利了人们的生活.传统的推荐方法主要是针对用户与物品的交互情况进行分析,分析用户与物品的历史记录,得到的只是用户过去对于物品的喜好程度.序列化推荐系统通过分析用户近一段时间与物品交互的序列,来考虑用户前后行为的关联性,能够获得用户短期内对物品的喜好程度.然而,序列化方法强调的是用户...     

基于主题序列模式的旅游产品推荐引擎

旅游产品推荐是当前推荐系统研究领域中的新兴议题之一.由于旅游产品描述信息维度多样复杂、“用户-产品”关联矩阵极为稀疏且冷启动问题突出,已经在电子商务领域获得成功的协同过滤推荐往往难以直接被应用于旅游产品推荐.提出基于主题序列模式的旅游产品推荐引擎SECT,试图通过在线旅游网站点击日志的挖掘产生推荐.首先,从页面语义描述文本中挖掘主题,以在泛化层面捕捉用户行为模式;其次,从页面访问时间序列数据中挖掘频繁序列模式及其候选产品集,形成序列模式库;最后,提出Markov n-gram模型,完成用户实时点击流与模式库匹配计算.为了提升在线匹配计算的效率,设计一种新的多叉树数据结构PSC-tree用于存储历史模式库,并与在线计算模块无缝衔接.在真实旅游数据集上的实验结果表明：该推荐引擎比传统推荐算法具有更优越的性能,而且能有效提升冷启动用户的推荐率和准确率.此外,针对长尾物品的推荐,SECT也优于基准算法.     

P2P网络中基于动态推荐的信任模型

针对P2P网络中节点交易风险较大的问题,模拟社会网络的人际交互过程,提出一种基于动态推荐的信任管理模型。采用模糊聚类方法,结合交互的上下文动态地选择推荐节点,在推荐因子的计算上融入聚类分析结果,提高了推荐的可靠性。分析和模拟实验表明,该模型能有效提高推荐的准确性,增强P2P网络的可用性。