基于双层注意力机制的深度学习电影推荐系统

传统协同过滤技术仅使用用户对物品的评分矩阵,没有充分利用用户和物品的其他多种特征,而且由于评分矩阵非常稀疏,导致推荐系统的推荐准确率严重下降。近几年深度学习技术在机器学习的多个领域取得了显著的成就,本文针对传统协同过滤推荐系统的问题,提出一种基于双层注意力机制的深度学习推荐系统。以电影推荐为例,使用深度学习框架处理推荐系统中的多种输入特征信息,同时引入双层注意力机制,分别学习用户和电影每个特征之间的偏好以及用户与其观影列表中每一部电影间的偏好,从而尽可能多地利用用户和电影的特征数据,学习用户的行为偏好,在一定程度上改善了推荐的效果。     

利用交叉推荐模型解决用户冷启动问题

用户冷启动是推荐系统的一个重要问题。传统的推荐系统使用迁移学习的方法来解决这个问题,即利用一个领域的评分信息或者标签预测另外一个领域的用户和物品评分。上述迁移学习模型通常假设两个领域没有重叠的用户和物品,与上述假设不同,很多情况下系统可以获取同一用户在不同领域的数据。针对这种数据,提出一种新的推荐系统冷启动模型—cross SVD&GBDT(CSGT),通过有效利用重叠用户的信息来解决用户冷启动问题。具体地,首先提出新模型获取用户和物品的特征,然后利用GBDT模型进行训练。实验数据表明,在豆瓣数据集中corss SVD&GBDT可以得到比传统方法性能更高、鲁棒性更强的实验结果。     

协同过滤推荐系统综述

随着互联网和信息计算的飞速发展,衍生了海量数据,我们已经进入信息爆炸的时代。网络中各种信息量的指数型增长导致用户想要从大量信息中找到自己需要的信息变得越来越困难,信息过载问题日益突出。推荐系统在缓解信息过载问题中起着非常重要的作用,该方法通过研究用户的兴趣偏好进行个性化计算,由系统发现用户兴趣进而引导用户发现自己的信息需求。目前,推荐系统已经成为产业界和学术界关注、研究的热点问题,应用领域十分广泛。在电子商务、会话推荐、文章推荐、智慧医疗等多个领域都有所应用。传统的推荐算法主要包括基于内容的推荐、协同过滤推荐以及混合推荐。其中,协同过滤推荐是推荐系统中应用最广泛最成功的技术之一。该方法利用用户或物品间的相似度以及历史行为数据对目标用户进行推荐,因此存在用户冷启动和项目冷启动问题。此外,随着信息量的急剧增长,传统协同过滤推荐系统面对数据的快速增长会遇到严重的数据稀疏性问题以及可扩展性问题。为了缓解甚至解决这些问题,推荐系统研究人员进行了大量的工作。近年来,为了提高推荐效果、提升用户满意度,学者们开始关注推荐系统的多样性问题以及可解释性等问题。由于深度学习方法可以通过发现数据中用户和项目之间的非线性关系从而学习一个有效的特征表示,因此越来越受到推荐系统研究人员的关注。目前的工作主要是利用评分数据、社交网络信息以及其他领域信息等辅助信息,结合深度学习、数据挖掘等技术提高推荐效果、提升用户满意度。对此,本文首先对推荐系统以及传统推荐算法进行概述,然后重点介绍协同过滤推荐算法的相关工作。包括协同过滤推荐算法的任务、评价指标、常用数据集以及学者们在解决协同过滤算法存在的问题时所做的工作以及努力。最后提出未来的几个可研究方向。     

时间加权的混合推荐算法

提出了一种基于时间加权的混合推荐方法。该方法分为离线和在线两个阶段,离线阶段根据目标用户对物品的评价等信息得到与目标用户有相似兴趣的邻居,并构建物品描述模型;在线阶段根据目标用户和邻居用户的评价行为构建用户描述模型。由于用户兴趣会随外部因素而产生概念漂移,因此在算法中引入衰减系数以提高推荐质量。在滑动窗口模型下,每隔一定时间间隔,更新用户模型和相似群组,产生个性化的推荐。实验结果表明,该算法能实时反映用户兴趣,提高推荐系统的准确率,有较高的用户满意度。     

基于注意力机制的协同卷积动态推荐网络

一直以来, 各种推荐系统关注于如何挖掘用户与物品特征间的潜在关联, 特征信息的充分利用有利于用户到物品的精准匹配. 基于矩阵分解和分解机的推荐算法是该领域的主流, 前者学习用户历史行为而后者分析对象特征关系, 但都难以兼顾用户行为与个体特征. 而近年来, 深度神经网络凭借其强大的特征学习能力和灵活可变的结构被应用到了推荐系统领域. 鉴于此, 本文提出了一种基于注意力机制的协同卷积动态推荐网络(Attentionbased collaborative convolutional dynamic network, ACCDN), 它通过注意力机制实现用户历史行为、用户画像与物品属性的多重交互, 再通过卷积网络逐层捕捉更高阶的特征交互. 网络同时接受不同组块输出的低阶至高阶信息, 最后给出用户对指定物品青睐评分概率的预估. 而且本文还提出了一种基于无参时间衰减的用户兴趣标签来量化用户关注的变化. 通过比较若干先进模型在两个现实数据集的表现, 本文设计的动态推荐模型不但能够缓解推荐时滞性, 还能明显提高推荐质量, 为用户带来更好的个性化服务体验.     

基于异构信息网络元路径作张量分解的深度学习推荐系统

过去基于学习用户和物品的表征向量的推荐系统算法在大规模数据中取得了较好的结果。相比早期经典的基于矩阵分解（matrix factorization,MF）的推荐算法,近几年流行的基于深度学习的方法,在稀疏的数据集中具有更好的泛化能力。但许多方法只考虑了二维的评分矩阵信息,或者简单的对各种属性做嵌入表征,而忽略了各种属性之间的内部关系。异构信息网络（heterogeneous information network,HIN）相比同构网络能够存储更加丰富的语义特征。近几年结合异构信息网络与深度学习的推荐系统,通过元路径挖掘关键语义信息的方法成为研究热点。
为了更好地挖掘各种辅助信息与用户喜好的关联性,本文结合张量分解、异构信息网络与深度学习方法,提出了新的模型hin-dcf。首先,基于数据集构建特定场景的异构信息网络;对于某一元路径,根据异构图中的路径信息生成其关联性矩阵。其次,合并不同元路径的关联性矩阵后,得到包含用户、物品、元路径三个维度的张量。接着,通过经典的张量分解算法,将用户、物品、元路径映射到相同维度的隐语义向量空间中。并且将分解得到的隐语义向量作为深度神经网络的输入层的初始化。考虑到不同用户对不同元路径的关联性偏好不同,融入注意力机制,学习不同用户、物品,与不同元路径的偏好权重。在实验部分,该模型在精确度上有效提升,并且更好地应对了数据稀疏的问题。最后提出了未来可能的研究方向。     

基于用户-项目交叉注意力机制的迁移推荐模型

随着互联网技术的发展,个性化的推荐系统得到了广泛应用.但用户数据稀疏与冷启动仍是推荐系统普遍面临的难题.将深度学习与注意力机制相结合,提出基于用户-项目交叉注意力机制的迁移推荐模型.该模型能够充分学习源域数据中用户、物品及评分间的潜在关系,然后初始化目标域神经网络,迁移应用到目标域.为验证算法模型的有效性,在公开数据集...     

融合全局信息的注意力增强会话推荐方法

近年来,基于会话推荐系统（session-based recommender system,SRS）的应用和研究是推荐系统的一个热门方向。如何利用用户会话信息进一步提升用户满意度和推荐精确度,是基于会话推荐系统的主要任务。目前大多数SBR模型仅基于目标会话对用户偏好建模,忽略了来自其他会话的物品转换信息,导致无法全面了解用户偏好。为了解决其局限性,提出融合全局上下文信息注意力增强的图神经网络模型（global context information graph neural networks for session-based recommendation,GCI-GNN）。该模型利用所有会话上的物品转换关系,更准确地获取用户偏好。具体而言,GCI-GNN从目标会话和全局会话学习物品向量表示。使用位置感知注意网络,将反向位置信息纳入物品嵌入中。考虑会话长度信息学习用户表示进而达到更有效的推荐。在Diginetica和Yoochoose数据集上进行实验,实验结果表明,相对最优的基准模型,GCI-GNN模型在Diginetica数据集各项指标上的提高超过2个百分点,在Yoochoose数据集上,GCI-GNN模型在各项指标上的提高超过1个百分点,验证了GCI-GNN模型的有效性。     

融合物品相似性与流形正则化的矩阵分解推荐模型

矩阵分解是推荐系统中应用最为广泛的方法之一,但其对物品隐因子及其相似性学习不够充分.社会网络分析中认为相互连接的个体有一定共性,受此启发提出一个能够借助近邻关系有效学习物品隐因子及其相似性的矩阵分解推荐模型.首先基于评分矩阵对物品相似性计算进行改良,综合同一用户和相似用户的评分共现信息对物品信息建模;然后通过构建相似性优化和流形局部保持正则化项,使物品相似性作用在矩阵分解中,从而充分学习物品隐因子特征及其相似性;最后根据用户和物品隐因子矩阵计算推荐指数.在公开数据集上的实验结果表明,通过流形正则化技术将改良的物品相似性作用在矩阵分解中,可以有效提升推荐效果.     

大规模图推荐模型的快速优化机制

推荐系统在帮助用户从海量数据中发现自己感兴趣的信息时能起到重要作用。近些年来,深度学习在计算机视觉等诸多领域卓有成效,吸引了越来越多推荐系统领域学者的关注。推荐系统结合图神经网络等深度学习方法取得了令人瞩目的效果。然而,现存的许多方法主要关注在如何用深度学习模型来设计推荐系统的架构,却少有工作关注推荐系统的优化框架,尤其是从优化框架方面提升推荐系统的训练效率。因此随着模型的日益复杂,训练模型的时间代价也越来越大。
本工作中,我们试图从优化框架方面提升大规模图推荐模型的训练效率。推荐系统中最主流的模型优化框架为贝叶斯个性化排序（Bayesian personalized ranking,BPR）,其潜在假设是目标用户对于已交互的物品的喜好程度强于未交互的物品,然后通过最大化用户对感兴趣物品和不感兴趣物品的评分差来实现。然而,BPR优化器的瓶颈在于模型参数的学习效率低下,在计算资源有限,且用户的兴趣要具有时效性等现实因素下,极大限制了主流图推荐模型在工业场景中的应用。究其原因,BPR优化器需要每个训练样本对单独经过非线性激活函数,这样元素级别的运算无法转化为矩阵操作等并行计算的形式,进而未能发挥GPU的并行加速性能。受平方误差损失函数在结合推荐任务时,对矩阵化操作较为友好的启发,我们设计了一种快速非采样优化器FGL,可广泛适用于主流图推荐模型。经过一系列理论推导与转换,FGL有效规避了损失函数中复杂度较高的计算项,极大提升了模型的训练效率。以经典矩阵分解模型和最先进的图神经网络模型LightGCN为代表,本文在四个基准数据集上进行了大量的实验。实验结果表明,FGL优化器在保证推荐准确度下,其训练效率相比于BPR获得了数量级层面的加速,表明FGL在现实工业场景中具有很大的应用潜力。