融合多头自注意力的问答社区专家推荐算法

专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首先,构造由卷积神经网络和注意力机制组成的问题编码器,来处理目标问题和用户历史回答问题,提取对应的问题表征;其次,将用户历史回答问题序列当作时间序列,利用多头自注意力机制学习序列中所蕴涵的动态兴趣表征,结合用户的静态兴趣表征,获取用户的综合兴趣表征;最后,将目标问题表征和用户综合表征进行相似性计算产生推荐结果。利用来自知乎问答社区的真实数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法性能要明显优于目前较流行的深度学习专家推荐算法。     

基于高阶和时序特征的图神经网络社会化推荐算法研究

跨项目社会推荐是一种将社交关系整合到推荐系统中的方法。社会化推荐中包含用户-项目交互图和社交网络图,用户是连接这两个图的桥梁,其表示学习对提升社会化推荐的性能至关重要。然而,现有方法主要使用用户或项目的静态属性和社交网络中的显式朋友关系来进行表示学习,用户和项目交互的时序信息及隐式朋友关系未得到充分利用。因此,在社会化推荐中,如何有效利用时序信息和社交信息成为重要的研究课题之一。文中通过建模用户的隐式朋友和项目的社交属性,提出了一种新颖的基于高阶和时序特征的图神经网络社会化推荐算法(Graph Neural Networks Social Recommendation Based on High-order and Temporal Features)模型,简称HTGSR。HTGSR首先利用门控递归单元对基于项目的用户表征进行建模,以反映用户的近期动态偏好,并定义一个高阶建模单元来提取用户的高阶连通特征,挖掘用户的隐式朋友信息;其次利用注意力机制获取基于社交关系的用户表征;然后提出不同的项目社交网络的构建方式,并利用注意力机制来获取项目表征;最后将用户和项目的潜在表征输入到多层感知机,...     

一种用于多域对话状态追踪的知识增强与自注意力引导的图神经网络

对话状态追踪是对话系统的重要组成部分,旨在从用户与系统的对话中跟踪用户意图,其通常表示为槽位-槽值对序列.近年来,深度神经网络模型在对话状态追踪问题上取得了较大进展.然而,现有模型在槽位相关性建模方面还存在可拓展性差与易引入噪声等问题.针对上述问题,本文提出了一种知识增强与自注意力引导的图神经网络KESA-GNN(Knowledge-Enhanced&Self-Attention Guided Graph Neural Network).首先,KESA-GNN通过外部知识嵌入增强槽的语义表征提升多头自注意力机制对槽位间相关性的辨别能力.其次,为了精确建模槽位间的诸如共指、共现等相关性,提出了一种自注意力引导的图神经网络建模槽位相关性.该网络采用多头注意力机制获得槽位间的注意力矩阵以及槽位表征,通过Max-N Relation算法获得注意力矩阵中强相关关系集,将稠密的注意力矩阵稀疏化,从而引导图神经网络中强相关槽位间的信息传播,降低无关槽位的噪声影响.最后,KESA-GNN采用门控融合机制过滤槽位多头注意力和图神经网络输出的槽位表征,从而获取更准确的槽位表征向量,进一步提升了KE...     

基于AGRU-GNN的图网络社交推荐算法

在推荐系统中,用户对物品的兴趣是动态变化的,会受用户自身历史行为、朋友历史行为甚至短时热点等多方面因素影响.而如何在推荐系统中对用户的时序兴趣进行描述并提取有效信息,一直以来是推荐算法的一大挑战之一.本文在图神经网络(GNN)推荐算法的基础上,提出一种基于注意力门控循环单元(Attention-GRU)的改进图网络算法,对用户、物品的交互时序历史进行特征建模,于此同时结合社交网络将此时序特征在用户、物品之间传播.算法在Ciao与Epionions数据集上进行了验证,并与其他相关工作进行对比,证明了该模型有效地提取了用户、物品的时序特征,提升了推荐系统的有效性.     

基于自注意力门控图卷积网络的特定目标情感分析

基于特定目标的情感分析旨在预测句子中不同方面表达的不同情感倾向。针对之前利用循环神经网络（RNN）结合注意力机制的网络模型所带来的训练参数多且缺少对相关句法约束和长距离词依赖机制解释的问题,提出自注意力门控图卷积网络MSAGCN。首先,模型采用多头自注意力机制编码上下文词和目标,捕获句子内部的语义关联;然后,采用在句子的依存树上建立图卷积网络的方法获取句法信息以及词的依存关系;最后,通过带有目标嵌入的门控单元（GTRU）获取特定目标的情感。与基线模型相比,所提模型的准确率和调和平均值F1分别提高了1%~3.3%和1.4%~6.3%;同时,预训练的BERT模型也被应用到当前任务中,使模型效果获得了新的提升。实验结果表明所提出的模型能更好掌握用户评论的情感倾向。     

基于注意力机制的深度学习推荐算法

针对目前基于评论文本的推荐算法存在文本特征和隐含信息提取能力不足的问题, 提出一种基于注意力机制的深度学习推荐算法. 通过分别构建用户和项目的评论文本表示, 利用双向门控循环单元提取文本的上下文依赖关系以获得文本特征表示, 引入注意力机制, 更准确的获取用户兴趣偏好和项目属性特征. 将生成的用户和项目评论数据的两组隐含特征分别输入全连接层处理, 再合并到同一个向量空间进行评分预测, 得到推荐结果. 在Yelp和Amazon两个公开数据集中进行实验, 结果表明所提出的算法与其他算法相比, 具有更好的推荐性能.     

融合用户和产品信息的多头注意力情感分类模型

针对传统情感分类方法提取文本信息单一的问题, 提出了一种融合用户信息和产品信息的分层多头注意力的情感分类模型. 首先, 采用分层的多头注意力代替单一注意力, 从多个视角获取有效信息. 然后在每个注意力中都融入用户信息和产品信息, 挖掘出用户和产品信息在多个子空间上的表现特征, 使模型在多个子空间上得到更全局的用户偏好和产品特点对情感评分的影响. 实验结果表明, 模型在IMDB、Yelp2013、Yelp2014数据集上的准确率较之前基于神经网络的情感分析模型均有所提高.     

基于多头注意力机制和位置信息的xDeepFM推荐模型

为了解决推荐模型中无法挖掘用户兴趣多样性和捕捉用户行为序列之间的顺序信息,以及交互发生在元素级并非特征向量之间等问题,提出一种基于多头注意力机制和位置信息的xDeepFM推荐模型(extreme deep multiple attention and location information factorization machine,xDMALFM).首先通过多头注意力机制进行不同子空间的特征深度提取,然后利用位置信息去捕捉用户行为序列之间的顺序关系.最后,利用三个公开数据集进行对比实验,以AUC指标进行评估.实验结果表明所提算法相比xDeepFM模型具有更好的推荐性能,验证了其有效性与可行性.     

融合时空网络和自注意力的兴趣点序列推荐

针对现有的序列推荐算法仅利用长短期顺序行为和用户交互行为进行推荐,没有充分考虑用户交互行为之间的时空间隔信息对用户推荐序列更深层影响的问题,提出一种融合时空网络和自注意力的兴趣点序列推荐模型。将用户签到之间的时间和空间间隔信息融入门控循环单元网络,使用用户的历史签到序列信息获取用户的偏好,通过自注意力机制对签到地点进行建模,获得用户对于模型的权重序列,通过签到地点与候选地点的时间间隔和空间间隔匹配兴趣点,为用户推荐一个兴趣点序列。在两个数据集上的实验结果表明,提出方法在召回率上优于之前先进的方法。     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

利用门控网络构建用户动态兴趣的序列推荐模型

在推荐系统中,现有多数序列推荐方法将用户行为视为一个时间有序的序列进行用户兴趣建模,用户兴趣的动态变化导致模型难以从用户行为序列中捕捉准确的用户兴趣信息。针对该问题,同时考虑到项目间成对的共现模式应作为交互信息的补充,提出利用门控网络构建用户动态兴趣的序列推荐模型DCGN。使用门控线性单元捕获交互序列中的用户兴趣,利用带有注意力权重的门控循环网络学习用户的动态兴趣。在此基础上,对用户交互项目间的共现模式进行建模,与用户兴趣信息以及用户信息进行融合后输入深度神经网络,得到最终推荐结果。在ML100K、Amazon 5-Elect、Retailrocket 3个公开数据集上进行实验,使用精确率、归一化折损累积增益和命中率进行性能评估,结果表明,DCGN模型较NARM、GRU4Rec、NLR等主流序列推荐模型性能更优,其归一化折损增益和精确率在Retailrocket数据集上平均提升1.9%和1.22%,在Amazon 5-Elect数据集上平均提升0.82%和1.05%,在ML100K数据集上平均提升0.36%和0.31%。     

基于三度影响力的社交好友推荐机制

针对社交网络中的好友推荐问题,提出了一种基于三度影响力理论的好友推荐算法。社交网络用户节点间的联系除了共同好友外,还存在其他不同长度的连通关系。该算法不再局限于仅以用户间共同好友的数量作为好友推荐的主要依据,而是在此基础上引入三度影响力理论进一步拓展关系连接,即把用户间距离三度以内的强连接用户都考虑进来,并通过为不同距离长度的连通关系分配相应的权重,实现好友关系强度的计算,来进行推荐。通过在新浪微博和Facebook社交网站上的实验结果表明,该算法比仅依据用户间共同好友数量的推荐算法在查准率和查全率上分别提高了约5%和0.8%,显著提升了社交平台好友推荐的效果,从而为社交平台改进推荐机制,以进一步增强用户体验提供了理论支撑。     

基于对抗采样的社交推荐算法

推荐系统利用用户的历史记录、物品的基础信息等数据进行建模来捕获用户的偏好,有效缓解了信息过载等问题,虽然其已应用广泛,但整个推荐领域面临的挑战却依旧存在,其中数据稀疏这一问题对于推荐性能有举足轻重的影响。近年来,大量研究表明基于社交信息的推荐算法能够有效缓解数据稀疏问题,但它们也仍然存在一定的局限。线上的社交网络是非常稀疏的,并且线上社交网络中的“朋友”通常包括同学、同事、亲戚等,因此,拥有显式朋友关系的用户不一定拥有相似的偏好,即直接利用显式朋友的兴趣偏好进行推荐会存在噪声问题。此外,大部分基于隐式反馈的算法通常直接对用户没有交互过的物品进行随机采样,然后将其作为用户实际交互过的物品的负样本来优化模型,然而用户没有交互过的物品并不代表用户不喜欢,这种粗粒度的采样策略忽略了用户的真实偏好,同样也带来了一定程度的噪声。生成对抗网络（GANs）因其在训练中捕获复杂数据分布的能力以及强大的鲁棒性被广泛应用到推荐系统中,为了减弱上述噪声问题带来的影响,本文基于生成对抗网络提出了一种细粒度的对抗采样推荐模型（ASGAN）,包括一个生成器和判别器。其中,生成器首先利用图表示学习技术初始化社交网络,接着为用户生成一个与其偏好相似的朋友,然后再从该朋友喜欢的物品集中同时生成该用户喜欢的物品和用户不喜欢的物品。判别器则尽可能区分出用户实际交互过的物品和生成器生成的两类物品。随着对抗训练的进行,生成器能更有效地进行社交朋友采样和物品采样,而判别器能够良好地捕获用户的真实偏好分布。最后,在三个公开的真实数据集上与现有的六个工作进行对比,实验结果证明：ASGAN拥有更好的推荐性能,通过重构社交网络和细粒度采样有效缓解了社交信息和物品采样策略带来的噪声问题。     

基于SSD和时序模型的微博好友推荐算法

社交网络用户的指数型增长,导致用户在网络中难以找到适合自己的好友.提出一种基于多目标检测算法SSD和时序模型的微博好友推荐算法BSBT-FR,首先利用SSD对搜集到的用户图像进行信息提取,再利用时序模型在时间维度上对提取到的信息做进一步处理,然后利用JS散度公式计算用户间的相似度,最后与基于用户个人信息得出的相似度进行加权式融合,得出综合的用户相似度,使用Top-K思想进行用户推荐.在新浪微博用户数据集上的实验表明,参考因素的权重取值会影响推荐结果,BSBT-FR算法与只考虑用户属性或用户图像的算法相比,精准度更高.     

融合用户历史行为与社交关系的个性化社交事件推荐方法

为了提升基于事件的社交网络(EBSN)中社交事件的推荐效果,提出了融合用户历史行为和社交关系的个性化社交事件推荐方法.首先采用深度学习技术从用户的历史行为以及用户之间的潜在社交关系两个方面建立用户模型;然后在对用户偏好建模时,引入用户偏好的负向量表示,并使用注意力权重层根据不同的候选推荐事件为用户历史行为中不同的事件和...     

基于多维度兴趣注意力和用户长短期偏好的新闻推荐

在这个网络媒体平台成为获取新闻资讯的主流方式的时代,新闻推荐扮演着至关重要的角色。一方面,媒体平台使用新闻推荐可帮助用户过滤掉不感兴趣的新闻,定制个性化阅读内容推送;另一方面,智能推送服务能够增加新闻点击率,帮助媒体平台实现新闻的快速传播。目前,新闻推荐逐渐成为数据分发领域核心技术之一,逐渐引起国内外学者的关注。该文针对新闻热度不均衡问题造成的长尾现象,提出了一种基于多维度兴趣注意力的用户长短期偏好的新闻推荐模型。首先,对用户长期偏好进行挖掘时把用户兴趣分成多个维度,并采用注意力机制控制不同兴趣维度的重要程度,从而学习到包含不同维度兴趣信息的长期偏好。其次,采用CNN与注意力网络相结合的模型对新闻进行表示学习,采用GRU在用户近段时间内的阅读历史中学习用户短期偏好。最后,通过大量在真实新闻数据集上的实验,以AUC、MRR、NDCG为评价指标与其他基线方法进行比较,证实了该模型均优于其他方法。     

基于博文及网络结构信息的好友推荐方法

由于人们在书写用户属性信息时随意性和虚假性,使得在进行用户兴趣建模时用户属性无法得到有效利用。针对该问题,提出了一种基于兴趣偏好和网络结构的混合好友推荐方法。采用LDA主题模型对用户微博进行建模,从中挖掘用户兴趣,并依据同质性原理利用好友兴趣偏好对目标用户兴趣偏好进行修正。同时,采用一种新颖的基于网络结构的预测指标度量用户间的亲密程度。实验结果表明,与仅利用网络结构的推荐效果相比,加入用户兴趣后的模型在准确率及AUC指标上有显著提升,同时也可提高部分博文主题不明确用户的兴趣挖掘效果。     

HOPE: a hybrid deep neural model for out-of-town next POI recommendation

Next Point-of-interest (POI) recommendation has been recognized as an important technique in location-based services, and existing methods aim to utilize sequential models to return meaningful recommendation results. But these models fail to fully consider the phenomenon of user interest drift, i.e. a user tends to have different preferences when she is in out-of-town areas, resulting in sub-optimal results accordingly. To achieve more accurate next POI recommendation for out-of-town users, an adaptive attentional deep neural model HOPE is proposed in this paper for modeling user’s out-of-town dynamic preferences precisely. Aside from hometown preferences of a user, it captures the long and short-term preferences of the user in out-of-town areas using “Asymmetric-SVD” and “TC-SeqRec” respectively. In addition, toward the data sparsity problem of out-of-town preference modeling, a region-based pattern discovery method is further adopted to capture all visitor’s crowd preferences of this area, enabling out-of-town preferences of cold start users to be captured reasonably. In addition, we adaptively fuse all above factors according to the contextual information by adaptive attention, which incorporates temporal gating to balance the importance of the long-term and short-term preferences in a reasonable and explainable way. At last, we evaluate the HOPE with baseline sequential models for POI recommendation on two real datasets, and the results demonstrate that our proposed solution outperforms the state-of-art models significantly.

     

基于生成对抗模型的序列推荐算法

针对传统序列推荐算法时间信息和项目内容信息运用不充分的问题,该文提出基于生成对抗模型的序列推荐算法。通过生成对抗模型将序列建模与时间、内容信息建模分离,充分挖掘用户项目交互的序列信息和项目内容信息。运用卷积神经网络作为生成对抗模型的生成器,捕获用户项目交互的序列模式。运用注意力机制作为生成对抗模型的判别器,捕获交互序列的时间信息和项目内容信息。针对传统序列推荐算法时间信息建模不充分的问题,提出一种改进的时间嵌入方式,充分建模用户项目交互关于时间的周期性模式。利用生成对抗模型同时建模用户的稳定偏好和动态偏好,提升推荐系统的用户体验,并在公开数据集MovieLens-1M和Amazon-Beauty上与现有的优秀算法做比较。实验证明,该文所提出的算法在评价指标HR@N和NDCG@N上较基线方法均有一定提升。