融合时空网络和自注意力的兴趣点序列推荐

针对现有的序列推荐算法仅利用长短期顺序行为和用户交互行为进行推荐,没有充分考虑用户交互行为之间的时空间隔信息对用户推荐序列更深层影响的问题,提出一种融合时空网络和自注意力的兴趣点序列推荐模型。将用户签到之间的时间和空间间隔信息融入门控循环单元网络,使用用户的历史签到序列信息获取用户的偏好,通过自注意力机制对签到地点进行建模,获得用户对于模型的权重序列,通过签到地点与候选地点的时间间隔和空间间隔匹配兴趣点,为用户推荐一个兴趣点序列。在两个数据集上的实验结果表明,提出方法在召回率上优于之前先进的方法。     

一种基于社交行为融合的自注意力序列推荐模型

与协同过滤相比,序列推荐能很好的捕捉用户兴趣偏移.在序列推荐中自注意力机制可以捕获长时间依赖关系,所以有很大优势,但是面对数据稀疏性问题,仍然难以获得较好结果.针对推荐系统的数据稀疏问题,借鉴社交推荐模型的社交关系融合思想,提出了一种基于社交行为融合的自注意力序列推荐模型(SBFR).该模型使用自注意力机制生成用户的动...     

融合自注意力机制与长短期偏好的序列推荐模型

针对现有的序列推荐算法仅利用短期顺序行为进行推荐,而没有充分考虑用户的长期偏好和项目之间更深层次的联系等问题,提出一种融合自注意力机制与长短期偏好的序列推荐模型(combines self-attention with long-term and short-term recommendation,CSALSR)。该模型首先建模用户和项目的潜在特征表示,将用户短期交互序列中的项目成对编码为三向张量,然后经过自注意力机制模块并使用卷积神经网络(convolutional neural network,CNN)从用户的顺序模式中提取项目间更深层次的联系。同时考虑用户的长期偏好,将相似用户的嵌入作为补充增强用户表征。在MovieLens-1M和Gowalla数据集上,实验结果表明提出的方法在准确率precision@N、召回率recall@N、均值平均精度(mean average precision,MAP)上优于其他方法。     

面向推荐系统的分期序列自注意力网络

在推荐系统中,为了充分表达用户反馈数据内部的相互依赖和序列性,准确提取用户的长期/一般偏好、应对数据的动态性,本文提出了一种分期序列自注意力网络(long-term & short-term sequential self-attention network,LSSSAN)进行序列推荐。模型采用自注意力机制和GRU捕捉了用户反馈数据之间的相互依赖和序列性;模型采用注意力机制为不同反馈数据赋予不同权重以动态捕捉重点信息,同时考虑了上下文的动态性;模型基于用户的长期反馈数据,准确表达了用户的长期/一般偏好。该模型在两个数据集上进行训练和测试,结果表明该模型的推荐效果整体优于之前的相关工作。     

基于自注意力机制与知识图谱的序列推荐算法

针对现有的序列推荐算法难以充分挖掘序列间内在关系,以及项目之间更深层次联系等问题,提出一种新颖的序列推荐算法.算法主要分为两个主要部分,即项目嵌入和偏好学习.首先基于知识图谱创建一种新的项目嵌入方法,用于获得每个项目的统一表示.然后,通过自注意力机制学习序列的上下文信息,获取用户的个性化偏好向量,生成下一项推荐.在真实...     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

基于自注意力网络的共享账户跨域序列推荐

共享账户跨域序列推荐(shared-account cross-domain sequential recommendation,SCSR)是指在多个用户共同使用一个账户和用户的行为会在多个域中产生的情况下,给该账户推荐下一个可能会点击的项目.与传统的序列推荐任务相比,共享账户跨域序列推荐主要面临2方面的挑战:1)每一个账户里的交互行为是由多个用户产生的,并且这些用户的行为是混合在一起的;2)用户在1个域中产生的交互行为可能会提升推荐系统对该用户在其他域的推荐质量.目前,已有的一些相关工作大都是基于循环神经网络(recurrent neural network,RNN)的方法,但由于RNN本身固有的一些缺陷,导致基于RNN的方法不仅非常耗时,而且不能够很好地捕获交互行为之间的长期依赖关系针对SCSR问题,提出了基于自注意力的跨域推荐模型(self-attention-based cross-domain recommendation model,SCRM)来解决这2个挑战具体而言,首先引入1个多头自注意力网络来建模1个共享账户中多个用户参与的交互行为.然后,提出了一个基于多层交叉映射感知网络的跨域传输单元,以实现借助一个域的信息来提高另一个域的推荐质量最后,通过一个混合推荐解码器整合了来自2个域的信息以实现在不同域中的推荐.在真实数据集HVIDEO上进行了实验,实验结果表明,与目前最新的基准方法相比,所提出的模型能在MRR和Recall 这 2个指标上取得了更加优异的结果;在运行效率上,比基于RNN的方法取得了更短的训练和学习时间.     

融合序列局部信息的日期感知序列推荐算法

基于自注意力机制的序列推荐算法利用用户的交互序列建模用户的动态偏好,预测用户未来的行为。但是,将交互序列直接输入自注意力层将会限制算法对序列局部关联信息的有效利用。此外,现有的大部分推荐算法利用用户最近的行为表征与目标项目的点积计算项目得分,这将削弱先前交互项目对推荐结果的影响。提出融合序列局部信息的日期感知序列推荐算法,使用多个垂直过滤器融合各交互项目在交互序列中的多种局部关联信息,同时使用交叉注意力机制捕获所有历史交互项目和目标项目的关系,并且抛弃了传统的位置嵌入方法,改用交互发生的日期作为绝对时间嵌入。在多个公开数据集上的实验表明,该算法在不同的评估指标上较基线算法均有一定程度的提升。     

基于注意力机制的Java API序列推荐方法

软件开发者在软件代码中如何正确使用API和API序列（APIs）,是一个需要学习的困难过程.于是面对不熟悉函数库或像Github那样包含大量APIs的代码仓库,需要一些推荐工具或系统辅助开发者的APIs使用.目前我们所知最好的方法DeepApi能较好理解用户的查询语义,但基于RNN的模型存在问题：（1）没有考虑每个单词的权重;（2）将输入序列压缩为一个固定长度的向量,损失了较多有用信息;（3）句子过长会使关键信息丢失.为此,本文使用了一种基于注意力机制的模型,可以区分每个单词的重要程度并解决长查询输入所产生的长距离依赖问题.我们从Github上面爬取了649个Java开源项目,经过处理得到有114 364对注释-API序列的训练集.实验结果表明我们的方法比DeepApi方法对于BLUE指标在Top1、Top5、Top10上均能提升约20%以上.     

融合知识图谱与注意力机制的个性化序列推荐

序列推荐系统可以根据用户和物品交互的时间序列信息,精确预测用户下一次交互物品.现有的序列推荐算法存在用户兴趣过渡拟合的问题,导致推荐内容同质化严重,从而无法实现个性化推荐.基于此,本文提出一种融合知识图谱与注意力机制的个性化序列推荐算法(SR-KGA):首先,引入知识图谱,通过图卷积网络对物品进行嵌入表示;其次,通过自注意力机制和多头注意力机制构建序列到序列(seq2seq)模型,最后,在损失函数中加入多样性正则项;实现用交互序列来预测未来可能交互的物品序列,从而进行推荐.通过在真实的数据集上实验,SR-KGA在保证推荐准确度的同时,提升了推荐列表的多样性,实现了用户个性化推荐.     

LBSN中利用深度学习的POI推荐方法

提出一种基于位置的社交网络中利用深度学习的POI推荐方法。建立一个地理时空注意力网络,以发现总体序列依赖性和微妙的POI-POI关系;将签到序列中连续的地理距离和时间间隔信息加入到地理时空注意力网络中,建立用户个性化移动行为和挖掘用户个性化时空偏好;设计特定于上下文的共同注意力网络,通过从签到历史中自适应选择相关签到活动来学习更改用户偏好,使地理-时空门控循环单元网络(geographical-spatiotemporal gated recurrent unit network,GSGRUN)能够区分不同签到的用户偏好程度。在Foursquare和Gowalla数据集上的实验结果表明,所提算法能够显著提升POI推荐方法的推荐匹配度。     

融合自注意力和图卷积的多视图群组推荐

为了解决大多数现有的群组推荐仅仅从群组和用户的单一交互中学习群组表示,以及固定融合策略难以动态调整权重的问题。提出了一种融合自注意力和图卷积的多视图群组推荐模型（MVGR）,设计了成员级、项目级和组级三个不同的视图,来捕捉群组、用户和项目三者之间的高阶交互信息,缓解数据稀疏问题,增强群组表示建模过程;对于项目级视图,利用基于二分图的图卷积神经网络来学习群组偏好向量以及项目嵌入;进一步提出了自适应融合组件来动态调整不同视图权重,得到最终的群组偏好向量。在两个真实数据集上的实验结果表明,与基线模型相比,MVGR模型的命中率（HR）和归一化折损累计增益（NDCG）在Mafengwo数据集上平均提高了8.89个百分点和1.56个百分点,在CAMRa2011数据集上平均提高了2.79个百分点和2.7个百分点。     

融合多头自注意力的问答社区专家推荐算法

专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首先,构造由卷积神经网络和注意力机制组成的问题编码器,来处理目标问题和用户历史回答问题,提取对应的问题表征;其次,将用户历史回答问题序列当作时间序列,利用多头自注意力机制学习序列中所蕴涵的动态兴趣表征,结合用户的静态兴趣表征,获取用户的综合兴趣表征;最后,将目标问题表征和用户综合表征进行相似性计算产生推荐结果。利用来自知乎问答社区的真实数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法性能要明显优于目前较流行的深度学习专家推荐算法。     

一种分层注意力机制与用户动态偏好融合的序列推荐算法

针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确表示的问题,提出一种分层注意力机制用于学习高质量的项目表示.其次,针对循环神经网络的时间依赖性严重损害了用户近期偏好建模的问题,引入文本卷积神经网络来提取循环隐藏状态之间的短期序列模式,并根据用户意图将用户长期偏好与近期偏好进行动态融合.此外,针对传统自注意力机制无法对序列中元素的相对位置信息进行建模的问题,对现有的自注意力机制进行了改进,充分捕获序列中元素的相对位置信息.并在公开数据集MovieLens-1M与Amazon-Book上与现有优秀算法作比较,实验结果证明了所提算法的有效性.     

结合词向量和自注意力机制的设计素材推荐系统

当设计师使用文本在设计库中检索素材时,基于词匹配的搜索无法有效地识别文本中的设计意图并推荐合适的素材.对此,提出一个结合词向量和自注意力机制的设计素材推荐系统.首先从预训练词向量模型中获取文本的词向量表征;然后利用自注意力机制学习文本中不同词的权重以及文本与设计语义间的映射关系;最后基于模型输出与向量相似,检索并重排序设计素材形成推荐.所提系统还能检索带有不同语义标签的素材数据,通过计算其语义与设计语义的词相似作为权重,转换其数据维度与模型输出维度一致.基于1 300个电商设计案例和200种字体进行实验的结果表明,用户评估推荐结果的有效率分别为55%和57.3%,处于同类工作中上水平;验证了该系统的可行性及有效性.     

融合上下文信息与自注意力机制的群组推荐算法

针对群组推荐中组内成员存在偏好动态复杂性的问题,群组成员间的偏好会彼此影响,提出了一种融合上下信息与自注意力机制的群组推荐算法。首先,为了更好地捕捉群组成员间的动态关系,利用自注意力机制自动学习群组内用户的上下文信息与群组中其他成员间的关系权重;其次,根据自注意力机制学习到的组矩阵取其均值嵌入得到群组偏好表示;最后,根据群组偏好利用贝叶斯个性化排序方法进行群组推荐。将提出的方法在MovieLens-1M和CAMRa2011两个数据集上进行实验,并且与基准算法进行比较分析,该方法在推荐的命中率HR和NDCG两个指标上均有提升,实验结果证明该方法得到了更优的群组推荐结果。     

融合深度去噪自编码器和注意力机制的推荐算法

传统推荐算法无论在特征提取还是相似度计算方面仍存在数据稀疏和大量噪声数据问题,导致推荐效率不高、用户满意度低等问题,由此提出一种融合深度去噪自编码器和注意力机制的推荐算法。将深度去噪自编码器融入到基于项目相似度的协同过滤推荐算法中,同时加入了注意力机制,以惩罚活跃用户对实验结果的影响,既可以挖掘到用户与项目的线性特征又可以学习到用户与项目非线性特征。实验选取了MovieLens和Pinterest两个公开数据集,与传统推荐算法和近些年较先进算法相比,该算法能够显著提升传统推荐算法的性能,并可以缓解传统推荐算法存在的数据稀疏和冷启动问题。     

融合时空感知GRU和注意力的下一个地点推荐

针对循环神经网络（RNN）的门控循环单元（GRU）在进行地点推荐时没有考虑地点的时间和空间信息的影响,提出了融合时空感知的GRU模型。另外,对于签到序列中不相关的签到数据会产生噪声的问题,提出了融合时空感知的GRU和注意力的下一个地点推荐模型（ST-GRU+Attention）。首先,通过计算两个地点之间时间间隙和距离间隙,在GRU模型的基础上增加时间门和空间门,设置权重矩阵,控制时间信息和空间信息对推荐下一个地点的影响;然后,引入注意力机制,通过计算用户偏好的注意力权重得分,得到用户的注意力权重系数,获取用户的个性化偏好;最后,通过贝叶斯个性化排序（BPR）算法构造目标函数并学习模型参数。实验结果表明,与个性化马尔可夫链和用户位置受限的推荐方法（FPMC-LR）、基于个性化排名度量嵌入的推荐方法（PRME）和融合时间和空间的循环神经网络（ST-RNN）的推荐方法相比,ST-GRU+Attention的准确度有了较大的提高,其准确率（Precision）和召回率（Recall）两项指标比较优的ST-RNN算法分别提高了15.4%和17.1%。ST-GRU+Attention推荐方法可以有效地改善地点推荐的结果。     

自注意力融合调制的弱监督语义分割

目的 现有图像级标注的弱监督分割方法大多利用卷积神经网络获取伪标签,其覆盖的目标区域往往过小。基于Transformer的方法通常采用自注意力对类激活图进行扩张,然而受其深层注意力不准确性的影响,优化之后得到的伪标签中背景噪声比较多。为了利用该两类特征提取网络的优点,同时结合Transformer不同层级的注意力特性,构建了一种结合卷积特征和Transformer特征的自注意力融合调制网络进行弱监督语义分割。方法 采用卷积增强的Transformer （Conformer）作为特征提取网络,其能够对图像进行更加全面的编码,得到初始的类激活图。设计了一种自注意力层级自适应融合模块,根据自注意力值和层级重要性生成融合权重,融合之后的自注意力能够较好地抑制背景噪声。提出了一种自注意力调制模块,利用像素对之间的注意力关系,设计调制函数,增大前景像素的激活响应。使用调制后的注意力对初始类激活图进行优化,使其覆盖较多的目标区域,同时有效抑制背景噪声。结果 在最常用的PASCAL VOC 2012（pattern analysis,statistical modeling and computational learning visual object classes 2012）数据集和COCO 2014 （common objectes in context 2014）数据集上利用获得的伪标签进行分割网络的训练,在对比实验中本文算法均取得最优结果,在PASCAL VOC验证集上,平均交并比（mean intersection over union,mIoU）达到了70.2%,测试集上mIoU值为70.5%,相比对比算法中最优的Transformer模型,其性能在验证集和测试集上均提升了0.9%,相比于卷积神经网络最优方法,验证集上mIoU提升了0.7%,测试集上mIoU值提升了0.8%。在COCO 2014验证集上结果为40.1%,与对比算法中最优方法相比分割精度提高了0.5%。结论 本文提出的弱监督语义分割模型,结合了卷积神经网络和Transformer的优点,通过对Transformer自注意力进行自适应融合调制,得到了图像级标签下目前最优的语义分割结果,该方法可应用于三维重建、机器人场景理解等应用领域。此外,所构建的自注意力自适应融合模块和自注意力调制模块均可嵌入到Transformer结构中,为具体视觉任务获取更鲁棒、更具鉴别性的特征。     

一种结合矩阵分解和深度学习技术的POI推荐模型

基于位置社交网络(Location-based social network, LBSN)的兴趣点(Point-of-Interest,POI)推荐算法是近年来的研究热点,有效的POI推荐具有极大的经济和社会效益。针对LBSN中的数据稀疏问题、用户细粒度兴趣(即用户的长期和短期兴趣)序列建模问题和联合多种影响因素的POI推荐问题,研究一种结合矩阵分解和带有注意力机制深度学习技术的POI推荐模型(CF-ADNN)。一方面,构造特征矩阵缓解签到数据稀疏问题,通过矩阵分解得到隐藏因子,计算POI的特征向量;另一方面,构建一种带注意力机制的用户细粒度兴趣的序列建模方式,有效学习用户长期和短期的兴趣特征,提高POI推荐精确度;结合上述两种方法,最终得到可以融合多种影响因素的POI推荐模型。并通过对比试验,进一步验证模型的推荐效果。