基于多头注意力机制和位置信息的xDeepFM推荐模型

为了解决推荐模型中无法挖掘用户兴趣多样性和捕捉用户行为序列之间的顺序信息,以及交互发生在元素级并非特征向量之间等问题,提出一种基于多头注意力机制和位置信息的xDeepFM推荐模型(extreme deep multiple attention and location information factorization machine,xDMALFM).首先通过多头注意力机制进行不同子空间的特征深度提取,然后利用位置信息去捕捉用户行为序列之间的顺序关系.最后,利用三个公开数据集进行对比实验,以AUC指标进行评估.实验结果表明所提算法相比xDeepFM模型具有更好的推荐性能,验证了其有效性与可行性.     

基于注意力机制的可解释点击率预估模型研究

在推荐系统研发中，点击率(Click-Through Rate, CTR)预估是非常重要的工作，点击率预估精度的提升直接影响到整个推荐系统的收益，对其性能和解释性的研究有助于理解系统决策的机理，同时还能帮助优化需求和系统设计。当前点击率预估深度模型多基于线性特征交互和深度特征提取进行设计。由于深度模型的黑盒特点，该类模型在解释性方面存在局限性，并且在先前的研究中，对点击率预估模型的解释性研究非常少。因此，文中基于多头自注意力机制，对该类模型的解释性进行研究，通过多头注意力机制对特征嵌入、线性特征交互和深度部分进行增强和解释，在深度部分设计了两种模型，即注意力增强的深度神经网络和注意力叠加的深度模型，通过计算每个模块的注意力得分对其进行解释。所提方法在多个真实数据集上进行了大量实验，结果表明所提方法能够有效提升模型效果，并且模型自身带有一定的解释性。     

融合知识图谱与注意力机制的个性化序列推荐

序列推荐系统可以根据用户和物品交互的时间序列信息,精确预测用户下一次交互物品.现有的序列推荐算法存在用户兴趣过渡拟合的问题,导致推荐内容同质化严重,从而无法实现个性化推荐.基于此,本文提出一种融合知识图谱与注意力机制的个性化序列推荐算法(SR-KGA):首先,引入知识图谱,通过图卷积网络对物品进行嵌入表示;其次,通过自注意力机制和多头注意力机制构建序列到序列(seq2seq)模型,最后,在损失函数中加入多样性正则项;实现用交互序列来预测未来可能交互的物品序列,从而进行推荐.通过在真实的数据集上实验,SR-KGA在保证推荐准确度的同时,提升了推荐列表的多样性,实现了用户个性化推荐.     

融合序列局部信息的日期感知序列推荐算法

基于自注意力机制的序列推荐算法利用用户的交互序列建模用户的动态偏好,预测用户未来的行为。但是,将交互序列直接输入自注意力层将会限制算法对序列局部关联信息的有效利用。此外,现有的大部分推荐算法利用用户最近的行为表征与目标项目的点积计算项目得分,这将削弱先前交互项目对推荐结果的影响。提出融合序列局部信息的日期感知序列推荐算法,使用多个垂直过滤器融合各交互项目在交互序列中的多种局部关联信息,同时使用交叉注意力机制捕获所有历史交互项目和目标项目的关系,并且抛弃了传统的位置嵌入方法,改用交互发生的日期作为绝对时间嵌入。在多个公开数据集上的实验表明,该算法在不同的评估指标上较基线算法均有一定程度的提升。     

基于注意力融合的图像描述生成方法

空间注意力机制和高层语义注意力机制都能够提升图像描述的效果,但是通过直接划分卷积神经网络提取图像空间注意力的方式不能准确地提取图像中目标对应的特征。为了提高基于注意力的图像描述效果,提出了一种基于注意力融合的图像描述模型,使用Faster R-CNN（faster region with convolutional neural network）作为编码器在提取图像特征的同时可以检测出目标的准确位置和名称属性特征,再将这些特征分别作为高层语义注意力和空间注意力来指导单词序列的生成。在COCO数据集上的实验结果表明,基于注意力融合的图像描述模型的性能优于基于空间注意力的图像描述模型和多数主流的图像描述模型。在使用交叉熵训练方法的基础上,使用强化学习方法直接优化图像描述评价指标对模型进行训练,提升了基于注意力融合的图像描述模型的准确率。     

基于数据关联感知的无监督深度融合指针网络模型

为了提高组合优化问题可行解集合的收敛性和泛化性,根据不同无监督学习策略的特点,提出一种基于数据关联感知的深度融合指针网络模型(DMAG-PN),模型通过指针网络框架将Mogrifier LSTM、多头注意力机制与图卷积神经网络三者融合.首先,编码器模块中的嵌入层对输入序列进行编码,引入多头注意力机制获取编码矩阵中的特征信息;然后构建数据关联模型探索序列节点间的关联性,采用图卷积神经网络获取其多维度关联特征信息并融合互补,旨在生成多个嵌入有效捕捉序列深层的节点特征和边缘特征;最后,基于多头注意力机制的解码器模块以节点嵌入数据和融合图嵌入数据作为输入,生成选择下一个未访问节点的全局概率分布.采用对称旅行商问题作为测试问题,与当前先进算法进行对比,实验结果表明,所提出DMAG-PN模型在泛化性和求解精确性方面获得较大的改进与提高,预训练好的DMAG-PN模型能够直接对大规模实例进行端到端的求解,避免传统算法迭代搜索的过程,具有较高的求解效率.     

基于复合卷积和自注意力的会话推荐

最近,基于卷积神经网络（convolutional neural networks,CNN）的方法显示了在会话数据建模中的潜力,尤其是在提取用户复杂的局部行为交互方面。递归神经网络（recurrent neural networks,RNN）很难从远距离学习项目依赖,而自注意力（self-attention,SA）结构具有对会话事件的顺序进行建模并捕获远距离项目之间交互关系的能力,对于会话数据来说是一种优越的选择。因此提出了一种复合卷积自注意力架构（compound convolutional and self-attention network,CCNN-SA）。该架构利用了两个卷积模块提取的复杂局部特征,同时使用了多头自注意力结构从会话事件中学习长期交互关系,这种灵活而统一的网络体系结构有利于对会话序列的各种重要特征进行综合建模。在两个来自电子商务的基准数据集上对所提出的模型进行了验证,在表征命中率和预测结果排名的评估指标Recall@20和MRR@20上,对于YOOCHOOSE数据集分别提升了2.79%和5.87%,在DIGINETIC数据集上分别提升了2.17%和6.43%,验...     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

融合时空网络和自注意力的兴趣点序列推荐

针对现有的序列推荐算法仅利用长短期顺序行为和用户交互行为进行推荐,没有充分考虑用户交互行为之间的时空间隔信息对用户推荐序列更深层影响的问题,提出一种融合时空网络和自注意力的兴趣点序列推荐模型。将用户签到之间的时间和空间间隔信息融入门控循环单元网络,使用用户的历史签到序列信息获取用户的偏好,通过自注意力机制对签到地点进行建模,获得用户对于模型的权重序列,通过签到地点与候选地点的时间间隔和空间间隔匹配兴趣点,为用户推荐一个兴趣点序列。在两个数据集上的实验结果表明,提出方法在召回率上优于之前先进的方法。     

基于自注意力网络的共享账户跨域序列推荐

共享账户跨域序列推荐(shared-account cross-domain sequential recommendation,SCSR)是指在多个用户共同使用一个账户和用户的行为会在多个域中产生的情况下,给该账户推荐下一个可能会点击的项目.与传统的序列推荐任务相比,共享账户跨域序列推荐主要面临2方面的挑战:1)每一个账户里的交互行为是由多个用户产生的,并且这些用户的行为是混合在一起的;2)用户在1个域中产生的交互行为可能会提升推荐系统对该用户在其他域的推荐质量.目前,已有的一些相关工作大都是基于循环神经网络(recurrent neural network,RNN)的方法,但由于RNN本身固有的一些缺陷,导致基于RNN的方法不仅非常耗时,而且不能够很好地捕获交互行为之间的长期依赖关系针对SCSR问题,提出了基于自注意力的跨域推荐模型(self-attention-based cross-domain recommendation model,SCRM)来解决这2个挑战具体而言,首先引入1个多头自注意力网络来建模1个共享账户中多个用户参与的交互行为.然后,提出了一个基于多层交叉映射感知网络的跨域传输单元,以实现借助一个域的信息来提高另一个域的推荐质量最后,通过一个混合推荐解码器整合了来自2个域的信息以实现在不同域中的推荐.在真实数据集HVIDEO上进行了实验,实验结果表明,与目前最新的基准方法相比,所提出的模型能在MRR和Recall 这 2个指标上取得了更加优异的结果;在运行效率上,比基于RNN的方法取得了更短的训练和学习时间.