基于标签推理和注意力融合的多标签文本分类方法

目前许多多标签文本分类方法主要关注文档表示,而丢失了大量标签相关的语义信息,导致分类效果不理想。针对以上问题,提出一种基于标签推理和注意力融合的分类方法,挖掘文档中与标签相关的特征以及相似标签之间的相关性,学习标签信息进行标签推理,同时采用注意力机制自学习地融合文档表示和标签表示,最终完成多标签分类任务。在AAPD和RCV1-V2数据集上进行实例验证,该方法的F1值分别达到了0.732和0.887,与其他最新方法相比其准确度均有提升,实验结果证明了标签推理和注意力融合策略的有效性。     

基于Transformer和双重注意力融合的分层交互答案选择模型

答案选择是问答系统中的关键组成部分,提升其准确性是问答系统研究的重要内容之一。近年来深度学习技术广泛应用于答案选择,获得了良好效果,但仍旧有一定的局限性。其中模型对问题语义信息利用度低、缺乏局部语义重视、句子间交互感知能力差等问题尤为突出。针对上述问题提出了一种基于Transformer和双重注意力融合的答案选择模型NHITAS（new hierarchical interactive Transformer for answer selection）。首先,在信息预处理部分提取问题类别和关键词对答案进行初步筛选,并引入外部知识作为句子额外语义补充;其次,采用分层交互的Transformer对句子进行语义上下文建模,提出了UP-Transformer（untied position-Transformer）和DA-Transformer（decay self-attention-Transformer）两种结构学习语义特征;最后,通过双重注意力融合过滤句子噪声,增强问题和答案之间的语义交互。在WikiQA和TrecQA数据集上对NHITAS的性能进行测试,实验结果表明所提模型对比其他模型,能够有效提升答案选择任务的效果。     

基于多视图注意力机制的多维度价格预测模型研究

传统的股票价格预测模型只针对单一维度价格进行预测,忽略了多维度价格之间的复杂关系。因此,为了更好地对股票价格进行准确预测和为决策者提供前瞻性信息,提出了一种新的基于多视图注意力机制的多维度价格预测模型。通过多视图的深度可分离卷积网络学习多维度股票价格潜在的复杂的输入—输出关系,更好地提取股票价格的时空特征,实现时空数据的智能关联,并使用注意力机制进一步提升模型的预测性能,进而通过时空多维度的股价历史数据来预测单和多时间步长股票价格。该模型与其他四种模型在中国银行股价数据集上进行实验和比较,发现所提模型在不同预测时长下相比于表现最好的模型,平均绝对误差分别降低了0.4%、0.5%、4.2%、3.9%,均方误差分别降低了0.8%、2%、1.9%、1.9%,平均百分比误差分别降低了0.15%、0.21%、1.24%和1.34%。因此所提模型预测精度最高,预测性能最好,并且在对其他维度的股票价格预测上具有普适性。     

基于位置社交网络的兴趣点推荐研究

兴趣点推荐是基于位置社交网络中的研究热点之一。首先对从Web of Science收集的兴趣点推荐研究文献进行了分析;然后分析了影响兴趣点推荐的多种因素,并在分析传统兴趣点推荐方法基础上重点从用户历史签到信息建模和用户社交生成信息提取两个方面对基于深度学习的兴趣点推荐方法进行了分析;最后,对未来可能提高兴趣点推荐效果的研究方向进行了展望。     

注入注意力机制的深度特征融合新闻推荐模型

现有新闻推荐模型在挖掘新闻特征和用户特征时,往往没有考虑所浏览新闻之间的关系、时序变化以及不同新闻对用户的重要性,从而缺乏全面性;同时,现有模型在新闻更细粒度的内容特征挖掘方面有欠缺.因此构建了一个能够全面而不冗余地进行用户表征并能提取新闻更细粒度片段特征的新闻推荐模型——注入注意力机制的深度特征融合新闻推荐模型.该模...     

融合知识图谱与注意力机制的推荐算法

为了解决信息过载问题,提出了一种融合知识图谱与注意力机制的推荐模型.在该模型中,将知识图谱作为辅助信息进行嵌入,可以缓解传统推荐算法数据稀疏和冷启动问题,并且给推荐结果带来可解释性.为了提升推荐准确率以及捕捉用户兴趣的动态变化,再结合深度学习中的神经网络以及注意力机制生成用户自适应表示,加上动态因子来更好地捕捉用户动态...     

结合注意力CNN与GNN的信息融合推荐方法

稀疏性问题一直是推荐系统面临的主要挑战,而信息融合推荐可以利用用户的评论、评分以及信任等信息发掘用户的偏好来缓解这一问题,从而为目标用户生成相应的推荐.用户、项目信息的充分学习是构建一个成功推荐系统的关键.但不同用户对不同项目有不同的偏好,且用户的兴趣偏好及社交圈是动态变化的.提出一种结合深度学习与信息融合的推荐方法来解决稀疏性等问题.特别地,构建了一种新的深度学习模型——结合注意力卷积神经网络(attention CNN)与图神经网络(GNN)的信息融合推荐模型ACGIF.首先,在CNN中加入注意力机制来处理评论信息,从评论信息中学习用户和项目的个性化表示.根据评论编码学习评论表示,通过用户/项目编码学习评论中用户/项目表示.加入个性化注意力机制来筛选不同重要性级别的评论.然后,利用GNN来处理评分和信任信息.对于每个用户来说,扩散过程从最初的嵌入开始,融合相关特性和捕获潜在行为偏好的自由用户潜在向量.设计了一个分层的影响传播结构,以模拟用户的潜在嵌入如何随着社交扩散过程的继续而演变.最后,对前两部分得到的用户对项目的偏好向量进行加权融合,获得最终的用户对于项目的偏好向量.在4组公开...     

融合多头自注意力机制和共同注意的图像问答模型

为了获取到更加细粒度的图像表示,防止图像特征获取时关键信息的丢失,论文采用融合多头自注意机制的图像特征提取模型,来获取图像特征。通过对问题文本信息使用自注意力机制并用来引导图像注意,增强问题文本特征与图像特征之间的关联性,获取图像特征中与问题文本相关的信息。将最终获取到的图像特征与问题特征进行多模态特征融合,并对融合特征进行分类预测。实验结果表明,论文方法在VQA1.0数据集上,总体准确率为64.6%,在VQA2.0数据集上,总体准确率为63.9%,从而验证了论文方法的有效性,相比一些经典的方法都有较好的提升。     

一种融合用户动态偏好和注意力机制的跨领域推荐方法

作为当今电子商务中的一项重要技术,推荐系统的重要性日益提升.在项目空间上用户的评分数据十分稀疏,导致推荐系统的质量不佳.商品评论中蕴含着丰富的信息,通过提取评论文本信息能够有效地减少数据稀疏性带来的影响.事实上,用户的偏好并非一成不变的,将不同时间段设置不同的权重能更有效地描述用户的整体状况.在神经网络算法广泛应用的背景下,将神经网络引入到跨领域推荐中可以发现不同领域用户偏好的映射关系.此外,注意力机制是一种流行的深度学习方法,将注意力机制与主题模型结合,提出一种基于注意力机制的跨领域推荐方法.首先,使用LDA(Latent Dirichlet Allocation)主题模型分别提取源领域和目标领域的项目主题分布.接着,将其与用户评分、时间权重因子、注意力机制结合,得到用户的动态偏好.然后,使用BP(Back Propagation)神经网络学习用户偏好的映射关系,并将用户在源领域与目标领域的偏好结合.最后,通过协同过滤的方法进行评分预测.实验结果表明,提出的推荐方法在亚马逊电子商品、影视与以及音乐的评分评论数据集上较其它传统推荐策略有着更好的推荐效果.     

基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。     

融合全局和近邻协同信息的会话推荐算法

现有基于会话的推荐算法主要通过挖掘单个目标会话的项目转换关系进行推荐,对来自其他不同会话中项目之间的复杂转换信息考虑较少。为此,提出一种融合全局和近邻协同信息的会话推荐算法SFGN-GNN,同时考虑来自全局与近邻会话的协同信息,以充分挖掘用户偏好。通过学习会话表示来表达用户偏好,先按目标会话与近邻会话的成对项目转移关系构建近邻图,依据所有会话中的成对项目转移关系构建全局图,再利用图神经网络获取目标会话节点近邻级和全局级的项目表示,采用融合门融合得到会话级项目表示,并在其中嵌入项目在目标会话中的位置信息和时间信息,然后通过软注意力机制得到最终的会话表示,最后经过softmax函数预测下一个可能交互的项目。在两个数据集上的实验验证了SFGN-GNN算法有效性。     

基于注意力机制的音乐深度推荐算法

在海量音乐中,如何根据用户的历史收听记录分析用户需求以实现歌曲推荐是音乐推荐领域具有挑战性课题之一。现有的音乐推荐方法仅简单将用户听过的所有音乐均作为音乐推荐的上下文,导致不同类型音乐学习到的上下文权重分配相同,其严重影响了音乐推荐精度。针对此问题,提出了一种基于注意力机制的音乐深度推荐方法,针对不同用户的历史收听音乐动态分配不同的注意力,即学习出不同的上下文权重,使推荐结果更符合用户的实际偏好。通过在公开音乐数据集Million Song Dateset上的测试,所提方法的推荐准确率有很大的提升。     

融合注意力机制的深度混合推荐算法

大量研究利用用户或项目的边信息来缓解视频推荐中的数据稀疏和冷启动问题,取得了一定的效果,但是没有关注辅助信息中的关键信息.针对此问题进行了研究,提出了一种融合双注意力机制的深度混合推荐模型.该模型通过融合自注意力机制的卷积神经网络挖掘项目端隐藏因子,同时融合自注意力机制的堆栈去噪自编码器提取用户端隐藏因子,深度挖掘项目端和用户端的重要信息.最后,通过结合概率矩阵分解实现视频评分预测.在两个公开数据集上的大量实验结果表明,提出的方法结果在已有ConvMF+、PHD、DUPIA等基线模型基础上有一定提升.     

融合画像和文本信息的轻量级关系图注意推荐模型

针对当前基于图神经网络的推荐系统受数据稀疏影响推荐效率不高的问题,提出融合画像和文本信息的轻量级关系图注意推荐模型(LightRGAN)。首先,利用用户画像和项目画像初始化用户和项目的嵌入表示。其次,引入评论、项目描述和项目类型作为辅助信息,并通过基于多头注意力机制的文本嵌入网络挖掘同一用户评论集和描述集中文本之间的潜在联系。然后,通过融合注意力机制的轻量级关系图卷积网络学习用户和项目的嵌入表示。最后,对各层嵌入表示加权求和并通过预测网络计算匹配分数。在三个公开数据集上的实验结果表明LightRGAN的效果优于多个现有的基线模型,评估指标HR@20、NDCG@20较最优基线模型最少提升了2.58%、2.37%。     

基于注意力机制的深度学习推荐研究进展

近年来,注意力机制AM被广泛应用到基于深度学习的自然语言处理任务中,基于注意力机制的深度学习推荐也成为推荐系统研究的一个新方向.探讨了注意力机制的结构和分类标准,从基于注意力机制的DNN推荐、CNN推荐、RNN推荐、GNN推荐4个方面分析了现有融合注意力机制的深度学习推荐研究的主要进展和不足,阐明了其中的主要难点,最后指出了多特征交互的注意力机制推荐、多模态注意力机制深度学习推荐、融入注意力机制的多种深度神经网络混合推荐和注意力机制的群组推荐等基于注意力机制的深度学习推荐未来的主要研究方向.     

基于自适应图卷积注意力神经协同推荐算法

随着互联网的快速发展,推荐系统可以用来处理信息过载的问题。由于传统推荐系统的诸多问题导致其无法处理发掘隐藏信息,提出一种自适应图卷积注意力神经协同推荐算法（ANGCACF）。首先获取用户和项目交互图,通过图卷积神经网络自适应的聚合用户和项目特征信息;其次对用户和项目特征信息添加自适应扩充数据,以解决数据稀疏性,利用注意力机制对用户和项目特征信息及添加的自适应扩充数据重新分配权重;最后将得到的用户和项目特征表示使用基于矩阵分解的协同过滤的算法框架得出最终推荐结果。在MovieLens-1M、MovieLens-100K和 Amazon-baby三个公开数据集上的实验表明,该算法在推荐准确率、召回率、MRR、命中率和 NDCG 五个指标上均优于基线方法。     

基于知识图谱的用户表征及在互补产品推荐中的应用

互补产品推荐旨在为用户提供经常一起购买的产品,以满足共同的需求。现有的互补产品推荐方法大多考虑对产品的内容特性(视觉和文本内容)建模,而没有考虑用户购买产品的偏好。为此设计了一种融合用户偏好的互补产品推荐模型(complementary product recommendation models that integrate user preferences, CPRUP)。该模型首先计算产品之间图像和文本特征的互补关系;然后将知识图谱与注意力机制相结合,基于n-hop邻居挖掘用户历史购买产品之间的相关性,提出一种基于知识图谱的用户表征来提取用户对互补产品的偏好;最后基于神经网络实现互补关系与用户偏好的共同学习。使用Amazon数据集进行实验,提出的CPRUP模型与次优基线模型相比,ACC提升了5%,precision提升了4%,表明CPRUP模型可以更准确地为用户推荐互补产品。     

基于多头注意力机制和位置信息的xDeepFM推荐模型

为了解决推荐模型中无法挖掘用户兴趣多样性和捕捉用户行为序列之间的顺序信息,以及交互发生在元素级并非特征向量之间等问题,提出一种基于多头注意力机制和位置信息的xDeepFM推荐模型(extreme deep multiple attention and location information factorization machine,xDMALFM).首先通过多头注意力机制进行不同子空间的特征深度提取,然后利用位置信息去捕捉用户行为序列之间的顺序关系.最后,利用三个公开数据集进行对比实验,以AUC指标进行评估.实验结果表明所提算法相比xDeepFM模型具有更好的推荐性能,验证了其有效性与可行性.     

基于元路径注意力机制的MOOC视频推荐方法

MOOC平台上,一个课程可能存在多个版本的视频,为向学生推荐一个满足学习兴趣的MOOC视频就需要分析学生兴趣与视频内容的关系,为此,提出一种基于元路径注意力机制的视频推荐方法Mrec。一方面,利用异构信息网（HIN）描述学习者和MOOC资源之间的关系,进而使用元路径表达学生和视频之间的交互关系;另一方面,利用注意力机制捕捉学生、视频、元路径的特征对学习兴趣的影响情况。具体来说,Mrec方法包括两层注意力机制：第一层是节点注意力层,通过邻居的特征加权联合节点自身的特征,利用多头注意力得到实体在不同元路径下的特征表示;第二层是路径注意力层,通过融合在不同元路径的指导下学习到的实体的特征表示来捕捉实体在不同兴趣下的特征表示,并将学习到的用户与视频实体输入到多层感知机（MLP）中得到预测分数来进行top-K推荐。在MOOCCube和MOOCdata数据集上进行实验的结果表明,Mrec的点击率、归一化折损累积收益（NDCG）、平均倒数排名（MRR）与受试者工作特征曲线下面积（AUC）均优于对比方法。