一种分层注意力机制与用户动态偏好融合的序列推荐算法

针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确表示的问题,提出一种分层注意力机制用于学习高质量的项目表示.其次,针对循环神经网络的时间依赖性严重损害了用户近期偏好建模的问题,引入文本卷积神经网络来提取循环隐藏状态之间的短期序列模式,并根据用户意图将用户长期偏好与近期偏好进行动态融合.此外,针对传统自注意力机制无法对序列中元素的相对位置信息进行建模的问题,对现有的自注意力机制进行了改进,充分捕获序列中元素的相对位置信息.并在公开数据集MovieLens-1M与Amazon-Book上与现有优秀算法作比较,实验结果证明了所提算法的有效性.     

双通道异构图神经网络序列推荐算法

基于用户行为序列的推荐系统的目的是根据上一次序列的顺序预测用户的下一次点击。目前的研究一般是根据用户行为序列中项目的转换来了解用户偏好。然而,行为序列中的其他有效信息被忽略,如用户配置文件,这会导致模型无法了解用户的特定偏好。提出了一种基于双通道异构图神经网络的用户行为序列推荐算法（DC-HetGNN）,该方法通过异构图神经网络通道和异构图线图通道学习行为序列嵌入,并捕获用户的特定偏好。DC-HetGNN会根据行为序列构造包含各种类型节点的异构图,可以捕获项目、用户和序列之间的依赖关系。其次,异构图神经网络通道和异构图线图通道捕获物品复杂转换及序列之间的交互信息,并学习包含用户信息的物品嵌入。最后,考虑到用户长期和短期偏好的影响,将局部和全局序列嵌入与注意力网络相结合,得到最终的序列嵌入。在两个电商用户行为序列数据集Diginetica和Tmall上进行的实验表明,DCHetGNN与新近模型FGNN相比在指标平均倒数排名（MRR）和召回率（Recall）中平均分别提升2.08%和0.78%,与TGSRec相比在指标MRR@n和Recall@n中平均分别提升2.70%和0.49%。     

融合自注意力机制与长短期偏好的序列推荐模型

针对现有的序列推荐算法仅利用短期顺序行为进行推荐,而没有充分考虑用户的长期偏好和项目之间更深层次的联系等问题,提出一种融合自注意力机制与长短期偏好的序列推荐模型(combines self-attention with long-term and short-term recommendation,CSALSR)。该模型首先建模用户和项目的潜在特征表示,将用户短期交互序列中的项目成对编码为三向张量,然后经过自注意力机制模块并使用卷积神经网络(convolutional neural network,CNN)从用户的顺序模式中提取项目间更深层次的联系。同时考虑用户的长期偏好,将相似用户的嵌入作为补充增强用户表征。在MovieLens-1M和Gowalla数据集上,实验结果表明提出的方法在准确率precision@N、召回率recall@N、均值平均精度(mean average precision,MAP)上优于其他方法。     

基于层次异构图注意力网络的虚假评论检测

针对虚假评论检测中不能充分利用评论的非语义特征的问题,提出了一种新的基于层次注意力机制与异构图注意力网络的层次异构图注意力网络（HHGAN）模型。首先,通过层次注意力机制学习评论文本中词级别和句级别的文档表示,重点捕获对虚假评论检测有重要意义的单词和句子;然后,将学习到的文档表示作为节点,并选取评论中非语义特征作为元路径来构建具有双层注意力机制的异构图注意力网络;最后,设计一个多层感知器（MLP）用以判别评论类别。实验结果表明,HHGAN模型在yelp.com中提取的餐厅数据集和酒店数据集上的F1值分别到达0.942和0.923,效果明显优于传统的卷积神经网络（CNN）模型和其他神经网络基准模型。     

基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型

针对现有深度知识追踪模型存在输入习题间复杂关系捕获能力弱、无法有效处理长序列输入数据等问题,提出了基于自注意力机制和双向GRU神经网络的深度知识追踪优化模型(KTSA-BiGRU)。首先,将学习者的历史学习交互序列数据映射为实值向量序列;其次,以实值向量序列作为输入训练双向GRU神经网络,利用双向GRU神经网络建模学习者的学习过程;最后,使用自注意力机制捕获练习题之间的关系,根据双向GRU神经网络输出的隐向量和注意力权重计算学习者正确回答下一问题的概率。实验在三个公共数据集上的性能分析优于现有的知识追踪模型,能提高深度知识追踪的预测精度。     

基于ACNNC模型的中文分词方法

目前,现有中文分词模型大多是基于循环神经网络的,其能够捕捉序列整体特征,但存在忽略了局部特征的问题。针对这种问题,该文综合了注意力机制、卷积神经网络和条件随机场,提出了注意力卷积神经网络条件随机场模型(Attention Convolutional Neural Network CRF, ACNNC)。其中,嵌入层训练词向量,自注意力层代替循环神经网络捕捉序列全局特征,卷积神经网络捕捉序列局部特征和位置特征,经融合层的特征输入条件随机场进行解码。实验证明该文提出的模型在BACKOFF 2005测试集上有更好的分词效果,并在PKU、MSR、CITYU和AS上取得了96.2%、96.4%、96.1%和95.8%的F₁值。     

面向会话推荐的注意力图神经网络

面向会话的推荐方式起源于无法获得用户历史数据的应用场景,它是通过匿名会话来预测用户的行为.现有面向会话的推荐方法,虽然可以准确获得项目嵌入和考虑项目的复杂转换,但不能从多维度提取会话序列中隐藏的用户的长期兴趣和短期偏好,造成推荐性能低.该文引入注意力机制,提出一种多头注意力机制和软注意力机制有机结合的新机制,并据此提出面向会话推荐的注意力图神经网络.该注意力机制通过给不同的输入数据赋予不同权重,实现对当前推荐任务更为关键的信息的聚焦,以此从不同角度提取用户的兴趣和偏好.该模型在电商数据集上进行实验,与已有的基准模型相比,该文所提模型在各项评论指标上均有显著提升.在Dgeca数据集上,P@20可达61.77%,充分表明了所提方法的有效性.     

基于双指导注意力网络的属性情感分析模型

鉴于深度学习技术的不断发展,越来越多的研究者倾向于使用深度神经网络学习文本特征表示用于情感分析,其中序列模型(sequence models)和图神经网络(graph neural networks)已得到广泛的应用,并取得了不错的效果.然而,对于属性情感分类任务,属性对象与其他单词之间存在远距离的依赖关系,虽然序列型神经网络能捕获句子的上下文语义信息,但是对词语之间的远距离依赖关系无法进行有效学习;而图神经网络虽然可以通过图结构聚合更多的属性依赖信息,但会忽略有序词语间的上下文语义联系.因此结合双向长短时记忆网络(bi-directional long short-term memory, BiLSTM)和图卷积神经网络(graph convolutional network, GCN),提出一种基于双指导注意力网络(bi-guide attention network, BiG-AN)的属性情感分析模型.该模型通过交互指导注意力机制,同时关注到文本的上下文信息和远距离依赖信息,提高了模型对于文本属性级别情感特征的表示学习能力.在4个公开数据集Laptop, Rest14,Rest1...     

一种用于多域对话状态追踪的知识增强与自注意力引导的图神经网络

对话状态追踪是对话系统的重要组成部分,旨在从用户与系统的对话中跟踪用户意图,其通常表示为槽位-槽值对序列.近年来,深度神经网络模型在对话状态追踪问题上取得了较大进展.然而,现有模型在槽位相关性建模方面还存在可拓展性差与易引入噪声等问题.针对上述问题,本文提出了一种知识增强与自注意力引导的图神经网络KESA-GNN(Knowledge-Enhanced&Self-Attention Guided Graph Neural Network).首先,KESA-GNN通过外部知识嵌入增强槽的语义表征提升多头自注意力机制对槽位间相关性的辨别能力.其次,为了精确建模槽位间的诸如共指、共现等相关性,提出了一种自注意力引导的图神经网络建模槽位相关性.该网络采用多头注意力机制获得槽位间的注意力矩阵以及槽位表征,通过Max-N Relation算法获得注意力矩阵中强相关关系集,将稠密的注意力矩阵稀疏化,从而引导图神经网络中强相关槽位间的信息传播,降低无关槽位的噪声影响.最后,KESA-GNN采用门控融合机制过滤槽位多头注意力和图神经网络输出的槽位表征,从而获取更准确的槽位表征向量,进一步提升了KE...     

基于双通道轻量图卷积的序列推荐算法

传统基于图神经网络的序列推荐算法,在构图阶段忽略了其他用户序列中项目的转换关系,针对这一问题,提出了一种基于双通道轻量图卷积的序列推荐算法。首先,为目标用户找到其邻居用户序列,将目标用户序列和得到的邻居序列合并成一个有向序列图,充分利用了用户之间潜在的协作信息。然后,通过双通道轻量图卷积,分别对2种序列进行信息传播,每个通道通过指数分母的形式组合每一层的信息,融合2个通道得到的嵌入生成最终的项目嵌入。最后,对得到的项目嵌入通过后几项取平均的方式提取短期偏好,再通过引入挤压激励网络的多头自注意力机制提取长期偏好,整合长短期偏好得到用户的最终偏好。在2个公开数据集Beauty和MovieLens-20M上进行充分的实验并验证了算法的有效性。     

基于生成对抗模型的序列推荐算法

针对传统序列推荐算法时间信息和项目内容信息运用不充分的问题,该文提出基于生成对抗模型的序列推荐算法。通过生成对抗模型将序列建模与时间、内容信息建模分离,充分挖掘用户项目交互的序列信息和项目内容信息。运用卷积神经网络作为生成对抗模型的生成器,捕获用户项目交互的序列模式。运用注意力机制作为生成对抗模型的判别器,捕获交互序列的时间信息和项目内容信息。针对传统序列推荐算法时间信息建模不充分的问题,提出一种改进的时间嵌入方式,充分建模用户项目交互关于时间的周期性模式。利用生成对抗模型同时建模用户的稳定偏好和动态偏好,提升推荐系统的用户体验,并在公开数据集MovieLens-1M和Amazon-Beauty上与现有的优秀算法做比较。实验证明,该文所提出的算法在评价指标HR@N和NDCG@N上较基线方法均有一定提升。     

基于用户长短期兴趣与知识图卷积网络的推荐

基于知识图谱的推荐可以提高推荐的精确性、多样性和可解释性.结合知识图谱与用户长短期兴趣提出了基于用户长短期兴趣与知识图卷积网络的推荐模型(LSKGCN).在知识图谱推荐算法的基础上提出了将用户长期兴趣偏好与短期兴趣偏好结合的用户表示方法.根据时间筛选近期历史项目并通过知识图卷积网络得到历史项目的向量表示,通过注意力机制得到短期兴趣表示.根据与所有历史项目的最小欧氏距离得到长期兴趣表示.最后在真实数据集MovieLens-20、Amazon Music、Last.FM上进行测试,验证了该算法的有效性.     

基于注意力机制的多尺度空洞卷积神经网络模型

现有的时间知识图谱表示方法不能较好地捕获四元组内的复杂关系,而基于神经网络的模型大都无法建模随时间变化的知识,不能捕获丰富的特征信息,实体和关系间的交互性也较差.因此,文中提出基于注意力机制的多尺度空洞卷积神经网络模型.首先利用长短期记忆网络获得时间感知的关系表示.再利用多尺度空洞卷积神经网络提高四元组的交互性.最后,使用多尺度注意力机制捕获关键特征,提高模型的补全能力.在多个公开时间数据集上的链路预测实验表明,文中模型性能较优.     

基于混合神经网络的文本分类方法

为更好解决卷积神经网络提取特征不充分,难以处理长文本结构信息和捕获句子语义关系等问题,提出一种融合CNN和自注意力BiLSTM的并行神经网络模型TC-ABlstm.对传统的卷积神经网络进行改进,增强对文本局部特征的提取能力;设计结合注意力机制的双向长短期记忆神经网络模型来捕获文本上下文相关的全局特征;结合两个模型提取文...     

基于数据关联感知的无监督深度融合指针网络模型

为了提高组合优化问题可行解集合的收敛性和泛化性,根据不同无监督学习策略的特点,提出一种基于数据关联感知的深度融合指针网络模型(DMAG-PN),模型通过指针网络框架将Mogrifier LSTM、多头注意力机制与图卷积神经网络三者融合.首先,编码器模块中的嵌入层对输入序列进行编码,引入多头注意力机制获取编码矩阵中的特征信息;然后构建数据关联模型探索序列节点间的关联性,采用图卷积神经网络获取其多维度关联特征信息并融合互补,旨在生成多个嵌入有效捕捉序列深层的节点特征和边缘特征;最后,基于多头注意力机制的解码器模块以节点嵌入数据和融合图嵌入数据作为输入,生成选择下一个未访问节点的全局概率分布.采用对称旅行商问题作为测试问题,与当前先进算法进行对比,实验结果表明,所提出DMAG-PN模型在泛化性和求解精确性方面获得较大的改进与提高,预训练好的DMAG-PN模型能够直接对大规模实例进行端到端的求解,避免传统算法迭代搜索的过程,具有较高的求解效率.     

结合注意力机制与双向LSTM的中文事件检测方法

事件检测是信息抽取领域的重要任务之一。已有的方法大多高度依赖复杂的语言特征工程和自然语言处理工具,中文事件检测还存在由分词带来的触发词分割问题。该文将中文事件检测视为一个序列标注而非分类问题,提出了一种结合注意力机制与长短期记忆神经网络的中文事件检测模型ATT-BiLSTM,利用注意力机制来更好地捕获全局特征,并通过两个双向LSTM层更有效地捕获句子序列特征,从而提高中文事件检测的效果。在ACE 2005中文数据集上的实验表明,该文提出的方法与其他现有的中文事件检测方法相比性能得到明显提升。     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

基于依存图网络的汉越神经机器翻译方法

汉越神经机器翻译是典型的低资源翻译任务，由于缺少大规模的平行语料，可能导致模型对双语句法差异学习不充分，翻译效果不佳。句法的依存关系对译文生成有一定的指导和约束作用，因此，该文提出一种基于依存图网络的汉越神经机器翻译方法。该方法利用依存句法关系构建依存图网络并融入神经机器翻译模型中，在Transformer模型框架下，引入一个图编码器，对源语言的依存结构图进行向量化编码，利用多头注意力机制，将向量化的依存图结构编码融入到序列编码中，在解码时利用该结构编码和序列编码一起指导模型解码生成译文。实验结果表明，在汉越翻译任务中，融入依存句法图可以提升翻译模型的性能。     

基于图卷积网络的短时交通速度预测

交通预测是构建智能交通系统的重要技术,实时准确的交通预测有利于规划路线,提高出行效率。为提高交通速度预测精度,提出一种基于图卷积网络的短时交通速度预测模型。首先对交通速度数据进行时空特征分析,然后结合数据空间特性构造可学习的邻接矩阵来建立图卷积网络,同时考虑到交通数据的时间特性,因此在图卷积的基础上又添加了长短期记忆网络和注意力机制来共同构建预测模型。实验结果表明由于同时考虑了交通速度数据的时空特性,本文模型均方根误差、平均绝对误差和平均绝对百分比误差均小于传统模型和单个模型,验证了提出的模型预测精确度更高。