基于辅助记忆循环神经网络的视角级情感分析

现有视角级情感分析方法大多数利用视角词信息从句子中提取特征,不能同时利用视角和视角词信息,导致模型性能较低,为此文中提出基于辅助记忆循环神经网络的视角级情感分析方法.首先通过深度双向长短期记忆网络和单词的位置信息构建位置权重记忆,利用注意力机制结合视角词建立视角记忆.再联合位置权重记忆和视角记忆输入多层门循环单元,得到视角情感特征.最后由归一化函数识别情感极性.实验表明,相对基准实验,文中方法在3个公开数据集上的效果更好,该方法是有效的.     

基于情感知识的双通道图卷积网络的方面级情感分析

方面级情感分析是一项细粒度情感分析任务,其目标是对句子中给定的方面词进行情感极性分类。当前的情感分类模型大多在依存句法树上构建图神经网络,从依存句法树上学习方面词与上下文之间的信息,缺乏对句子中情感知识的挖掘。针对这个问题,文中提出了一种基于情感知识的双通道图卷积网络的情感分类模型(Dual-channel Graph Convolutional Network with Sentiment Knowledge, SKDGCN)。该模型由情感增强的依存图卷积网络(Sentiment-enhanced Dependency Graph Convolutional Network, SDGCN)和注意力图卷积网络(Attention Graph Convolutional Network, AGCN)组成,两个图卷积网络分别学习方面词与上下文词的句法依赖关系和语义关系。具体地,SDGCN在句法依存树上融合SenticNet中的情感知识以增强句子的依赖关系,使得模型既考虑了上下文词与方面词的句法关系,也考虑了上下文中意见词与方面词的情感信息;AGCN使用注意力机制学习方面词与句子中上下文的语...     

基于Key-Value关联记忆网络的知识图谱问答方法

基于知识图谱的问答(Question Answering over Knowledge Graph, KG-QA)系统通过对给定的自然语言问题进行语义解析,将问题映射到知识图谱〈主,谓,宾〉三元组,并对三元组进行推理得到问题的答案。由于自然语言具有多样性的特点,一个问题可能有多种表述,而三元组知识在知识图谱中却是规范的结构化数据,如何将自然语言问题映射到知识图谱三元组是KG-QA的难点。文中提出了一种新的Key-Value关联记忆网络,从知识图谱的角度出发,关注候选答案知识间的关联关系以及知识图谱中的知识与自然语言问题表征之间的关系。此外,在模型中引入了注意力机制,使其具有更好的可解释性。在WebQuestions数据集上进行实验,结果表明,所提方法的F1值比基于信息抽取的最优方法提高了5.9%,比基于语义分析的最优方法略有提高,验证了该方法的有效性。     

基于交叉注意力的方面级情感分析

方面级情感分析旨在识别句子中方面词的积极、消极和中性情绪。其关键在于方面词和句子中单词之间关系的学习。在学习单词之间关系时,现有卷积门控网络使用时间卷积方法,其局部时间窗口无法描述任意单词之间的关系。同时,现有时间注意力模型在分析单词之间的关系时,其注意力是相互独立的。为了分析句子中方面词与其他单词的复杂关联,提出一种基于交叉注意力和卷积门控网络的情感分析模型。对于给定的词向量特征,设计了一种交叉注意力模块。该模块对多头注意力中查询向量与关键字向量的匹配得分,添加交叉的线性映射,以融合多个注意力中的匹配得分,用于描述更复杂的方面词的上下文单词关系。使用卷积门控网络对局部单词关系进行编码,并设计了单词的位置编码模块,用于提供单词的位置编码特征,以分析位置编码对单词关系分析的作用。对上述编码的单词特征,使用时间池化获得句子描述,并使用全连接分类器进行情感分类标记预测。在Rest14和Laptop14数据集上的实验分析表明,提出的方法能有效估计方面级单词与其他单词之间得分关系。     

基于ELMo的混合注意力网络的方面级情感分析研究

方面级情感分析作为情感分析的一项细粒度任务,具有非常高的研究价值。方面词和对应的情感词之间的联系对于确定情感极性起着至关重要的作用。先前的研究大多仅利用一种注意力机制来关注句子和目标之间的联系,未考虑到词性中包含的情感信息。为解决这一问题,该文提出了一种基于ELMo的混合注意力网络(ELMo-based Hybrid Attention Network, EHAN)。与现有网络不同的是,模型不仅将ELMo与Transformer网络相结合来捕获文本信息的情感特征,还利用词性注意力机制对词性和单词进行交互获得方面与情感词之间的联系。在公开数据集上的实验结果表明,EHAN与基准模型相比在准确率和Macro-F₁值上都有显著提升,证明该方法可有效改善方面级情感分析的性能。     

基于注意力编码网络的细粒度文本情感分析研究

传统文本情感分析,通常从文本(可以是文档、段落或句子)整体出发,只能给出一整句话的情感值,无法准确表达用户对不同目标(情感附着物)的情感倾向.因此,本文以深度学习算法为基础进行细粒度情感分析研究.通过分析注意力编码网络的结构和算法原理,提出相应的情感分析框架,以及文本预处理和文本表示方法.该模型在公开数据集SemEval 2014上进行了实验,结果显示基于注意力编码网络的情感分析模型可以获得更高的准确率.     

基于注意力与门控机制相结合的细粒度情感分析

细粒度情感分析(fine-grained sentiment analysis)是自然语言处理领域的关键问题之一,其通过学习文本的上下文信息来进行特定方面的情感分析,可以帮助用户和商家更好地了解用户评论特定方面的情感.针对基于用户评论的方面级别细粒度情感分析任务,提出了BiGRU-Attention与门控机制(gate...     

用于方面级情感分析的图指导的差异化注意力网络

方面级情感分析旨在识别句子中每个方面的情感极性。近年来,将注意力机制和依存树语法结构信息相结合的方法被用于建模方面项和意见项间的依赖关系。然而,这类方法通常具有高度依赖依存树解析质量的缺点。此外,注意力机制也存在因权重分布密集而引入噪声的固有缺陷。为解决以上问题,该文设计并提出了用于方面级情感分析的图指导的差异化注意力网络模型。模型利用图指导机制帮助自注意力机制主动学习接近语法结构的注意力权重,减轻模型对依存树的依赖程度。同时利用注意力差异化操作鼓励注意力权重分布趋于离散,以有效减少噪声引入。在3个公开数据集上进行的实验,验证了该文所提出的方法能更合理地利用语义和语法信息,具有较为先进的情感分类性能。     

基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge, WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network, WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network, SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网...     

融合多注意力神经网络的方面级情感分析

针对现有方面级情感分析模型中特征向量信息不足和语义丢失问题,提出一种多注意力融合的神经网络模型。利用词向量注意力机制捕捉句子上下文和方面词之间的语义关系;利用位置注意力机制影响方面词周围的情感特征;利用自注意力机制捕捉序列内部特征用于加强序列表示。为验证模型的有效性,在SemEval 2014 Task 4和ACL 14 Twitter基准数据集上进行实验,实验结果表明,所提模型取得的性能优于比较方法。     

多头注意力记忆网络的对象级情感分类

细粒度的情感分类任务需要识别文本当中与评论对象相关度最高的观点词并进行情感极性分类.文中利用多头注意力机制改进记忆网络,提取不同对象情感分类特征,实现对象级情感分类.将文本的词嵌入向量存储在记忆组件中,使用多头注意力机制在多个特征空间同时建模文本整体语义与对象相关语义.利用前馈网络层整合多个特征空间下的信息作为分类特征.在SemEval-2014数据集及扩充的数据集上实验表明,文中方法有利于缓解方法的选择性偏好.     

基于词嵌入与记忆网络的方面情感分类

用户评论往往同时包含多个方面、多种情感,如何正确判断一条评论中不同方面的情感倾向性是方面情感分析的难点.文中提出基于词嵌入与记忆网络的方面情感分类.通过在记忆网络的不同模块引入方面词向量,加强方面词的语义信息,指导注意力机制捕捉方面相关的上下文信息,提升方面情感分类效果.在SemEval 2014任务4的短文本英文评论数据集和文中标注的长文本中文新闻数据集上实验表明,文中方法分类效果较好,在记忆网络框架下引入方面词嵌入信息是有效的.     

基于卷积记忆网络的视角级微博情感分类*

现有记忆网络模型中的上下文词之间相互独立,未考虑词序信息对微博情感的影响.因此文中提出基于卷积记忆网络的视角级微博情感分类方法,利用记忆网络可以有效对查询词与文本之间的语义关系进行建模这一特点,将视角与上下文进行抽象处理.通过卷积操作对上下文进行词序拓展,并利用这一结果捕获文中不同词语在上下文中的注意力信号,用于文本的加权表示.在3个公开数据集上的实验表明,相比已有方法,文中方法的正确率和宏F1值效果更好.     

面向属性抽取的门控动态注意力机制

在现阶段属性抽取研究中,现有注意力建模及训练较刚性(单句一次成型),而单句中不同词汇的上下文存在语境语义的差异,一致的注意力分布缺少动态的适应性.因此,文中提出面向属性抽取的门控动态注意力机制,利用双向长短时记忆网络捕获目标句中每个单词的隐层表示.在注意力模型处理词一级属性预测时,根据目标词及其上下文,计算适应该目标词的注意力分布向量,可以根据上下文的变化自动调整注意力权重的分配.借助门控调整注意力向量流向下一层神经元的信息量,最终使用条件随机场进行属性标记.应用2014-2016语义评估官方数据集验证文中方法的有效性,F1值均有所提高.     

基于图注意力网络和简单循环单元的化合物-蛋白质交互预测

现有基于深度学习的化合物-蛋白质交互预测方法未考虑数据的内部协变量偏移及序列数据的长距离依赖.针对此问题,文中提出基于图注意力网络和简单循环单元的化合物-蛋白质交互预测方法.利用图注意力网络-门控循环单元学习化合物分子的图级表示,利用多层简单循环单元学习氨基酸子序列的特征向量表示,结合多层前馈网络预测化合物-蛋白质的交互作用.实验表明,文中方法在2个公开数据集上的各项评估指标都有所提升,由此验证方法的有效性.     

基于知识图谱与关键词注意机制的中文医疗问答匹配方法

针对当前中文医疗领域高质量问答数据缺乏的问题,提出基于知识图谱与关键词注意机制的中文医疗问答匹配方法.首先,引入医学知识图谱,得到知识增强的句子特征.然后,加入关键词注意力机制,强调问题和答案句子之间的相互影响.在2个公开的中文医疗问答数据集cMedQA与webMedQA上的实验表明,当样本数据量较小时,文中方法的优势明显.消融实验也验证每个新增模块对文中方法的性能均有一定程度的提升.     

基于知识图谱的用户偏好神经建模框架

针对目前基于特征和基于路径的知识图谱感知推荐方法的不足,文中提出端到端的将知识图谱引入推荐系统的用户偏好神经建模框架(NUPM).该框架以用户在知识图谱中的历史访问项目为偏好起点,通过知识图谱中实体间的关系链接传播用户偏好,学习用户的潜在偏好,同时使用注意力网络融合各传播阶段偏好特征以构建最终的用户偏好向量.在真实数据集上的对比实验表明文中框架在个性化推荐中对用户偏好刻画的有效性.     

面向教育大数据情感分类的多方面情感注意力模型

针对高校课程评价方法效率较低、工作量较大等问题,文中提出多方面情感注意力模型(Multi-ASAM).使用神经网络将句子分别与句中的各个方面进行嵌入,加入情感资源注意力,在考虑方面间的关系对于情感极性影响的同时,考虑情感资源对于情感极性的贡献,从而取得更好的分类效果.实验表明,在教育领域和其它领域的应用中Multi-ASAM性能有部分提升.     

面向上下文注意力联合学习网络的方面级情感分类模型

针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能.