利用异构图神经网络实现情绪-原因对的有效抽取

情绪-原因对的自动抽取,是文本情感分析的新任务,旨在以子句为单位,从不带任何标注的原始文本中识别情绪表达,并确定产生相应情绪的原因,形成情绪-原因对。完成上述任务的关键是有效捕捉情绪和原因之间以及不同情绪-原因对之间的关联。针对现有研究在捕捉这些关联方面存在的粒度过粗、无法有效区分不同子句对之间因果关系的相互影响等不足,提出了一种基于异构图神经网络的情绪-原因对抽取方法。该方法首先构建以子句和子句对为顶点的异构图,其中子句和子句对之间以及不同的子句对之间存在不同类型的边,用于捕捉各种细粒度的关联;然后采用带有注意力机制的异构图神经网络顶点表达更新算法,对子句和子句对的初始表达进行迭代更新;接着将更新后的子句对表达输入到二元分类器,通过该分类器判断相应的子句对是否存在情绪-原因关系。在情绪-原因对抽取任务的基准数据集上进行的实验表明,所提基于异构图神经网络的方法具有稳定的效果提升,在F1值上比当前最好的方法高0.85%;如果底层编码器(用于得到初始的子句表达和子句对表达)采用BERT,F1值可以达73.12%,也优于底层编码器同样采用BERT的现有最新算法。     

基于图依存分析的情感原因对抽取任务

情感原因对抽取是情感分析任务中的子任务,旨在抽取出给定文档中的所有情感子句以及引起该情感所对应的原因子句。先前的研究在生成情感子句与原因子句表示时忽略了情感子句与原因子句之间的相互联系。为了解决上述问题,基于图依存分析的思想并融入了图注意力机制,提出了GAT-ECPE模型。该模型在获取到情感子句表示与原因子句表示时,将句向量作为节点输入图注意力层从而学习到子句之间关系的信息,而后进行双仿射映射得到情感原因对的编码表示。并且设置了多任务来将情感抽取与原因抽取任务建立联系。在ECPE数据集上的实验结果证明,本文模型相较于先前的一系列模型,在评估指标上有所提升。     

基于图神经网络的联合实体关系抽取

从非结构化文本中联合提取实体和关系是信息抽取中的一项重要任务。现有方法取得了可观的性能,但仍受到一些固有的限制,如错误传播、预测存在冗余性、无法解决关系重叠问题等。为此,提出一种基于图神经网络的联合实体关系抽取模型BSGB（BiLSTM+SDA-GAT+BiGCN）。BSGB分为两个阶段：第一阶段将语义依存分析扩展到语义依存图,提出融合语义依存图的图注意力网络（SDA-GAT）,通过堆叠BiLSTM和SDA-GAT提取句子序列和局部依赖特征,并进行实体跨度检测和初步的关系预测;第二阶段构建关系加权GCN,进一步建模实体和关系的交互,完成最终的实体关系三元组抽取。在NYT数据集上的实验结果表明,该模型F₁值达到了67.1%,对比在该数据集的基线模型提高了5.2%,对重叠关系的预测也有大幅改善。     

依存约束的图网络实体关系联合抽取

实体关系抽取是信息抽取的关键任务之一,是一种包含实体抽取和关系抽取的级联任务.传统的实体关系抽取方式是将实体与关系抽取任务分离的Pipeline方式,忽略了两个任务的内在联系,导致关系抽取的效果严重依赖实体抽取,容易引起误差的累积.为了规避这种问题,我们提出一种端到端的实体关系联合抽取模型,通过自注意力机制学习单词特征...     

基于图注意力网络的因果关系抽取

因果关系作为一种重要的关系类型在关系推理等许多领域中起着至关重要的作用,因此对因果关系进行抽取是文本挖掘中的一项基本任务.与传统文本分类方法或关系抽取不同,采用序列标注的方法可以抽取文本中的因果实体并确定因果关系方向,不需要依赖特征工程或因果背景知识.主要贡献有：1)拓展句法依存树到句法依存图,将图注意力网络应用到自然语言处理中,引入了基于句法依存图的图注意力网络的概念;2)提出Bi-LSTM+CRF+S-GAT因果关系抽取模型,根据输入的词向量生成句子中每个词的因果标签;3)对SemEval数据集进行修正与拓展,针对其存在的缺陷制定规则重新标注实验数据.在拓展后的SemEval数据集上进行了大量的实验,结果表明：该模型在预测准确率上比现有最优模型Bi-LSTM+CRF+self-ATT提高了0.064.     

面向图注意力网络的突发热点事件联合抽取

当前,突发热点事件的传播日益迅猛与广泛.如何通过事件抽取准确快速地抽取出事件触发词及其事件元素,有助于决策者分析舆情态势、引导社会舆论.针对现有事件抽取方法多是从单个句子中抽取事件元素,而突发热点事件的事件元素往往分布在多个句子当中的问题,提出了一种基于图注意力网络的突发热点事件联合抽取方法,该方法分为三个阶段：基于TextRank的事件句抽取、基于图注意力网络的篇章级事件联合抽取、突发热点事件补全.在抽取出新闻主旨事件以后对整篇新闻做事件抽取,利用候选事件与新闻主旨事件的事件向量相似度以及事件论元相似度对该新闻主旨事件进行补全.实验结果表明,该方法在DUEE1.0数据集上进行触发词抽取和论元角色抽取任务时的F1指标分别达到83.2%、59.1%;在中文突发事件语料库上进行触发词抽取和论元角色抽取任务时的F1指标分别达到82.7%、58.7%,验证了模型的合理性和有效性.     

基于图注意力卷积神经网络的文档级关系抽取

关系抽取作为信息抽取的子任务,旨在从非结构化文本中抽取出便于处理的结构化知识,对于自动问答、知识图谱构建等下游任务至关重要。该文在文档级的关系抽取语料上开展工作,包括但不局限于传统的句子级关系抽取。为了解决文档级关系抽取中长距离依赖问题,并且对特征贡献度加以区分,该文将图卷积模型和多头注意力机制相融合构建了图注意力卷积模型。该模型通过多头注意力机制为同指、句法等信息构建的拓扑图构建动态拓扑图,然后使用图卷积模型和动态图捕获实体间的全局和局部依赖信息。该文分别在DocRED语料和自主扩展的ACE 2005语料上进行实验,与基准模型相比,基准模型上融入图注意力卷积的模型在两个数据集上的F₁值分别提升了2.03％和3.93％,实验结果表明了该方法的有效性。     

用于方面情感三元组抽取的词对关系学习方法

方面情感三元组抽取旨在识别一条评论中的方面项及其情感倾向,并提取与其相关的观点项.现有方法大多将该类任务分为多个子任务,将子任务组成流水线并完成这类任务.然而,基于流水线思想的方法在实际应用中会受到误差传播、不易使用等因素的影响.为此,文中提出词对关系学习方法,将方面情感三元组抽取任务转化为端到端的词对关系学习任务.方...     

基于事件语境的文本情感原因对特征提取

现有的情感原因对提取任务(ECPE)大多采用将情感从句逐一与原因从句匹配的方法, 或专注于候选对的排序方法, 忽略了影响情感因果关系成立的从句的事件语境, 导致模型在理解情感因果关系时产生偏差, 并且无法捕捉长距离的因果关系. 为此, 本文提出了基于注意力机制和情感从句卷积核的分层模型, 将原始文档的事件语境特征嵌入到情感原因对特征提取器中, 以创建一个集成和增强的特征. 首先, 将情感分析得到的情感从句类别特征作为卷积核. 然后, 利用文档的事件语境特征提取情感原因对. 本文方法在中文数据集的F1分数上有1.38%6.08%的提升, 在英文数据集的F1分数上有2.35%~7.27%的提升, 说明情感分析和因果事件语境对于情感原因对提取的有效性.     

基于图注意力和表指针网络的中文事件抽取方法

现有的中文事件抽取方法存在触发词和论元依赖建模不足的问题,削弱事件内的信息交互,导致论元抽取性能低下,特别是论元角色存在重叠的情况下.对此,文中提出基于图注意力和表指针网络的中文事件抽取方法(Chinese Event Extraction Method Based on Graph Attention and Table Pointer Network, ATCEE).首先,融合预训练字符向量和词性标注向量作为特征输入,并利用双向长短期记忆网络,得到事件文本的强化语义特征.再将字符级建模的依存句法图引入图注意力网络,捕获文本中各组成成分的长距离依赖关系.然后,使用表填充的方法进行特征融合,进一步增强触发词和其对应的所有论元之间的依赖性.最后,将学习得到的表特征输入全连接层和表指针网络层,进行触发词和论元的联合抽取,使用表指针网络对论元边界进行解码,更好地识别长论元实体.实验表明：ATCEE在ACE2005和DuEE1.0这两个中文基准数据集上都有明显的性能提升,并且字符级依存特征和表填充策略在一定程度上可以解决论元角色重叠问题.ATCEE源代码地址如下：https://github....     

Pairwise tagging framework for end-to-end emotion-cause pair extraction

Emotion-cause pair extraction (ECPE) aims to extract all the pairs of emotions and corresponding causes in a document. It generally contains three subtasks, emotions extraction, causes extraction, and causal relations detection between emotions and causes. Existing works adopt pipelined approaches or multi-task learning to address the ECPE task. However, the pipelined approaches easily suffer from error propagation in real-world scenarios. Typical multi-task learning cannot optimize all tasks globally and may lead to suboptimal extraction results. To address these issues, we propose a novel framework, Pairwise Tagging Framework (PTF), tackling the complete emotion-cause pair extraction in one unified tagging task. Unlike prior works, PTF innovatively transforms all subtasks of ECPE, i.e., emotions extraction, causes extraction, and causal relations detection between emotions and causes, into one unified clause-pair tagging task. Through this unified tagging task, we can optimize the ECPE task globally and extract more accurate emotion-cause pairs. To validate the feasibility and effectiveness of PTF, we design an end-to-end PTF-based neural network and conduct experiments on the ECPE benchmark dataset. The experimental results show that our method outperforms pipelined approaches significantly and typical multi-task learning approaches.     

用于方面情感分析的结合图卷积神经网络的注意力模型

特定方面情感分析旨在自动识别同一句子中不同方面的情感极性。在现有方法中,结合注意力机制的循环神经网络模型在特定方面情感分析任务中取得了较好的效果,但是大多都忽略了句子的句法特征。因此,该文提出一种结合图卷积神经网络的注意力网络(GCN-aware Attention Networks, GCAN)模型。首先通过长短时记忆网络获取句子的序列信息,并利用图卷积神经网络来捕获语义特征,然后提出两种特征融合方式,得到基于序列信息和语义特征的特定方面表示。在此基础上,引入双向注意力机制处理特定方面包含多个单词的情况,进而获得更精准的基于特定方面的上下文表示。与ASGCN模型相比,该方法在Twitter数据集和SemEval14/15数据集上的分类准确率分别提升了0.34%、0.94%、1.43%和1.23%,F₁值分别提升了0.53%、1.55%、1.60%和2.54%,验证了GCAN的有效性。     

藏文文字特征提取方法的研究

特征提取是文字识别中很重要的环节。藏文字识别中特征提取的方法有很多,但由于藏文字的字型有很多种特点,可以探索出适合藏文识别的最优特征提取方法。该文简述了藏文字型的特征及印刷体藏文字识别原理,主要讨论了符合藏文字的一种特征提取方法--网络点阵图形投影法。     

基于“松弛尺度”的短语翻译对抽取方法

短语对抽取是基于短语统计机器翻译方法的关键技术。当前广泛使用的Och提出的短语对抽取方法,过于依赖词对齐结果,因而只能抽取与词对齐完全相容的短语对。本文给出一种基于“松弛尺度”的短语抽取方法,对不能完全相容的短语对,结合词性标注信息和词典信息来判断是否进行抽取,放松“完全相容”的限制,可以保证为更多的源短语找到目标短语。实验表明,该抽取方法的性能比Och的方法有明显的改善和提高。     

Creating sentiment lexicon for sentiment analysis in Urdu: The case of a resource‐poor language

The sentiment analysis (SA) applications are becoming popular among the individuals and organizations for gathering and analysing user's sentiments about products, services, policies, and current affairs. Due to the availability of a wide range of English lexical resources, such as part‐of‐speech taggers, parsers, and polarity lexicons, development of sophisticated SA applications for the English language has attracted many researchers. Although there have been efforts for creating polarity lexicons in non‐English languages such as Urdu, they suffer from many deficiencies, such as lack of publically available sentiment lexicons with a proper scoring mechanism of opinion words and modifiers. In this work, we present a word‐level translation scheme for creating a first comprehensive Urdu polarity resource: “Urdu Lexicon” using a merger of existing resources: list of English opinion words, SentiWordNet, English–Urdu bilingual dictionary, and a collection of Urdu modifiers. We assign two polarity scores, positive and negative, to each Urdu opinion word. Moreover, modifiers are collected, classified, and tagged with proper polarity scores. We also perform an extrinsic evaluation in terms of subjectivity detection and sentiment classification, and the evaluation results show that the polarity scores assigned by this technique are more accurate than the baseline methods.     

A Model for Cross-Domain Opinion Target Extraction in Sentiment Analysis

Opinion target extraction is one of the core tasks in sentiment analysis on text data. In recent years, dependency parser–based approaches have been commonly studied for opinion target extraction. However, dependency parsers are limited by language and grammatical constraints. Therefore, in this work, a sequential pattern-based rule mining model, which does not have such constraints, is proposed for cross-domain opinion target extraction from product reviews in unknown domains. Thus, knowing the domain of reviews while extracting opinion targets becomes no longer a requirement. The proposed model also reveals the difference between the concepts of opinion target and aspect, which are commonly confused in the literature. The model consists of two stages. In the first stage, the aspects of reviews are extracted from the target domain using the rules automatically generated from source domains. The aspects are also transferred from the source domains to a target domain. Moreover, aspect pruning is applied to further improve the performance of aspect extraction. In the second stage, the opinion target is extracted among the aspects extracted at the former stage using the rules automatically generated for opinion target extraction. The proposed model was evaluated on several benchmark datasets in different domains and compared against the literature. The experimental results revealed that the opinion targets of the reviews in unknown domains can be extracted with higher accuracy than those of the previous works.     

基于双重注意力机制的事件抽取方法

针对事件抽取存在未充分利用句法关系、论元角色缺失的情况,提出了基于双重注意力机制的事件抽取（event extraction based on dual attention mechanism,EEDAM）方法,有助于提高事件抽取的精确率和召回率.首先,基于4种嵌入向量进行句子编码,引入依赖关系,构建依赖关系图,使深度神经网络可以充分利用句法关系.然后,通过图转换注意网络生成新的依赖弧和聚合节点信息,捕获长程依赖关系和潜在交互,加权融合注意力网络,捕捉句中关键的语义信息,抽取句子级事件论元,提升模型预测能力.最后,利用关键句检测和相似性排序,进行文档级论元填充.实验结果表明,采用基于双重注意力机制的事件抽取方法,在ACE2005数据集上,较最佳基线联合多中文事件抽取器（joint multiple Chinese event extractor,JMCEE）在精确率、召回率和F1-score分别提高17.82%、4.61%、9.80%;在大坝安全运行日志数据集上,较最佳基线JMCEE在精确率、召回率和F1-score上分别提高18.08%、4.41%、9.93%.