Sen-BiGAT-Inter:情绪原因对抽取方法

情绪原因对抽取任务是将情绪子句与原因子句同时抽取。针对该任务,现有模型的编码层未考虑强化情感词语义表示,且仅使用单一图注意力网络,因此,该文提出了一个使用情感词典、图网络和多头注意力的情绪原因对抽取方法(Sen-BiGAT-Inter)。该方法首先利用情感词典与子句中的情感词汇匹配,并将匹配的情感词汇与该子句进行合并,再使用预训练模型BERT(Bidirectional Encoder Representation from Transformers)对句子进行表示。其次,建立两个图注意力网络,分别学习情绪子句和原因子句表示,进而获取候选情绪原因对的表示。在此基础上,应用多头注意力交互机制学习候选情绪原因对的全局信息,同时结合相对位置信息得到候选情绪原因对的表示,用于实现情绪原因对的抽取。在中文情绪原因对抽取数据集上的实验结果显示,相比目前最优的结果,该文所提出的模型在 F₁ 值上提升约1.95。     

利用异构图神经网络实现情绪-原因对的有效抽取

情绪-原因对的自动抽取，是文本情感分析的新任务，旨在以子句为单位，从不带任何标注的原始文本中识别情绪表达，并确定产生相应情绪的原因，形成情绪-原因对。完成上述任务的关键是有效捕捉情绪和原因之间以及不同情绪-原因对之间的关联。针对现有研究在捕捉这些关联方面存在的粒度过粗、无法有效区分不同子句对之间因果关系的相互影响等不足，提出了一种基于异构图神经网络的情绪-原因对抽取方法。该方法首先构建以子句和子句对为顶点的异构图，其中子句和子句对之间以及不同的子句对之间存在不同类型的边，用于捕捉各种细粒度的关联；然后采用带有注意力机制的异构图神经网络顶点表达更新算法，对子句和子句对的初始表达进行迭代更新；接着将更新后的子句对表达输入到二元分类器，通过该分类器判断相应的子句对是否存在情绪-原因关系。在情绪-原因对抽取任务的基准数据集上进行的实验表明，所提基于异构图神经网络的方法具有稳定的效果提升，在F1值上比当前最好的方法高0.85%;如果底层编码器(用于得到初始的子句表达和子句对表达)采用BERT,F1值可以达73.12%,也优于底层编码器同样采用BERT的现有最新算法。     

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理（NLP）的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型（PLM）对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络（GCN）,提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络（AE-GCN）模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络（EMC-GCN）模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC...     

情感子句预测与原因子句提取方法

为减少人工成本,提出在未给定情感标签情况下预测文本情感子句,同时提取原因子句的方法.使用CNN提取局部语义信息,使用带有注意力的Bi-LSTM提取句子上下文语义信息以及情感表达的关键部分信息,将这3类信息结合获取更好的句子特征来进行情感预测;通过注意力将预测的情感标签与句子特征结合,提取原因.实验结果表明,模型在情感子句预测和原因子句提取任务中均取得目前最好结果,在未给定文本情感标签的情况下,原因提取效果仍优于大部分传统模型.     

基于图注意力卷积神经网络的文档级关系抽取

关系抽取作为信息抽取的子任务,旨在从非结构化文本中抽取出便于处理的结构化知识,对于自动问答、知识图谱构建等下游任务至关重要。该文在文档级的关系抽取语料上开展工作,包括但不局限于传统的句子级关系抽取。为了解决文档级关系抽取中长距离依赖问题,并且对特征贡献度加以区分,该文将图卷积模型和多头注意力机制相融合构建了图注意力卷积模型。该模型通过多头注意力机制为同指、句法等信息构建的拓扑图构建动态拓扑图,然后使用图卷积模型和动态图捕获实体间的全局和局部依赖信息。该文分别在DocRED语料和自主扩展的ACE 2005语料上进行实验,与基准模型相比,基准模型上融入图注意力卷积的模型在两个数据集上的F₁值分别提升了2.03％和3.93％,实验结果表明了该方法的有效性。     

k阶采样和图注意力网络的知识图谱表示模型

知识图谱表示（KGE）旨在将知识图谱中的实体和关系映射到低维度向量空间而获得其向量表示。现有的KGE模型只考虑一阶近邻,这影响了知识图谱中推理和预测任务的准确性。为了解决这一问题,提出了一种基于k阶采样算法和图注意力网络的KGE模型。k阶采样算法通过聚集剪枝子图中的k阶邻域来获取中心实体的邻居特征。引入图注意力网络来学习中心实体邻居的注意力值,通过邻居特征加权和得到新的实体向量表示。利用ConvKB作为解码器来分析三元组的全局表示特征。在WN18RR、FB15k-237、NELL-995、Kinship数据集上的评价实验表明,该模型在链接预测任务上的性能明显优于最新的模型。此外,还讨论了阶数k和采样系数b的改变对模型命中率的影响。     

融合位置信息的观点三元组情感分析模型

方面级情感分析主要有两大类任务：a)抽取任务,旨在抽取出语句中的方面词及观点词;b)分类任务,旨在分析情感极性。在这两种复合任务的基础上,针对目前方面词与观点词耦合性较差,导致分类任务出错这一问题,提出了融合位置信息的观点三元组情感分析模型OTPM。该模型利用双向长短时记忆网络获得文本表示,接着利用自注意力机制来增强方面词与情感词之间的关联性,之后在多任务框架中进行观点三元组的抽取,同时将抽取出的表示与位置信息进行加权融合,最后利用biaffine评分器分析加权后的方面词与观点词之间的情感依赖关系,并利用stop-on-non-I算法对三元组进行解码输出三元组。在Lap14、Rest14、Rest15、Rest16四个数据集上进行大量实验,结果表明所提模型优于一系列基线模型。     

基于知识图谱和图注意力的众包任务推荐算法

为解决目前众包任务推荐存在未考虑任务文本信息和数据稀疏的问题,提出一种基于知识图谱与图注意力的众包任务推荐模型。该模型首先利用自然语言处理技术提取任务文本信息中的关键要素,用于丰富图谱信息和缓解数据稀疏性;通过融合用户—任务交互图中的协同信息来构建协同知识图谱,在协同知识图谱中按协同邻居的类型分别运用图注意力网络;为获取用户准确的偏好,聚合邻居信息时按注意力得分从高到低采样固定数目的邻居;最后通过聚合不同类型的协同信息生成用户和任务的嵌入表示并得到交互概率。在构建的众包数据集上进行实验的结果表明,该模型在AUC、精准率、召回率和NDCG四个指标上均优于基线模型,验证了模型的可行性和有效性。     

依存约束的图网络实体关系联合抽取

实体关系抽取是信息抽取的关键任务之一,是一种包含实体抽取和关系抽取的级联任务.传统的实体关系抽取方式是将实体与关系抽取任务分离的Pipeline方式,忽略了两个任务的内在联系,导致关系抽取的效果严重依赖实体抽取,容易引起误差的累积.为了规避这种问题,我们提出一种端到端的实体关系联合抽取模型,通过自注意力机制学习单词特征,基于句法依存图蕴含的依赖信息构建依存约束,然后将约束信息融入图注意力网络来实现实体与关系的抽取.通过在公共数据集NYT上进行实验证明了我们工作的先进性和显著性,我们的模型在保持高精度的情况下,召回率有了显著的提升,比以往工作中的方法具有更好的抽取性能.     

基于图神经网络的方面级情感分析

目前基于循环神经网络和注意力机制的方面级情感分析模型缺乏解释相关句法约束和远程单词依赖关系.针对该问题提出结合句子依存树和单词序列信息建立句子关系图模型.首先将句子表示为图,单词作为图的节点,依存句法树的边和单词序列作为图的边;然后提出邻接矩阵标记方案对句子关系图进行标记;最后利用图神经网络实现节点和边的分类任务.该模型在SemEval2014任务中的restaurant和laptop两个数据集上进行实验,在两个数据集上F1值提升了5％左右.实验结果表明,将句子转换成图利用图神经网络对句子进行方面级情感分析是有益的.     

基于事件语境的文本情感原因对特征提取

现有的情感原因对提取任务(ECPE)大多采用将情感从句逐一与原因从句匹配的方法, 或专注于候选对的 排序方法, 忽略了影响情感因果关系成立的从句的事件语境, 导致模型在理解情感因果关系时产生偏差, 并且无法 捕捉长距离的因果关系. 为此, 本文提出了基于注意力机制和情感从句卷积核的分层模型, 将原始文档的事件语境 特征嵌入到情感原因对特征提取器中, 以创建一个集成和增强的特征. 首先, 将情感分析得到的情感从句类别特征 作为卷积核. 然后, 利用文档的事件语境特征提取情感原因对. 本文方法在中文数据集的F1分数上有1.38%6.08% 的提升, 在英文数据集的F1分数上有2.35%~7.27%的提升, 说明情感分析和因果事件语境对于情感原因对提取的 有效性.     

Optimizing emotion–cause pair extraction task by using mutual assistance single-task model,clause position information and semantic features

The traditional emotion–cause extraction task needs to give the exact emotion annotation contained in the document before extracting the cause. Different from this, the emotion–cause pair extraction (ECPE) task, which aims to extract emotion–cause pairs with causal relationships directly from the document, is a task proposed in the natural language processing field recently. At present, the task of ECPE is divided into two steps: emotion annotations and cause clause extraction, emotion–cause clause pair combining and filtering. In this article, we optimize these two steps. On the one hand, in the first step of ECPE, a mutual assistance single-task model proposed by us is used to replace the original multi-task model. On the other hand, the position information of the clause is added as an additional feature in the second step of ECPE. Furthermore, based on different levels of semantic features, we design three filtering models and explore their performance on ECPE tasks. The experimental results on the benchmark corpus show that our approach can make the ECPE task achieve better performance. Compared with the referenced method, F1-score is increased by 5.3%. Moreover, these optimization strategies improve the subtasks contained in ECPE to varying degrees.

     

Emotion-cause span extraction: a new task to emotion cause identification in texts

Emotional cause identification (ECI) is an important task for emotion analysis, aiming to identify the causes behind a certain emotion expressed in the text. Most of the previous studies are restricted to the clause-level binary classification, which have ignored an important fact that not all words in the clause are useful cause information for people to express emotions. In this work, we propose a new task: emotion-cause span extraction (ECSE), which is capable of obtaining more accurate and effective emotion causes. Inspired by recent advances in using joint learning approaches to ECI, we propose a novel joint learning framework for emotion-cause span extraction and span-based emotion classification so as to better address the ECSE task. Taken as the default backbone network, the Bidirectional Encoder Representations from Transformers (BERT) is used to encode multiple words and serve contextualized token representations. Furthermore, we also propose a multi-attention mechanism with emotional context awareness and a relative position learning mechanism on word-level, which is able to further capture the mutual interactions between the emotion clauses and candidate spans. According to the experimental results on a benchmark emotion cause corpus, it proves the reliability of the ECSE task and the effectiveness of our approach. In addition, through an in-depth analysis of traditional ECI task by converting ECSE into the clause-level binary classification task, we achieve the best performance among the systems in comparison, which further demonstrates the feasibility of the new ECSE task.

     

基于目标演绎距离的一阶逻辑子句集预处理方法

一阶逻辑定理证明是人工智能的核心基础,研究一阶逻辑自动定理证明器的相关理论和高效的算法实现具有重要的学术意义。当前一阶逻辑自动定理证明器首先通过子句集预处理约简子句集规模,然后通过演绎方法对定理进行判定。现有的应用于证明器中的子句集预处理方法普遍只从与目标子句项符号相关性角度出发,不能很好地从文字的互补对关系中体现子句间的演绎。为了在子句集预处理时从演绎的角度刻画子句间的关系,定义了目标演绎距离的概念并给出了计算方法,提出了一种基于目标演绎距离的一阶逻辑子句集预处理方法。首先对原始子句集进行包含冗余子句约简并应用纯文字删除规则,然后根据目标子句计算剩余子句集中的文字目标演绎距离、子句目标演绎距离,并最终通过设定子句演绎距离阈值来实现对子句集的进一步预处理。将该预处理方法应用于顶尖证明器Vampire,以2017年国际一阶逻辑自动定理证明器标准一阶逻辑问题组竞赛例为测试对象,在标准的300 s内,加入提出的子句集预处理方法的Vampire4.1相比原始的Vampire4.1多证明4个定理,能证明10个Vampire4.1未证明的定理,占其未证明定理总数的13.5%;在证明的定理中,提出的子句集预处理方法能对77.2%的子句集进行约简,最大子句集约简规模达到51.7%。实验结果表明,提出的一阶逻辑子句集预处理方法是一种有效的方法,能有效地约简一阶逻辑子句集的规模,提高一阶逻辑自动定理证明器的证明能力。     

On the termination of clause graph resolution

This paper introducesextended clause graph resolution, a variant of Kowalski's clause graph resolution that is terminating at the full first-order level. This terminating variant is obtained by extending the definitions of clause graph and clause graph resolution to include more information about the interdependencies between links and clauses in the graph, by restricting purity slightly and by employing an exhaustive search of eligible links.     

面向合同信息抽取的动态多任务学习方法

对于合同文本中要素和条款两类信息的准确提取, 可以有效提升合同的审查效率, 为贸易各方提供便利化服务. 然而当前的合同信息抽取方法一般训练单任务模型对要素和条款分别进行抽取, 并没有深挖合同文本的特征, 忽略了不同任务间的关联性. 因此, 采用深度神经网络结构对要素抽取和条款抽取两个任务间的相关性进行研究, 并提出多任务学习方法. 所提方法首先将上述两种任务进行融合, 构建一种应用于合同信息抽取的基本多任务学习模型; 然后对其进行优化, 利用Attention机制进一步挖掘其相关性, 形成基于Attention机制的动态多任务学习模型; 最后针对篇章级合同文本中复杂的语义环境, 在前两者的基础上提出一种融合词汇知识的动态多任务学习模型. 实验结果表明, 所提方法可以充分捕捉任务间的共享特征, 不仅取得了比单任务模型更好的信息抽取结果, 而且能够有效解决合同文本中要素与条款间实体嵌套的问题, 实现合同要素与条款的信息联合抽取. 此外, 为了验证该方法的鲁棒性, 在多个领域的公开数据集上进行实验, 结果表明该方法的效果均优于基线方法.     

基于语言模型的中文话头自足句识别方法

根据话头自足句理论进行标点句的话头自足句识别任务,探究语言模型在该任务中的应用效果,进一步将该任务划分为单个标点句的话头自足句识别和标点句序列的话头自足句识别。在单个标点句的话头自足句识别任务中,对该任务在形式上进行了完整的定义,将其形式化为机器阅读理解任务。从结果来看,在《围城》语料上取得了83.46%的准确率,在"鱼类百科"语料上的准确率达到91.21%。在标点句序列的话头自足句识别任务中,利用单个标点句的话头自足句识别任务中训练好的模型,以流水线的方式进行标点句序列的话头自足句识别,在"鱼类百科"语料上的准确率达到82.03%。实验结果表明,提出的方法能够有效地提高中文话头自足句识别的准确率。