联合语义角色标注和指代消解

语义角色标注和指代消解是自然语言处理中两个重要的基础研究任务,该文提出使用马尔科夫逻辑网络对两个任务进行联合学习推导。通过提出8条联合学习规则,在OntoNote5.0的实验中证明采用联合学习推导后,两者的标注性能都比单独标注任务有了1.6个F值的性能提升。     

基于最大熵原则的汉语语义角色分类

语义角色标注是近些年来兴起的自然语言处理的一个新的研究领域。与英语方面的研究相比,汉语方面的工作还不是很充分。该文在参考已有工作的基础上,基于最大熵原则,对汉语语义角色标注中的一个方面——语义角色分类进行了深入的研究。在提出了一些新的特征之后,该文还充分利用了语义角色之间的相关性,提取语义角色的上下文特征,从而提高标记的准确率;此外,通过对不同特征的单独研究,笔者发现了不同特征取得最优值时的窗口大小差别很大。发现这一现象后,笔者设计了一种基于贪心策略的选择算法,对不同的特征选择不同的窗口大小,使得标记结果进一步提高。在综合采用了以上的策略之后,笔者的汉语语义角色分类系统可以达到95.00%的准确率,比前人有较为显著的提升。从而证明了笔者的方法是有效的。     

中文名词性谓词语义角色标注

研究了中文名词性谓词的语义角色标注(semantic role labeling,简称SRL).在使用传统动词性谓词SRL相关特征的基础上,进一步提出了名词性谓词SRL相关的特征集.此外,探索了中文动词性谓词SRL对中文名词性谓词SRL的影响,并且联合谓词自动识别实现了全自动的中文名词性谓词SRL.在中文NomBank上的实验结果表明,中文动词性谓词的SRL合理使用能够大幅度提高中文名词性谓词的SRL性能;基于正确句法树和正确谓词识别,中文名词性谓词的SRL性能F1值达到了72.67,大大优于目前国内外的同类系统;基于自动句法树和自动谓词识别,性能F1值为55.14.     

基于语义组块分析的汉语语义角色标注

近些年来,中文语义角色标注得到了大家的关注,不过大多是传统的基于句法树的系统,即对句法树上的节点进行语义角色识别和分类。该文提出了一种与传统方法不同的处理策略,我们称之为基于语义组块分析的语义角色标注。在新的方法中,语义角色标注的流程不再是传统的“句法分析——语义角色识别——语义角色分类”,而是一种简化的“语义组块识别——语义组块分类”流程。这一方法将汉语语义角色标注从一个节点的分类问题转化为序列标注问题,我们使用了条件随机域这一模型,取得了较好的结果。同时由于避开了句法分析这个阶段,使得语义角色标注摆脱了对句法分析的依赖,从而突破了汉语语法分析器的时间和性能限制。通过实验我们可以看出,新的方法可以取得较高的准确率,并且大大节省了分析的时间。通过对比,我们可以发现在自动切分和词性标注上的结果与在完全正确的切分和词性标注上的结果相比,还有较大差距。     

基于多级语义信息融合编码的序列标注方法

序列标注是自然语言处理领域的基本任务。目前大多数序列标注方法采用循环神经网络及其变体直接提取序列中的上下文语义信息,尽管有效地捕捉到了词之间的连续依赖关系并取得了不错的性能,但捕获序列中离散依赖关系的能力不足,同时也忽略了词与标签之间的联系。因此,提出了一种多级语义信息融合编码方式,首先,通过双向长短期记忆网络提取序列上下文语义信息;然后,利用注意力机制将标签语义信息添加到上下文语义信息中,得到融合标签语义信息的上下文语义信息;接着,引入自注意力机制捕捉序列中的离散依赖关系,得到含有离散依赖关系的上下文语义信息;最后,使用融合机制将3种语义信息融合,得到一种全新的语义信息。实验结果表明,相比于采用循环神经网络或其变体对序列直接编码的方式,多级语义信息融合编码方式能明显提升模型性能。     

基于非受限路径自然语言处理中的机器人导航

为了实现使用自然语言控制机器人完成自主导航任务,提出一种基于语义角色标注（SRL）的语义提取方法,用于提高机器人对路径自然语言理解的准确率。首先,收集了一个非受限的路径自然语言语料库,在深入研究路径自然语言语料库的基础上,提出了8个语块对语料进行语块分析,完成语义角色标注;然后,对语料进行依存句法分析,完成语义角色标注;接着,结合语块分析和依存句法分析,提出了一种基于语块分析和依存句法分析的语义角色标注方法,实验结果得到的准确率、召回率、F₁-值分别达到了98.22%、98.48%和98.35%;最后,基于语义提取结果在机器人Nao平台上完成了机器人问路导航任务。     

基于双向LSTM与CRF融合模型的否定聚焦点识别

否定表达作为自然语言文本中常见的语言现象,对自然语言处理上层应用,如情感分析、信息抽取等,具有十分重要的意义。否定聚焦点识别任务是更细粒度的否定语义分析,其旨在识别出句子中被否定词修饰和强调的文本片段。该文将该任务作为序列标注问题,提出了一种基于双向长短期记忆网络结合条件随机场(BiLSTM-CRF)的否定聚焦点识别模型,其中,BiLSTM网络能够充分利用上下文信息并抓取全局特征,CRF层能够有效学习输出标签之间的前后依赖关系。在*SEM2012评测任务数据集上的实验结果表明,基于BiLSTM-CRF的否定聚焦点识别方法的准确率(accuracy)达到69.58%,与目前最好的系统相比,性能提升了2.44%。     

施事的语义分布考察与动词的语义特征

在自然语言处理中,语义角色标注是一个比较重要的任务。语义角色标注任务以语义角色理论为基础。语义角色标注任务和语言学的相关理论都要求同一个动词在不同语句中相应的语义角色成分保持一致。该文统计了北京大学973课题语义角色标注语料库及中文PropBank中“施事”的语义分布,进而根据该语义分布,加上人工筛选,共找出了85个在“施事”语义角色的标注上无法保持一致的动词。该文指出,这些动词的 “施事”语义无法保持一致的原因在于它们是一类有致使语义特征、无自主语义特征的动词。该文的研究对于处理其他语义角色(如“客体”)也存在的标注不一致问题有一定的启示。     

基于语义角色标注的问答系统的研究与实现

问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。为了提高中文问答系统的性能,文章在问答系统CQAS中采用了语义角色标注的思想,利用Proposition Bank中文语料库作为训练和测试语料,以句法成分作为标注的基本单元,采用最大熵模型作为分类器,把与谓词动词相关的全部句法成分进行语义角色标注。实验结果表明,语义角色标注技术可以有效地提高问答系统的性能。     

基于结构化表示的中文事件同指消解方法

事件同指消解是自然语言处理中一个具有挑战性的任务,它在事件抽取、问答系统和阅读理解中具有重要作用。针对事件的语义信息主要由触发词和论元表示这一个特点,该文将事件进行结构化表示并输入一个基于门控和注意力机制的模型GAN-SR(gated attention network with structured representation),在文档内进行中文事件同指消解。首先,该模型采用语义角色标注和依存句法分析技术对事件句进行浅层语义分析,抽取事件句信息并表示为一个事件五元组。其次,将各种事件信息输入GRU进行编码,然后使用多头注意力机制挖掘事件句和事件对之间的重要特征。在ACE2005中文语料库上的实验表明,GAN-SR的性能优于目前性能最好的基准系统。     

基于图模型的语义角色标注重排序

传统的语义角色标注模型使用的都是本地特征,不利于捕捉一些全局性的标注错误。该文提出使用图模型对语义角色标注结果进行重排序,利用标记传播迭代算法对标注的结果进行重排序,保证全局标注结果的一致性。该文在PropBank上的实验表明,采用重排序后标注性能有了2.4个F值的显著提升。在不使用系统融合技术的情况下,标注的结果是当前世界最好的性能。     

基于分层输出神经网络的汉语语义角色标注

语义角色标注是自然语言处理中的一项重要任务。当下针对中文语义角色标注的主流做法是通过基于特征的统计机器学习实现的。然而,统计机器学习的方法需要引入经验性的人工特征,这在一定程度上增加了工作量。深度学习在自然语言处理领域的应用使得特征的自动学习成为可能。文章尝试了一种适用于语义角色标注的深层神经网络架构,该模型能自然地推广到其他标注任务。实验表明,深度学习算法能够有效地用于语义角色标注任务,但是我们仍然发现,模型对语义层面知识的学习是相当有限的,基于深度学习的方法还不能取代基于人工特征的统计机器学习算法。     

引入外部词向量的文本信息网络表示学习

针对信息网络（text-based information network）现有研究多基于网络自身信息建模,受限于任务语料规模,只使用任务相关文本进行建模容易产生语义漂移或语义残缺的问题,本文将外部语料引入建模过程中,利用外部语料得到的词向量对建模过程进行优化,提出基于外部词向量的网络表示模型NE-EWV（network embedding based on external word vectors）,从语义特征空间以及结构特征空间两个角度学习特征融合的网络表示。通过实验,在现实网络数据集中对模型有效性进行了验证。实验结果表明,在链接预测任务中的AUC指标,相比只考虑结构特征的模型提升7%~19%,相比考虑结构与文本特征的模型在大部分情况下有1%~12%提升;在节点分类任务中,与基线方法中性能最好的CANE性能相当。证明引入外部词向量作为外部知识能够有效提升网络表示能力。     

基于多注意力网络的特定目标情感分析

作为自然语言处理领域的经典研究方向之一, 特定目标情感分析的任务是根据句子上下文语境判别特定目标的情感极性, 而提升该任务表现的重点在于如何更好地挖掘特定目标和句子上下文的语义表示. 本文提出融合短语特征的多注意力网络(Phrase-Enabled Multi-Attention Network, PEMAN), 通过引入短语级别语义特征, 构建多粒度特征融合的多注意力网络, 有效提高模型的表达能力. 在SemEval2014 Task4 Laptop、Restaurant数据集上的实验结果表明, 与基准模型相比, 本文提出的PEMAN模型在准确率上有一定提升.     

基于Transformer增强架构的中文语法纠错方法

语法纠错任务是自然语言处理领域的一项重要任务,近年来受到了学术界广泛关注。该任务旨在自动识别并纠正文本中所包含的语法、拼写以及语序错误等。该文将语法纠错任务看作是翻译任务,即将带有错误表达的文本翻译成正确的文本,采用基于多头注意力机制的Transformer模型作为纠错模型,并提出了一种动态残差结构,动态结合不同神经模块的输出来增强模型捕获语义信息的能力。受限于目前训练语料不足的情况,该文提出了一种数据增强方法,通过对单语语料的腐化从而生成更多的纠错数据,进一步提高模型的性能。实验结果表明,该文所提出的基于动态残差的模型增强以及腐化语料的数据增强方法对纠错性能有着较大的提升,在NLPCC 2018中文语法纠错共享评测数据上达到了最优性能。     

基于语义增强的多特征融合小样本关系抽取

关系抽取是自然语言处理和知识图谱构建的一项关键任务,现有小样本关系抽取方法无法有效获取和充分利用更多的文本语义信息,为此给出一个基于语义增强的多特征融合关系抽取方法（SMPC）并应用于小样本任务中。该方法构建了一个融合位置、词性和句法依存等信息的分段卷积神经网络最大化表示语义特征,并从维基百科中抽取细粒度语义信息,将其融入词嵌入,提高模型上下文共性学习。在两种场景下对不同基线方法进行实验,分别取得最高4%和10%的准确率提升,证明了该方法的有效性。     

基于浅层句法分析的中文语义角色标注研究

语义角色标注是获取语义信息的一种重要手段。许多现有的语义角色标注都是在完全句法分析的基础上进行的,但由于现阶段中文完全句法分析器性能比较低,基于自动完全句法分析的中文语义角色标注效果并不理想。因此该文将中文语义角色标注建立在了浅层句法分析的基础上。在句法分析阶段,利用构词法获得词语的“伪中心语素”特征,有效缓解了词语级别的数据稀疏问题,从而提高了句法分析的性能,F值达到了0.93。在角色标注阶段,利用构词法获得了目标动词的语素特征,细粒度地描述了动词本身的结构,从而为角色标注提供了更多的信息。此外,该文还提出了句子的“粗框架”特征,有效模拟了基于完全句法分析的角色标注中的子类框架信息。该文所实现的角色标注系统的F值达到了0.74,比前人的工作(0.71)有较为显著的提升,从而证明了该文的方法是有效的。     

基于Self-Attention的句法感知汉语框架语义角色标注

框架语义角色标注(Frame Semantic Role Labeling, FSRL)是基于FrameNet标注体系的语义分析任务。语义角色标注通常对句法有很强的依赖性,目前的语义角色标注模型大多基于双向长短时记忆网络Bi-LSTM,虽然可以获取句子中的长距离依赖信息,但无法很好地获取句子中的句法信息。因此,引入Self-Attention机制来捕获句子中每个词的句法信息。实验结果表明,该模型在CFN(Chinese FrameNet,汉语框架网)数据集上的F₁值得到了提升,证明了融入self-attention机制可以改进汉语框架语义角色标注模型的性能。     

Semantic role labeling for Arabic language using case-based reasoning approach

Many natural language processing areas use semantic roles in order to improve the applications of the extracted information, the question answering and the machine translation, etc. In Arabic, the work of constructing the semantic role labeling system or the annotated corpus is extremely limited compared to their speaker’s number and to English language as well. In this paper, we present a supervised method for the semantic role labeling of Arabic sentences. Hence, we use the feedback capacity of the case-based reasoning to annotate new sentences from already annotated ones besides the use of the Arabic PropBank as a reference to the semantic labels. We test our method under a wide range corpus that contains 2332 attributes and 5291 arguments. Accordingly, an Arabic semantic role labeling system is tested, for the first time, in that corpus. As a result, our method shows the ability to annotate new sentences from the labeled sentences or the construction of the annotated corpus.     

基于细粒度词表示的命名实体识别研究

命名实体识别(NER)是自然语言处理中的一项基础任务,其性能的优劣极大地影响着关系抽取、语义角色标注等后续任务。传统的统计模型特征设计难度大、领域适应性差,一些神经网络模型则忽略了词本身所具有的形态学信息。针对上述问题,该文构建了一种基于细粒度词表示的端到端模型(Finger-BiLSTM-CRF)来进行命名实体识别任务。该文首先提出一种基于注意力机制的字符级词表示模型Finger来融合形态学信息和单词的字符信息,然后将Finger与BiLSTM-CRF模型联合进行实体识别,最终该方法以端到端、无任何特征工程的方式在CoNLL 2003 数据集上取得了F₁为91.09%的结果。实验表明,该文设计的Finger模型显著提升NER系统的召回率,从而使得模型的识别能力显著提升。