指代消解的基本方法和实现技术

指代是自然语言中常见的语言现象,大量出现在篇章或对话中。随着篇章处理相关应用日益广泛,指代消解也显示出前所未有的重要性,并成为自然语言处理上热门的研究问题。针对指代和指代消解的有关问题,本文对基本概念作了说明,分析了语言中典型的指代现象和指代消解所需的基本语言知识;同时,介绍了指代消解中有代表性的几种计算模型和近10年来采用的若干实现技术。     

语料对中文名词短语指代消解影响研究

指代是自然语言中一种常见的语言现象,对简化语言,减少冗余有很大的作用。指代消解是用计算机找出这些指代现象的一个过程。近几年英文指代消解研究取得了很大的成就,然而,中文指代消解研究目前还较少,一方面是由于中文自然语言处理的研究起步较晚,相关的知识较少,另外一方面就是中文相关的语料库较少,目前已知的仅有ACE2005, OntoNotes等。为了探讨语料库对中文名词短语指代消解的影响,该文实现了一个基于有监督学习方法的中文名词短语指代消解平台和一个基于无监督聚类方法的中文名词短语指代消解平台,在此平台的基础上从语料库的数量和质量两个方面来探讨语料对中文名词短语指代消解的影响。     

句间回指模糊的多层次消解模型

句间回指消解是当前中文信息处理的一个重要研究课题,直接从语义和语用入手,以法律文本为语料来源,对句间回指进行形式化描述和消解,服务于计算机句群自动理解。概念基元是“显微镜”,看清指代语与先行语的微观语义联系;句类是“放大镜”,将指代语和先行语纳入57组基本句类中进行关联;语境单元则是“望远镜”,为指代语和先行语提供宏观的语境知识。语料考察结果表明,这一多层次的消解模型对实现句间回指消解是有效的。     

自然语言文本指代消解技术研究

指代消解处理是自然语言处理的关键环节，也是众多语言工程项目的核心任务。本文针对指代消解的一些基本问题进行阐述，按照时间线索，对国内外各类指代消解技术方法的研究情况进行分析，阐明了指代消解技术目前的主流方法和技术线路，最后对未来汉语指代消解技术的研究前景加以展望。     

采用优先选择策略的中文人称代词的指代消解

指代是自然语言中常见的语言现象,指代消解是文本信息处理中的一个重要任务。随着篇章处理相关应用日益广泛,指代消解也显示出前所未有的重要性。本文针对中文人称代词的指代特点,提出了一种基于语料库的,运用决策树机器学习算法并结合优先选择策略,进行指代消解的方法。该方法充分考虑了与指代相关的若干属性,及相互之间的影响。实验表明,对中文人称代词的消解特别是第三人称的消解获得了一定的效果。     

基于SVM的中文名词短语指代消解研究

指代消解是自然语言处理领域中要研究的关键问题之一。在自然语言中,为了使语言简明,减少冗余,往往对同一意思的单词、句子或某一事件用不同的单词来代替。相对于人而言,计算机理解这些指代现象就比较困难,因此近年来关于指代消解的研究越来越多。由于中文指代消解研究起步较晚,因此关于中文名词短语指代消解的研究还比较少,大多研究是关于英文指代消解的。给出了一个基于SVM的中文名词短语指代消解平台并详细介绍了整个实现过程,语料库采用OntoNotes 3.0的中文新闻语料。利用3种评测算法对系统性能进行了评测,结果表明本系统是一个比较好的中文指代消解平台。     

基于树核函数的“it”待消解项识别研究

该文在基于特征的英文代词指代消解平台上,使用复合核函数,研究指代消解中待消解项“it”的识别问题。围绕“it”是否是待消解项,该文采取有效策略获得“it”句法结构信息与平面特征信息,并将它们结合起来生成“it”待消解项分类器。在测试分类器性能的同时,将其运用到代词指代消解中以检验它对指代消解的作用。最后在ACE2003基准语料上实验表明采用复合核生成的分类器具有较高的准确率,并能显著提高代词指代消解性能。     

汉语语篇理解中元指代消解初步

指代消解是语篇机器理解中的重要一环.研究发现,由于表示语篇本身某一部分而非语篇内容的元指代现象普遍存在,语篇元指代消解也就成为困扰着语篇机器理解实现的困难之一.对语篇中的元指代现象进行了分析,提出句焦点的概念,并在句焦点集的基础上,用优先和过滤算法实现了元指代的消解.在使用自然语料的实验中表明,句焦点集的作用对于元指代机器消解有重要作用.它丰富了语篇分析和表述理论,对汉语语篇分析理解中寻找元指代关系,从而完成连贯语篇意义具有重要意义.     

篇章中的消解问题与消解算法：研究综述

篇章消解，即识别篇章中对现实世界中同一实体不同表达的过程，包括指代消解和同指消解两个方面。作为信息抽取的重要环节，它在信息检索、自动文摘及文本挖掘等领域有着广阔的应用前景。本文分析并总结了消解过程中常用的语言知识，介绍了上世纪90年代以来具代表性的算法，并指出了篇章消解未来的发展趋势。     

中文指代消解模型的对比研究

指代消解的基本任务是把指向现实世界中相同实体的所有实体表达关联起来。与英文指代消解的研究相比,中文指代消解的研究相对较少,至今没有对现存的中文指代消解模型进行公平的测评和比较,主要原因是现存的中文指代消解模型在训练和测评时采用了不同的语料,且所选用的特征属性也不相同。基于上述原因,实现了5类基本的中文指代消解模型,并在ACE2005中文语料上进行同平台、同语料、同特征的测评。通过测评比较了各类模型的性能,同时分析和探讨了影响中文指代消解模型精度的各种因素。     

指代消解综述

给出指代消解的基本概念,从指代消解的语料资源、评测系统和算法3个方面出发,介绍指代消解的国内外研究现状,分析制约指代消解的3个关键问题：结构化句法信息的自动获取和表示,深层次语义信息的自动获取和使用,跨文本指代消解,基于分析结果给出国际上指代消解的研究趋势。     

一种基于图划分的无监督汉语指代消解算法

指代消解是自然语言处理领域中的一个重要问题。针对当前中文指代标注训练语料非常缺乏的现状,本文提出一种无监督聚类算法实现对名词短语的指代消解。引入图对名词短语的指代消解问题进行建模,将指代消解问题转化为图划分问题,并引入一个有效的模块函数实现对图的自动划分,使得指代消解过程并不是孤立地对每一对名词短语分别进行共指决策,而是充分考虑了多个待消解项之间的相关性,并且避免了阈值选择问题。通过在ACE中文语料上的人称代词消解和名词短语消解实验结果表明,该算法是一种有效可行的无监督指代消解算法。     

基于中心理论和话语结构的交互式问答文本指代消解

与传统新闻文本相比,交互式问答中蕴含着更为丰富的语言现象。在传统的针对新闻文本的指代消解方案的基础上,融入了交互式问答特有的特征集,给出了一个适于交互式问答文本的指代消解方案。具体而言,基于浅层语义角色分析的结果进行话语结构的识别,根据识别出的话语结构进行话语中心及中心跳转的识别。将获取到的话语中心及跳转信息组织成交互式文本特有的特征集,使用交互式问答领域广泛使用的TREC2004和TREC2007的评测语料进行指代消解的实验,结果表明给出的方案能大大提高交互式问答文本中指代消解的性能,系统F值提高了3.2%。     

面向信息抽取的中文跨文本指代消解研究

跨文本指代消解研究是自然语言处理中的一个重点以及难点,是信息检索、信息抽取和多文档摘要等应用的重要组成部分。传统的跨文本指代消解主要解决信息检索中遇到的重名消歧问题。本文从信息抽取的角度出发,旨在解决信息抽取过程中的重名消歧和多名聚合两大跨文本指代消解任务。本文在一个基于ACE2005中文语料库标注的中文跨文本指代语料库上,利用空间向量模型进行面向信息抽取的跨文本指代消解。     

基于最大熵模型的中文指代消解系统实现*

实现了一个基于最大熵的中文指代消解系统。通过预处理获得相关信息,抽取出12特征,采用最大熵算法训练生成分类器。在ACE05 bnews中文测试语料上的指代消解实验结果表明,本系统是一个中文指代消解研究的较好平台。     

中文指代消解名词短语的识别

指代消解技术是自动文章的关键,介绍了指代消解的研究方式,分析了中文指代消解目前研究现状,并且详细阐述了语料库和所使用的此类标记,同时提出了名词短语识别和标记符号,分析了中文名词短语的确定与英文的不同,对中文指代消解的前期语料的处理和后期应用作了很好的介绍。     

自然语言文本共指消解性能评测算法研究

在自然语言文本处理中,共指研究处于基础且关键的一环,它的有效解决将为众多的语言工程处理问题提供有力支持,因此对于共指消解性能的评测就显得尤为重要.针对共指消解任务的几种评测算法进行了深入研究,分析各种方法优缺点,指出CEAF方法是目前缺乏用于指代任务处理开放语料情况下,较适合汉语自然语言文本共指消解性能评价的一种方法.     

名词短语事件指代消解研究

随着篇章理解、信息融合要求的日益迫切,提高事件指代消解系统的性能逐渐成为一个研究热点。事件指代的指代词指代的是事件、事实或者命题等实践性、抽象性对象。该文对名词短语的事件指代消解进行研究,使用平面特征、结构化句法特征和语义特征等,根据SVM机器学习的方法进行英文事件的指代消解,通过在计算事件语义相似度的元组（语义角色）中加入时间和地点元素改进语义特征来提高事件指代消解系统的性能;并且单独使用每种特征对语料进行实验,分析每种特征单独使用时对系统的影响;OntoNotes 4.0语料库上的实验结果显示,引入改进的语义特征后,与基准系统相比,系统的准确率和F值均有所提高。由此来看,在语义特征中加入时间和地点元素对事件指代消解具有的正向作用。     

面向中文指代消解的最优样本比例研究

已有的中文指代消解系统研究大多是基于有监督的机器学习方法,训练集中正负例的比值直接影响到分类器模型,进而影响指代消解结果。针对如何选取训练集正负例比值的问题,实现了一个中文指代消解系统,提出了训练数据正负例比值与指代消解系统评测结果之间的数学模型,并引入一种改进的遗传算法计算训练数据最优比值,使系统评测结果最优。在ACE 2005中文语料上的实验表明,改进的遗传算法更适合指代消解任务,适当增大负例的比值能够提高指代消解系统的性能。     

基于深度学习的维吾尔语人称代词指代消解

指代消解是自然语言处理技术的核心问题,该文结合维吾尔语语义特征,提出基于深度学习的维吾尔语人称代词指代消解方法。通过堆叠多层无监督RBM网络和一层有监督BP网络,构建DBN深度神经网络学习模型,RBM网络保证特征向量映射达到最优,BP网络对RBM网络的输出向量进行分类,实现维吾尔语人称代词指代消解。经过维吾尔语指代消解语料库测试, F值达到83.81%,比SVM方法高出2.88%。实验结果表明,同等条件下,该方法能有效提升维吾尔语人称代词消解的精度,有助于维吾尔语指代消解研究。