汉语篇章理解研究综述

人们理解自然语言通常是在篇章级进行的,随着词汇级及句子级研究的日益成熟,自然语言处理研究的焦点已转向篇章级.篇章分析的主要任务就是从整体上分析出篇章结构及其构成单元之间的语义关系,并利用上下文理解篇章.根据不同的篇章分析目的,篇章单元及其关系可以表示为不同的篇章基本结构,不同篇章基本结构及其关系的研究可提供不同层面的篇章理解.目前对汉语篇章内在规律的研究较少,缺乏对篇章进行有效分析和深入理解的理论方法体系,这严重制约了篇章级的相关研究及应用.重点关注篇章的两个最基本特征,即衔接性和连贯性,从篇章结构分析的理论研究、资源建设和计算模型这3个方面,分别探讨篇章修辞结构（体现篇章连贯性）和话题结构（体现篇章衔接性）,对篇章理解的国内外研究现状进行了归纳和整理,并给出了目前存在的主要问题和研究趋势.     

英汉篇章结构分析研究综述

篇章结构分析旨在理解文章的整体结构及其各部分之间的语义联系.作为自然语言处理的研究热点,近年来篇章结构分析研究发展迅速.首先总结英语和汉语中篇章结构分析理论,然后介绍相关篇章语料库及其计算模型的研究.在此基础上,梳理了当前英语、汉语中篇章结构分析的相关工作脉络,构建了篇章结构分析研究框架,归纳总结出当前研究的趋势和热点.然后,简要介绍篇章结构在下游任务中的应用.最后,指出当前汉语篇章结构分析存在的问题与挑战,为今后的研究提供指导和帮助.     

基于平行论元的隐式篇章关系推理研究

基于Penn Discourse TreeBank(简称PDTB)语料中的隐式篇章关系类型,提出一种无指导的识别方法。主要依据显式与隐式平行论元对之间的映射关系实现显式到隐式关系的推理,即利用显式论元对的篇章关系,推理与之平行的隐式论元对的篇章关系。推理过程主要包括:基于大规模语料库以及基于搜索引擎的平行语料挖掘,平行语料中显式连接词映射到篇章关系过程的消歧。与传统基于监督学习的分类方法相比,基于统计的无指导方法在隐式篇章关系推理的性能上获得显著提升,识别精确率提高了近15.6%。此外,在分析比较各研究方法的同时,指出目前隐式篇章关系推理研究所面临的主要困难与挑战。     

一种无指导的隐式篇章关系推理方法研究

该文提出一种基于信息检索的无指导方法,用于推理隐式篇章片段之间的语义连接关系,如因果关系、转折关系等。该文基于Google搜索引擎,抽取在句子结构以及语义层面上均与原隐式片段相似的显式片段,通过分析和识别相关显式关系来间接推理隐式关系。主要包括以下三个模块 构建高质量查询关键词并抽取候选显式关系;结合三种隐式关系推理模型(相似度、置信度、关联度),综合考察查询关键词以及候选关系的质量;基于排序学习的方法,统计高质量候选关系中的类别分布以实现最终隐式关系的推理。该文采用Penn Discourse TreeBank 2.0篇章语料库,最终方法精确率达到54.3%,与有指导的方法相比,提高了约14.3%。     

融合依存关系和篇章修辞关系的事件时序关系识别

已有事件间时序关系识别只考虑两个事件所在上下文的局部信息,忽略事件间篇章视角的关联关系.针对这一问题,文中给出融合句子级依存关系和篇章层修辞关系的事件时序关系识别方法.将事件间关联关系分两部分进行表征:事件所在句子的依存路径信息和事件所在基本篇章单元间的修辞关系信息.基于这一表征体系构建可以捕获更多有效信息的神经网络模型,提高事件时序关系识别的性能.在TimeBank-Dense语料上的一系列实验验证文中方法的优越性.     

基于框架的汉语篇章结构生成和篇章关系识别

针对汉语篇章分析的三个任务: 篇章单元切割、篇章结构生成和篇章关系识别,该文提出引入框架语义进行分析研究。首先基于框架构建了汉语篇章连贯性描述体系以及相应语料库;然后抽取句首、依存句法、短语结构、目标词、框架等特征,分别训练基于最大熵的篇章单元间有无关系分类器和篇章关系分类器;最后采用贪婪算法自下向上生成篇章结构树。实验证明,框架语义可以有效切割篇章单元,并且框架特征可以有效提升篇章结构以及篇章关系的识别效果。     

内容标签和关系标签相结合的汉语篇章标注规范

篇章标注是自然语言处理中的重要任务,很多其他任务,如自动摘要、机器问答等都可以通过篇章标注得到对文本内容和语义的认识,从而获得更好的结果。与此同时,篇章理解的理论如篇章修辞结构(RST),向心理论(CT)等与实际问题的结合并不紧密,难以实用。该文中我们参考现有的语言学理论和一些语篇标注库(如RST-DT,PDTB),并结合自然语言处理任务特点,提出了一套用于篇章标注的汉语标注体系。这个体系能够比较准确和全面地描述出篇章的内容和逻辑关系,并很好地服务于实际任务的需要。     

篇章分析技术综述

篇章作为词和句子之后的一种文本分析粒度在自然语言理解和自然语言生成中起到至关重要的作用。该文从计算语言学角度出发,对中英文篇章分析技术的研究现状进行了综述。介绍了中英文篇章分析技术在自然语言处理中的应用,并分别从篇章理论、篇章语料库及评测、篇章分析器的自动构建等方面详细阐述了中英文篇章分析技术。最后归纳出篇章分析技术后续研究的几个方向。     

基于树核的隐式篇章关系识别

隐式篇章关系识别是篇章结构分析中最具有挑战性的任务之一.传统的方法注重篇章中的概念和意义特征,导致系统的性能不高.系统地探索了篇章中的浅层语义信息和以态度韵为导向的句子级情感等平面特征的有效性,同时提出了一种简单而有效的树核方法,最后采用复合核方法加以集成.在Penn Discourse Treebank(PDTB) 2.0语料库上的实验结果表明,引入浅层语义和情感等信息后,准确率得到显著提升.     

基于CFN的汉语篇章连贯性研究

篇章连贯性研究是篇章分析领域的重要课题之一。基于Chinese FrameNet(CFN),该文构建了汉语篇章连贯性描述体系,该描述体系研究了框架语义与篇章单元的关系,探讨了篇章如何通过框架与框架之间的语义关系实现篇章的连贯,为篇章连贯提供了合适的描写机制和计算基础。从《人民日报》选取了160篇文章进行标注实践,在篇章结构和篇章关系两方面均取得了大于0.8的kappa值,验证了描述体系具有较高的人工标注一致性,可作为进一步进行大规模篇章标注语料构建的依据。     

基于PDTB体系的隐式篇章关系识别

识别隐式篇章关系是篇章分析领域中非常有挑战的一个任务。该文基于PDTB语料提出一个隐式篇章分析识别方法,使用传统的特征如动词,极性和句法推导规则等,系统分析了它们对隐式篇章分析的影响。我们利用全部标注数据构建多个分类器并使用加法规则融合分类结果,此外还通过前向特征选择算法确定各分类任务最优的特征集。实验结果表明该方法能显著提升隐式篇章分析的性能。     

中文篇章级句间语义关系识别

篇章句间关系识别(Discourse Relation Recognition)是篇章分析的重要内容,该文对中文篇章句间关系识别任务进行初步探索,包括显式篇章句间关系识别与隐式篇章句间关系识别两类任务。针对显式篇章句间关系,我们提出基于关联词规则的方法进行识别,取得了很好的效果;针对隐式篇章句间关系,我们抽取词汇、句法、语义等特征,采用有指导模型进行识别。该文的分析和实验结果为后续研究提供了参考和基本对照系统。     

平行推理机制:一种隐式篇章关系检测方法

篇章是论元经过语义关联和结构化组织形成的自然语言文体.篇章分析研究的核心任务之一是解释论元的语义关系,其中,显式关系因具有直观线索而易于检测,目前检测精度高达90%;相对而言,隐式关系因缺乏直观线索而难于检测,目前精度仅约40%.针对这一问题,基于一种"论元平行则关系平行"的假设,并利用显式篇章关系易于检测的特点,通过平行论元的识别与平行关系的消歧,实现了一种显式关系平行推理隐式关系的隐式篇章关系检测方法.利用标准宾州篇章关系树库(Penn discourse Tree Bank,简称PDTB)对这一检测方法进行评测,结果显示,精确率提升达17.26%.     

基于外联关系的隐式篇章关系推理

针对隐式篇章关系(implicit discourse relation)分类性能较低的问题,提出一种基于“外联”关系的无监督隐式篇章关系推理方法.该方法继承“显式指导隐式”的关系推理模式,针对每个待测“论元对”,在大规模外部数据资源中挖掘与其内容近似的显式“参考对”,借助“参考对”的显式关系推理隐式关系.特别地,该方法侧重挖掘2个论元中能够协同触发篇章关系的文字片段(即“外联”成分),以“外联”成分间的关系为参考,推理“论元对”整体的篇章关系.利用宾州篇章树库(Penn discourse treebank, PDTB)对这一推理方法进行评测.实验结果显示,该方法在隐式篇章关系推理性能上获得显著提升,识别精确率达到54.12%,与现有主流推理方法性能对比,识别精确率提升11.82%.     

基于PDTB的自动显式篇章分析器

自动篇章处理是自然语言处理中非常有挑战的一个任务,对自然语言处理的其他任务,如问答系统,自动文摘以及篇章生成都有重要的作用。近年来,大规模篇章语料PDTB的出现为篇章研究提供了一个公共的平台。该文在PDTB语料之上提出了一个完整的基于条件随机场模型的显式篇章分析平台,该平台包含连接词识别、篇章关系分类和关系论元提取三个子任务。给出了在PDTB上各模块的实验结果,并针对错误传播问题,给出了完整平台的性能及详细分析。     

基于框架语义的隐式篇章关系推理

篇章关系分析是一种专门针对篇章语义关系及修辞结构进行分析与处理的自然语言理解任务。隐式篇章关系分析是其中重要的研究子任务,要求在显式关联线索缺失的情况下,自动检测特定论元对之间的语义关系类别。目前,隐式篇章关系分析性能较低,主流检测方法的准确率仅约为40%。造成这一现状的主要原因是: 现有方法脱离论元的语义框架进行关系分析与检测,仅仅局限于特定论元特征的关联分析。针对这一问题,该文提出一种基于框架语义的隐式篇章关系推理方法,这一方法有效利用了框架语义知识库(即FrameNet)和相关识别技术,实现了论元语义框架的自动识别,并在此基础上,借助大规模文本数据中框架语义关联关系的分布概率,进行论元语义一级的关系判定。实验结果显示,仅仅利用第一层框架语义知识,即可提高隐式篇章关系检测性能至少5.14%;同时,在考虑关系类别平衡性的情况下,这一方法能提高至少10.68%。