基于动作建模的中文依存句法分析

决策式依存句法分析,也就是基于分析动作的句法分析方法,常常被认为是一种高效的分析算法,但是它的性能稍低于一些更复杂的句法分析模型。本文将决策式句法分析同产生式、判别式句法分析这些复杂模型做了比较,试验数据采用宾州中文树库。结果显示,对于中文依存句法分析,决策式句法分析在性能上好于产生式和判别式句法分析。更进一步,我们观察到决策式句法分析是一种贪婪的算法,它在每个分析步骤只挑选最有可能的分析动作而丢失了对整句话依存分析的全局视角。基于此,我们提出了两种模型用来对句法分析动作进行建模以避免原决策式依存分析方法的贪婪性。试验结果显示,基于动作建模的依存分析模型在性能上好于原决策式依存分析方法,同时保持了较低的时间复杂度。     

基于依存句法分析的汉语韵律层级自动预测技术研究

不同的韵律层级可以将文本划分成适合朗读与理解的韵律组块,从而保证合成语音能够以自然的节奏表现出来。目前对韵律层级预测所采用的特征绝大多数是较为浅层的特征,如词性、词长等,但这些浅层特征对有的韵律层次如韵律短语的预测能力比较弱。实际上,句法结构同韵律层级之间有着非常紧密的联系,二者相互影响,相互制约。本文根据依存句法分析的结果,抽取出若干同韵律层级相关的深层句法特征对韵律层级进行预测。实验证明,其中内弧跨度和内弧类型等特征,对浅层特征较难解决的类似韵律短语这种中间层次的韵律单元划分问题,可以起到很大的提高作用,使韵律短语标注的综合F值提高了11%。     

基于树库的汉语依存句法分析

旨在探索利用语言学手段来提高句法分析精度的可能性.采用MaltParser和自建的汉语依存树库进行相关汉语依存句法分析实验.通过对句法分析结果的分析,找出影响句法分析精度的主要因素,并据此对树库中处理某些语言结构的方式进行修改.然后再对得到的句法分析数据进行进一步分析,以确定所用方法的有效性.结果表明,无标记依存句法分析精度提高了5.5%,有标记依存句法分析精度提高了7.5%.     

基于最大熵的依存句法分析

该文提出并比较了三种基于最大熵模型的依存句法分析算法,其中最大生成树(MST)算法取得了最好的效果。MST算法的目标是在一个带有权重的有向图中寻找一棵最大的生成树。有向图的每条边都对应于一个句法依存关系,边的权重通过最大熵模型获得。训练和测试数据来源于CoNLL2008 Share Task的公用语料。预测的F1值在WSJ和Brown两个测试集上分别达到87.42%和80.8%,在参加评测单位中排名第6。     

基于判别式的藏语依存句法分析

现有藏语句法体系复杂,不利于藏文自然语言处理的应用.为此,提出基于判别式的藏语依存句法分析方法,采用感知机方法训练句法分析模型,CYK自底向上算法解码生成最大生成树.实验结果表明,在人工标注的测试集上,句法分析正确率达到81.2％,可实际应用到藏语依存树库的构建和其他自然语言处理中.     

基于依存句法分析的中文语义角色标注

依存句法是句法分析的一种,相比于短语结构句法分析,依存句法具有更简洁的表达方式。该文采用英文语义角色标注的研究方法,实现了一个基于中文依存句法分析的语义角色标注系统。该系统针对中文依存关系树,采用有效的剪枝算法和特征,使用最大熵分类器进行语义角色的识别和分类。系统使用了两种不同的语料,一种是由标准短语结构句法分析(CTB5.0)转换而来,另一种是CoNLL2009公布的中文语料。系统分别在两种语料的标准谓词和自动谓词的基础上进行实验,在标准谓词上取得的F1值分别为84.30％和81.68％,在自动谓词上的F1值为81.02％和81.33％。     

基于序列标注的中文依存句法分析方法

提出了一种基于序列标注模型的中文依存句法分析方法.该方法将依存句法分析转化成序列标注问题,利用条件随机场CRF(Conditional Random Field)建立序列标注模型.在宾州中文树库的测试中,达得了76.59%的依存关系准确率,句子准确率也达到了23.5%.同时我们改进了Viterbi算法,使得依存关系的准确率提高了近2个百分点,句子准确率提高了近3.5个百分点.     

基于依存句法分析的多特征词义消歧

词义消歧在机器翻译、信息检索、语音语义识别等方面具有重要作用。为提高消歧质量,细化特征粒度,提出一种多特征词义消歧方案。通过依存句法分析提取上下文中多义词及义项的词性、依存结构、依存词等特征,细化特征粒度,并根据多特征构造权值函数,选择权值最大的义项作为多义词的义项。实验结果表明,与单一特征词义消歧相比,采用依存句法分析的多特征词义消歧方案细化了特征粒度,提高了消歧准确率。     

蒙古文依存句法分析

近年来,依存句法分析逐渐成为自然语言处理领域中的研究热点。然而,蒙古文的依存句法分析尚未得到足够的重视。基于最大生成树模型在蒙古文依存关系树库TMDT上进行了蒙古文依存句法分析的研究。在简要介绍蒙古文的特点和蒙古文依存关系树库TMDT之后,详细讨论了最大生成树模型。为找到该模型在蒙古文依存句法分析中合适的特征,重点通过实验对8种特征及其组合在句法分析中的性能进行了比较。结果显示,Basic Unigram Features、Basic Bi-gram Features以及C-C sibling Features这3种特征的组合性能最佳。本研究为蒙古文依存句法分析奠定了基础。     

基于序列标注模型的分层式依存句法分析方法

该文提出了一种全新的分层式依存句法分析方法。该方法以依存深度不大于1的依存层作为分析单位,自底向上构建句子的依存结构。在层内,通过穷尽搜索得到层最优子结构;在层与层之间,分析状态确定性地转移。依存层的引入,使该模型具有比典型的基于图的方法更低的算法复杂度,与基于转换的方法相比,又一定程度上缓解了确定性过程的贪婪性。此外,该方法使用典型序列标注模型进行层依存子结构搜索,证明了序列标注技术完全可以胜任句法分析等层次结构分析任务。实验结果显示,该文提出的分层式依存分析方法具有与主流方法可比的分析精度和非常高的分析效率,在宾州树库上可以达到每秒2 500个英语单词。     

建立现代汉语依存关系的层次体系

依存语法通过分析语言单位内成分之间的依存关系揭示其句法结构本文针对从短语到句群的各级单位内部的各种依存关系展开讨论。提出依存关系普遥存在于各级单位之中, 初步建立了汉语依存关系的层次体系。这一体系覆盖了大部分常见的语言现象, 经检验可应用于句法分析过程中, 作为表示句子结构的一种手段。为了增进体系的完备性和正确性, 显然还有许多工作要做。     

基于相邻实词关系的汉语信息检索

本文的重点是应用句法分析提高汉语信息检索的性能。本文使用定制的PCFG句法分析算法提取相邻实词的关系。在TREC Mandarin的实验证实相邻词关系对信息检索的作用：R—Precision从38．66％提高到39．74％,面向用户系统的重要指标——返回20个文档时的精确率由55．16％提高到57．89％,平均精确率从39．28％提高到40．34％。     

基于Avalon总线的XML解析器设计

嵌入式系统和Web Service技术的融合是嵌入式系统发展的一个新方向。由于嵌入式系统本身运算能力和资源的限制,XML解析成为嵌入式系统快速处理SOAP消息进而更好地支持Web Service技术的瓶颈之一。在VTD-XML解析模型的基础上,设计了一个基于Avalon总线的IP核来分担XML解析的一部分任务,减轻嵌入式系统的运算负荷和片内资源消耗,从而提高嵌入式系统的XML解析性能。     

一种提高中文搜索引擎检索质量的HTML解析方法

中文搜索引擎经常会返回大量的无关项或者不含具体信息的间接项,产生这类问题的一个原因是网页中存在着大量与主题无关的文字。对使用关键字检索方法的搜索引擎来说,想在检索或者后处理阶段解决这类问题不仅要付出一定代价,而且在大多数情况下是不可能的。在这篇论文中,我们提出了网页噪声的概念,并针对中文网页的特点,实现了一种对网页自动分块并去噪的HTML解析方法,从而达到在预处理阶段消除潜在无关项和间接项的目的。实验结果表明,该方法能够在不占用查询时间的前提下100%地消除中文搜索引擎隐藏的间接项,以及大约11%的无法过滤或隐藏的无关项或间接项,从而大幅度提高检索结果的查准率。     

基于词间依存的汉语基本块依存关系识别

基本块的分析是句法分析中的重要技术,根据依存理论,提出了一种分析基本块之间的依存关系的方法。首先使用BIO标记来识别基本块,然后根据词之间的依存关系判别基本块之间的依存关系。实验表明,基本块识别的正确率和召回率分别为82.3%和78%,基本块之间依存关系识别的正确率和召回率分别为89%和90.5%。