维语中心语驱动文法句法分析器中的上下文相关处理

上下文相关处理问题是维语中心语驱动文法句法分析器中的难点之一。但它又是解决维语中心语驱动文法句法分析器的结构歧义问题的主要手段。如何巧妙地应用上下文相关技术解决维语句法分析器中的结构歧义问题便成为当前维语句法分析研究的重要课题。本文论述了维语句法分析中上下文相关的一般概念,上下文相关规则处理和几种维语并列关系的多项语句的分析过程。     

基于词汇化随机文法模型的RNA二级结构预测

针对经典的随机文法模型预测RNA二级结构存在精度不高的问题,本文给出了一种词汇化随机文法模型预测RNA二级结构的方法。首先,用最大熵模型获取RNA序列中的词条信息,通过Viterbi算法搜索每个词条被标注为某种二级结构类型的最大概率;然后,将这些词条信息作为先验信息在随机文法模型训练过程中引入,从而加快对二级结构的搜索过程,提高准确率。     

词汇化句法分析与子语类框架获取的互动方法

概率句法分析器(PCFG Parser)是基于概率规则集的上下文无关文法的句法分析器。规则集主要是针对词类和短语类。然而事实上,词性相同而词汇不同,其所常用的句法规则也通常不同。目前NLP研究的一个趋势和热点就是词汇化的句法分析。针对概率句法分析独立性假设中缺乏词汇化的缺陷,本文将谓语动词的子语类信息与概率句法分析结合起来,提出一种基于动词子语类信息的词汇化概率句法分析方法。论文建立了基于汉语动词子语类框架的统计句法分析模型,并且针对动词子语类框架难以获取的问题,提出一种词汇化概率句法分析与动词子语类框架获取的互动方法。实验利用这种互动的方法获取了汉语中十个常用高频动词的概率化子语类信息,并结合原有的概率句法分析器PCFG实现了一个基于动词子语类信息的概率句法分析器原型系统S-PCFG。实验证明了基于动词子语类信息的概率句法分析对自然语言句法分析的准确率和速度均有所提高。同时分析了新的概率句法分析器的不足之处,为进一步的改进提供条件。     

基于概率上下文无关文法的句法分析歧义消解新模式

基于自然语言句法歧义消解常用的一种概率模型-概率上下文无关文法，融入上下文相关的概率信息，提出一种新的歧义消解计算模式，该模式经测试可以有效地提高句法分析中歧义消解的正确率。     

一种特殊的上下文无关文法及其语法分析

SAQ系统是一个进行软件规约获取、检验和复用的实验系统，其中以上下文无关文法表示的概念是规约的一部分.SAQ要求将概念的词法和句法定义结合在一个上下文无关文法中.如果用常规的上下文无关文法描述诸如程序设计语言和自然语言等一些复杂概念的语法，则需要把诸如空格和回车等没有实质意义的分隔符包含到语法中去(这种描述方法称为朴素表示法),使得语法描述很累赘.为此，作者设计了一种特殊的上下文无关文法,它把通常上下文无关文法定义中的非终极符集合和终极符集合进行细化.用这种文法可以相对简洁地描述程序语言和自然语言等复杂概     

一种用未分析语料训练文法的方法

本文提出了文法规则的推导概率和归约概率的概念，通过修改Ｉｎｓｉｄｅ－Ｏｕｔｓｉｄｅ算法，将其应用于从未分析语料中获取一般形式的上下文无关文法规则的概率参数．     

逻辑程序的实现策略(二)

六、算法的时间复杂性 算法1是严格按Horn子句和上下文无关文法的对应关系用Earley思想设计的。一般来说,Horn子句对应了上下文无关文法的所有可能性,它可能对应无穹界多义文法,有界多义文法,两义文法,非两义文法及在限状态上下文无关文法。正因为Earley算法是极为通用的上下文无关文法,它对任一种上下文无关文法都可求解。所以算法1的功能对所有Horn子句系统亦是通用的,只不过是对不同类型的Horn子句系统,对不同的问题,其算法复杂性是不同的。     

一种有效的结点标号上下文无关图文法分析算法

本文讨论了上下文无关图文法的性质，并证明了图文法推导具有独立性．本文还给出了一种有效的上下文无关图文法分析算法，它具有多项式时间复杂性，并给出了算法的正确性证明．该算法已经用Ｃ语言实现．     

面向上下文无关语言的信息提取模块化设计

为实现白盒测试的源文件信息提取，提出了通过Lex和Yacc对使用上下文无关文法定义的语言进行词法和语法分析，构建独立的信息提取模块的思想。在函数信息提取部分提出了块和级的概念，用语句结构和语句链表结构将函数定义信息表示出来。在类信息提取部分通过识别出类声明中的成员变量和成员函数的声明信息，建立成员链表结构；识别类声明信息，建立类结构。然后将这些结构信息存入数据库，以供后续模块使用，充分做到了模块独立性和可重用性。这样只需要设计不同的信息提取模块，就可以将目前已经实现的面向C／C＋＋语言的软件测试工具WBoxTool推广应用到其它面向上下文无关文法的语言。     

基于二元组合文法的歧义消解模型

本文论述了一种基于二元组合文法的汉语句法结构分析的消除歧义方法。首先给出了二元组合文法的基本概念以及基本思想,然后研究了概率上下文无关文法独立性假设的限性,并针对局限性引入了基于二元组合文法的上下文相关的概率信息,同时提出了一种新的计算分值模式。实验结果证明,这种方法对句法分析过程中的歧义消解是有效的。     

Parsing Arabic using induced probabilistic context free grammar

The importance of the parsing task for NLP applications is well understood. However developing parsers remains difficult because of the complexity of the Arabic language. Most parsers are based on syntactic grammars that describe the syntactic structures of a language. The development of these grammars is laborious and time consuming. In this paper we present our method for building an Arabic parser based on an induced grammar, PCFG grammar. We first induce the PCFG grammar from an Arabic Treebank. Then, we implement the parser that assigns syntactic structure to each input sentence. The parser is tested on sentences extracted from the treebank (1650 sentences).We calculate the precision, recall and f-measure. Our experimental results showed the efficiency of the proposed parser for parsing modern standard Arabic sentences (Precision: 83.59 %, Recall: 82.98 % and F-measure: 83.23 %).     

A predictive bottom-up parser

Despite all advances in parsing, parser size, conflict resolution and error recovery are still of important consideration. In this research, we propose a predictive bottom-up parser. The parser is implemented in two versions. Both versions constitute an algorithm that simulates the run of a shift–reduce automaton, defined and constructed in a way that integrates its parsing actions with reduction prediction, conflict resolution and error recovery. However, the first implementation version performs explicit shift–reduce parsing actions based on implicit prediction of the reduction sequences. The second one performs parsing actions based on explicit prediction of the reduction sequences with implied shift–reduce actions. The proposed parser has been experimented against the ones based on similar approaches. 10–20% reduction of the parser size has been achieved, with a parsing behaviour proportional to a factor reflecting the grammar ambiguity.     

四种基本统计句法分析模型在汉语句法分析中的性能比较

统计模型的选择是统计句法分析的关键。目前句法分析常用的有四种经典统计模型—PCFG模型,基于历史模型、分层渐近式模型和头驱动模型。本文通过实验,在已有的10000句汉语树库基础上,测试了这四种经典模型在现有数据规模下各自的性能,并论述了这四种经典模型的各自特点。本文旨在通过对四种基本模型的比较研究,为具体应用中句法分析模型的选择提供参考和依据。     

Generalized queries on probabilistic context-free grammars

Probabilistic context-free grammars (PCFGs) provide a simple way to represent a particular class of distributions over sentences in a context-free language. Efficient parsing algorithms for answering particular queries about a PCFG (i.e., calculating the probability of a given sentence, or finding the most likely parse) have been developed and applied to a variety of pattern-recognition problems. We extend the class of queries that can be answered in several ways: (1) allowing missing tokens in a sentence or sentence fragment, (2) supporting queries about intermediate structure, such as the presence of particular nonterminals, and (3) flexible conditioning on a variety of types of evidence. Our method works by constructing a Bayesian network to represent the distribution of parse trees induced by a given PCFG. The network structure mirrors that of the chart in a standard parser, and is generated using a similar dynamic programming approach. We present an algorithm for constructing Bayesian networks from PCFGs, and show how queries or patterns of queries on the network correspond to interesting queries on PCFGs. The network formalism also supports extensions to encode various context sensitivities within the probabilistic dependency structure     

基于GLR算法的新型概率句法分析器

为了提高句法分析器的分歧能力和分析准确率,结合上下文无关概率模型PCFG和头驱动概率模型HDSM各自的优点,提出了一种新型的概率模型PCFG_HDSM,并基于GLR算法,实现了一个新型的汉语句法分析器。在词性标注阶段,通过对助词的详细标注使部分歧义在规则阶段就被去除掉,提高了系统消歧的能力。经过开放测试,准确率和回归率分别达到82.8%、74.7%,与其他分析器分析结果比较有了较大提高,证明新模型PCFG_HDSM确实提高了分析器的分歧能力。     

一种有效的概率上下文无关文法分析算法*

句法分析的研究是自然语言处理领域的一个重要组成部分。该提出并实现了一种有效的概率上下无关法ＳＣＦＧ（ｓｔｏｃｈａｓｔｉｃ ｃｏｎｔｅｘｔ－ｆｒｅｅ ｇｒａｍｍｅｒ）的分析算法。首先对原有的ＧＬＲ分析有加以改造，以便能够利用分析过程的控制结构来计算有关的概率；然后对分析过程中的每个状态增设了下标，以区分不同的归约路径。通过上述手段，成功地引入了状态的前向（Ｆｏｒｗａｒｄ）概率和内（Ｉｎｎｅｒ）     

结合结构下文及词汇信息的汉语句法分析方法

针对句法分析中上下文无关语法模型对句子信息利用的不足,通过融入结构下文和部分词汇信息,提出两种基于概率上下文无关语法模型的短语结构消歧方法,以达到消解结构歧义的目的;引入分层分析的算法,通过损失一定的时间效率使得在提高分析准确率的同时保证分析结果的全面性。实验结果表明,融入结构下文及词汇信息的汉语句法分析方法,利用了更多的句子信息,与上下文无关语法相比有着更强的消歧能力。     

基于黑板结构模式的XML解析器

以协同工作平台服务(CWPS)项目为研究背景,提出一种基于黑板结构模式的XML解析器的设计方案。分析传统编译器的缺陷,给出XML解析器的软件构架,阐述该构架的设计思想,探讨关键技术,包括DOM树生成算法、模式树对象模型、有效性验证算法和解析引擎等。工程应用验证,该解析器构架具有良好的解析效果。     

一个基于GLR算法的英汉机器翻译浅层句法分析器

浅层句法分析是指短语级的自然语言句法分析。在研制MatLink英汉机器翻译系统的过程中,提出了扩充的CFG文法用于描述英语短语句法,并改进了GLR算法,设计实现了用于英汉翻译的英语浅层句法分析器。该分析器采用多出口的分析表结构,引入符号映射函数实现短语边界的自动识别,用孩子兄弟树描述短语的句法结构,并通过短语转换模式实现源语言向目标语言的短语级转换。最后,通过对一个实例句子的分析阐述了该浅层句法分析器的设计思想和工作过程。