语料库与知识获取模型

在计算语言学中, 知识作为句法分析的数据支持起着重要的作用, 如何利用计算机从现实世界中获取知识一直是人工智能领域探讨的重要课题, 本文描述了如何从语料库这一客观真实数据资料获取有用知识, 用以帮助汉语句子中依存关系的分析, 在依存语法作为语言模型的基础上, 探讨了向上依存关系的二元同现矩阵, 以及知识库的组成和结构, 在获取词跟词之间的依存关系的同时, 还获取了词跟类、类跟类之间的依存关系     

基于规则的汉语句法分析方法研究

该文从汉语的句法结构特点出发对基于规则的汉语句法分析方法进行讨论,从中总结出这类方法的一般特征,提出实用化的基于规则的汉语句法分析器必须引入其它辅助分析手段才能提高性能和可靠性。     

基于统计的句法分析方法研究

在概述统计句法分析主要特征的基础上,对目前主流分析方法进行了深入分析,提出了实用化的基于统计的句法分析器必须引入结构信息、上下文信息、词汇信息以及语义信息才能提高性能和可靠性的观点。总结了基于统计的汉语句法分析方法当前的研究现状,最后探讨了基于统计的汉语句法分析方法的不足之处和发展趋势。     

基于粗集的汉语词语义项知识的获取

由于自然语言语序的灵活性,使得自然语言知识的自动获取很困难。本文基于粗糙集理论的属性值约简方法,结合基于记忆的学习(Memory Based Learning,简称MBL) ,提出了一种汉语多义动词义项知识的获取方法,用该方法获得的知识可用于词义消歧。     

一种基于概率上下文无关文法的汉语句法分析

本文研究了PCFG独立性假设的局限性,并针对这一局限性提出了句法结构共现的概念以引入上下文信息,给出了计算方法;为了打破中文树库规模过小的局限性,对于句法规则参数的获取,本文利用Inside-Outside算法进行迭代,最后提出了一个基于统计模型的自顶向下的汉语句法分析器。在封闭测试下,其标记精确率和标记召回率分别为88.1%和86.8%。实验结果表明,这种方法确实能够提高标记的精确率和召回率,值得深入研究。     

汉语句法分析的交互激活竞争模型

本文根据联结主义提出的交互激活竞争理论, 把句法分析看做为一个通过竞争机制从句法规则集中选取合适句法规则的过程, 并建立了一个汉语句法分析的网络模型。这一模型的特点是能用最少单元把任何短语文法转换成网络表达能根据一般原则对网络赋权 网络具有较好的收敛性。这一模型已成功地应用于若干汉语基本句型的分析和歧义词的处理。本文还对通常的网络函数计算公式作了改进, 使网络能克服“ 层次障碍”的影响, 并保持原有的特性。     

语料库、知识获取和句法分析

在这篇文章中, 我们将介绍一种基于语料库的汉语句法分析系统。这里, 我们用以进行句法分析的知识主要是从有句法标注的语料库中获得的。我们的工作注重在知识获取及表达句法分析的算法。在句法分析中我们也用到了语法知识, 即依存语法四公理。此外, 我们也提出了依存语法第五公理来支持我们的汉语句法分析系统。     

基于转换的汉语基本名词短语识别模型

基本名词短语的识别在自然语言信息处理领域具有重要作用。本文首先从语言学的角度提出了汉语基本名词短语的概念,然后从语言信息处理的角度将用于基本名词短语识别的知识分为两部分,即表示基本名词短语句法组成的基本结构模板(静态知识)与表示基本名词短语出现的上下文环境特征的转换规则(动态知识)。在此基础上设计了一种基于转换的基本名词短语识别模型,该模型可同时结合这两类知识识别基本名词短语。实验结果显示了较高的识别正确率。     

面向综合语言知识库的知识融合与获取研究

针对如何填补语料库和电子词典的数据结构之间的差异,如何将语料库与电子词典融合到综合语言知识库系统中,并进行多语言知识资源之间的交叉参考等问题,提出并实现了一种便捷的语言知识查阅方法。该方法以语料库为基础,利用鼠标左键点击完成从电子词典中获取相关知识的操作。通过在北大语料检索工具上的实验,使得用户在浏览语料的同时即可获取电子词典中相应的词汇知识,实现了语料库和词典间便捷、准确的对应和参照,体现了此方法的优势。     

单语句法分析指导的双语结构对齐

提出了一种单语句法分析指导的双语语料库结构对齐方法．该方法以统计的双语模型——反向转换文法为基础,通过把英语句法分析知识融入到双语模型中,实现英汉双语的结构对齐．与现有方法相比,只需要一种语言的句法分析结果,避开了汉语句法分析的难题,同时保证了双语结构对齐的语法合理性．实验结果表明,这种方法充分利用现有的句法分析知识,有效地提高了结构对齐的正确率．利用该方法获得的结构对齐双语料库对于翻译知识的自动获取研究具有重要意义．     

统计与规则并举的汉语句法分析模型

在自然语言分析中，传统的基于规则的方法和近年兴起的基于统计的方法各有利弊，如何把二者有机的结合起来，以提高分析器的处理能力，是当前计算语言学的重要课题。本文采用依存文法，提出了一种基于依存文法的融合语料库，规则方法和统计方法的汉语分析模型。该模型的特点是将汉语依存文法分析看作是与词性标注过程等价的一个基于统计的标注过程。文中首先介绍了ＣＲＳＰ的设计思想，然后讨论了从标注过的语料中获取知识的方法，叙     

基于百科语料的中英文双语词典提取

双语词典是跨语言自然语言处理中一项非常重要的资源.目前提取双语词典的方法主要是基于平行语料库和基于可比语料库,但是这两种方法在提取新词或者某些技术术语时都存在双语资源匮乏的问题.相比之下,基于部分双语语料的方法由于利用的是新闻或者百科知识,故可以很好地解决这个问题,然而目前基于部分双语语料的方法主要集中在对文本内容的提...     

基于双语约束的蒙古语无监督依存分析

句法分析在自然语言处理的实际应用中扮演着重要的角色。当前各少数民族语言包括蒙古语的句法分析研究还处在相对滞后的阶段。同时给其他相关研究带来了相应的困难。该文提出了一种基于双语约束的蒙语的无监督依存分析方法。能够在无需蒙语依存树库及蒙语句法的情况下,对蒙语进行无监督的依存句法分析。并且获得了较好的效果,在人工标注的测试集上有向及无向的正确率分别达到了67.2%及73.3%,可以实际应用到自然语言处理中了。     

基于局部优先的汉语句法分析方法*

提出了一种利用局部优先信息对汉语分析算法进行优化的新方法,通过利用从语料库中自动获取的结构优先关系数据作为优先判断依据.此方法使目前的汉语概率分析器的整体效率提高了近30%,显示了很好的应用前景.     

基于最大熵模型的汉语问句语义组块分析

问句分析是问答系统的关键,为降低问句完整语法分析的复杂度,该文应用浅层句法分析理论,采用问句语义组块方式来分析问句。以“知网”知识库为基础,提取和定义了表达汉语问句的6种语义块,定义了语义组块最大熵模型的特征表示,通过最大熵原理实现了语义组块特征抽取和特征选取学习算法,并以模型为基础实现了真实问句的语义块的标注,从而为在语义层面上理解汉语问句奠定了基础。实验结果说明最大熵模型应用于汉语问句语义组块分析具有较好的效果。     

基于概念知识树的双宾短语分析

双宾短语是一种特殊的语言现象,为了使计算机能够理解并处理双宾短语,该文从语法和语义两个层面对双宾短语进行了分析,基于概念知识树知识表示模型建立了双宾短语的语义表达模型;并提出一种双宾短语分析算法,实现了从双宾短语到其语义表达模型的自动转换。双宾短语分析算法采用自顶向下和自底向上相结合的方法,自顶向下用于对双宾短语的语法成分进行划分,获得构成双宾短语的双宾动词成分、间接宾语成分和直接宾语成分;自底向上用于使用基于概念知识树的短语分析推理算法对双宾短语中的这三种成分分别进行分析,获得对应的语义表达;最后,利用三种成分的语义分析结果构建双宾短语完整的语义表达。该文从权威文献和语法词典中选取了122个双宾动词,对这些双宾动词构成的209个短语进行了分析,分析的正确率为90.43%,证明了该文提出的双宾短语分析算法和语义表达模型的有效性。     

基于多层最大嫡模型的句子主干分析

句子主干分析的主要任务是自动识别句子的主干成分。鉴于汉语句子之间成分的相关性,提出一种多层最大嫡模型,它的底层最大嫡利用句子的上下文特征识别主千词候选项,高层最大嫡利用底层最大嫡模型的计算结果,结合句子内的远距离特征和句子之间的关系,对底层最大嫡模型识别出的主干词候选集进行分析。实验证明,该模型对于简单的主干成分识别正确率较高,对训练语料有一定的依赖;随着语料规模的增长,模型性能缓慢提升。     

基于语言学的依存分析结果动宾关系补全研究

格语法理论中一般动词带有必须格,而汉语中右侧带必须格的动词映射到依存句法中该动词一般带有宾语。基于该理论识别依存句法分析结果中缺失动宾关系依存弧的现象,针对该类错误,提出了一种基于知识约束的算法,寻找缺失依存弧以改进依存句法分析。实验结果表明,利用语言学知识能有效地识别依存句法分析结果中缺失动宾关系依存弧的动词,识别准确率达到93.80%,改进后的系统UAS值提升了0.21%,动宾关系UAS值提升了2.14%,说明利用语言学知识能够改善依存句法分析效果。