一种基于聚类与分类结合的汉语隐喻短语识别方法

隐喻识别是自然语言处理的一个重要研究分支。目前人们越来越清楚地认识到隐喻在思维及语言中所处的重要地位。本研究在前人工作的实验和考察基础上,发现基于分类器来识别隐喻的方法存在数据稀疏的问题,即当训练语料中缺少需要识别的源域词数据时,分类的结果将不会太好。应对数据稀疏问题,该文提出了一种基于聚类与分类结合的隐喻短语获取方法。该方法将包含源域词S的短语进行聚类。将聚类的结果作为分类的一类特征。实验表明,使用聚类产生的特征训练出来的分类器,不仅能很好地识别训练语料中存在源域词数据的情况,也能很好地识别训练语料中缺少源域词数据的情况,具有很高的召回率。     

汉语句法树库检索系统的设计与实现

句法树库是一项重要资源,它能为汉语语言研究和信息处理提供一个有利的数据平台。汉语句法树库检索的实现用到了流操作和GD I+图形操作。汉语句法库检索系统是基于句法树库的应用系统,提供了对句法树库的检索和统计,并且能够根据树库中的合法语句画出该语句的树状结构图,进而使用户对语句的句法结构有一个形象、直观的了解。     

汉语短语结构定界歧义类型分析及分布统计

本文对汉语短语结构的定界歧义做了全面考察,从歧义格式的组成成分,歧义对外造成的影响,模式歧义和实例歧义的对应关系三方面考察了短语结构定界歧义的不同类型,并对汉语短语结构定界歧义的不同类型进行了初步统计。希望能将计算机处理汉语时碰到的短语结构边界歧义问题进一步清晰化,供理论研究者和应用系统开发人员参考。     

融合句法信息的双语词对齐方法研究

词对齐研究是多文种信息处理工作的一项不容忽略的基础性研究内容。通过针对中文和蒙古文词对齐研究中存在的形态和词序不对称以及支撑词对齐研究的对齐语料缺乏问题,开展融合语言信息的中蒙混合词对齐模型构建方法研究。利用产生式词对齐结果以及中蒙两种语言的语言信息作为潜特征,建立高质量的融合语言信息的中蒙混合词对齐模型。实验结果证明,该文提出方法对于利用可比语料抽取对齐语料是可行的。     

融合句法信息的双语词对齐方法研究

词对齐研究是多文种信息处理工作的一项不容忽略的基础性研究内容。通过针对中文和蒙古文词对齐研究中存在的形态和词序不对称以及支撑词对齐研究的对齐语料缺乏问题,开展融合语言信息的中蒙混合词对齐模型构建方法研究。利用产生式词对齐结果以及中蒙两种语言的语言信息作为潜特征,建立高质量的融合语言信息的中蒙混合词对齐模型。实验结果证明,该文提出方法对于利用可比语料抽取对齐语料是可行的。     

基于短语的统计机器翻译中汉维短语对抽取算法改进

提出一种改进的短语抽取算法,该算法首先考虑词对齐矩阵中一个汉语词对齐到多个维语词的情况(包括不连续),然后采用Och方法进行判断.如果满足条件则进行短语抽取.试验结果表明,改进后的短语抽取算法能够抽取出更多汉维短语对,提高短语翻译对抽取的效果.     

融入双语最大名词短语的机器翻译模型

在统计机器翻译中融入有价值的句法层面的语言学知识,对于推动统计机器翻译的发展,具有重要的理论意义和应用价值。提出了三种由简到繁的把双语最大名词短语融入到统计翻译模型的策略,整体翻译性能逐步上升。Method-III采用“分而治之”的策略,以“硬约束”的方式在统计机器翻译中融入最大名词短语,并在双语最大名词短语层面上,融合了短语翻译模型和层次短语模型,对翻译系统的改善最显著。所述策略显著提高了短语翻译模型的质量,在复杂长句翻译中,Method-III的BLEU值比基于短语的基线翻译模型提高了3.03%。     

汉语短语标注标记集的确定

本文提出了一个汉语短语标注的基本标记集, 并从句法功能和结构组成方面对不同短语的性质进行了深入的分析和探讨, 以期为汉语短语划分和标注的自动处理和人工校对提供一个统一的处理标准。     

汉语介词短语的自动识别

本文运用规则和统计相结合的方法构造了一个汉语介词短语识别算法。首先,根据介词和介词短语右边界组成的搭配模板自动提取可信搭配关系,并用这些搭配关系对介词短语进行识别。之后,用基于词性的三元边界统计模型和规则相结合的方法识别其它未处理的介词短语。通过对含有7323 个介词短语的语料作交叉测试,精确率达到87148 % ,召回率达到87127 %。     

一个汉语短语自动界定模型

本文提出了一个汉语短语自动界定模型，它通过基于统计的自动界定处理，利用通过错误驱动自动学习而得到的调整规则界定情况局部调整，利用人工总结的全局调整规则进行精调整等３个处理阶段，可以较邹地确定一句经过正确切分和词性注处理的汉语句子中不同短语的边界位置，从而为时一步的汉语短语自动划分和标注处理打下了良好的基础，对１０００多句句子的实验结果表明，模型的界定正确率达到了９６．３３％（封闭测试）、９４．５５     

基于统计和模板的双层汉蒙翻译研究

为了提高汉蒙翻译系统的翻译准确率,提出了在短语基础上结合模板的方法自动抽取模板结构;解码时,首先进行模板匹配,套用模板结构进行翻译,然后再按照Beam Search搜索算法进行后续翻译。该方法可以有效地解决单一的统计翻译中语序错误。以汉蒙翻译为例,实验结果显示此方法可以有效地提高翻译效果。在农业领域的汉蒙翻译中添加了农业常用短语模板,翻译效率相比Och的基于短语的统计翻译方法有较大的提高。     

基于句法树的藏语最长名词短语识别

最长名词短语携带着丰富的句法和语义信息,经常与句法成分对应,在句子中充当一定的语义角色。最长名词短语识别在自然语言处理中占重要地位,是分析和理解句子结构、意义的基础。该文通过梳理不同概念的最长名词短语的含义,从句法树角度界定了藏语最长名词短语的基本概念;从句法树库中抽取6 038个句子,分析了最长名词短语的结构类型、边界特征和出现频次,最后采用序列标注模型和句法分析模型对最长名词短语进行识别。序列标注模型识别结果的正确率、召回率和F₁值分别为87.14%、84.72%、85.92%。句法分析模型识别结果的正确率、召回率、F₁值分别为85.02%、84.51%、84.76%。     

基于归约的汉语最长名词短语识别方法

该文提出了最长名词短语(MNP)的操作性定义,分析了其构造和分布特征,并设计了一种基于baseNP归约的识别方法,利用MNP结构特性及起始有定成分、语义核心等语言学特征,缓解了最长名词短语长距离依赖与模型观察窗口受限的矛盾。开放测试取得了88.68%的正确率和89.21%的召回率;归约方法全面提升了识别性能,特别是将多词结构的调和平均值提高1%,优化幅度达6%以上,并且对长距离复杂结构有着更好的识别效果。     

最大熵与转换规则相结合识别中文名词短语

本文针对统计方法和规则方法各自的特点,提出基于最大熵方法和转换规则方法相结合的中文基本名词短语识别算法,该算法是在一定词性标注的基础上实现的.在训练和测试两个阶段中,均先采用最大熵方法识别基本名词短语,然后将已具有一定精度的识别结果作为初始标注结果运用于转换规则方法中.实验表明,该方法具有一定的可行性.     

基于规则的哈萨克语基本名词短语识别研究*

以哈萨克语基本名词短语识别为目标,采用基于规则的方法,从基本名词短语结构语法模型出发,利用哈萨克语基本名词短语的词性标记信息及构形附加成分信息,建立了基本名词短语规则集,设计了哈萨克语基本名词短语自动识别系统,实现了对30万词级哈萨克语语料库的基本名词短语标注。实验结果表明,该方法可行,识别精确率达到80.8%。     

评价短语的倾向性分析研究

评价短语是评价因子之一,是汉语倾向性研究的重要组成部分。评价短语可以分为“评价词+评价词”、“修饰词+评价词”、“普通词+评价词”、“修饰词+普通词”、“普通词+普通词”5类。评价短语类型不同,采用的倾向性分析策略也不同。短语计算规则和短语评价词典的互动是该文采用的基本方法。在制定短语计算规则时应遵守共性与个性相结合的原则;建立短语评价词典时应遵循最小评价因子原则。实验证明,短语计算规则与短语词典的建立提高了倾向性分析系统的准确率,是一种行之有效的方法。     

一个汉语短语自动界定模型*

本文提出了一个汉语短语自动界定模型，它通过基于统计的自动界定处理．利用通过错误驱动自动学习而得到的调整规则进行界定情况局部调整，利用人工总结的全局调整规则进行精调整等3个处理阶段，可以较好地确定一句经过正确切分和词性标注处理的汉语句子中不同短语的边界位置。从而为进一步的汉语短语自动划分和标注处理打下了良好的基础．对1000多句句子的实验结果表明，模型的界定正确事达到了96.33％(封闭测试)、94.54％(开放测试)．     

基于短语的统计机器翻译中短语表的过滤

大多数基于短语的统计机器翻译系统将任意连续的词串看作短语,并没有考虑短语的合理性。使用了C-value以及短语粘结度两种方法,有效地对短语表进行过滤,减小了搜索空间,同时还提高了翻译质量。实验表明,在翻译结果的BLEU评价提高0.02的情况下,短语表可以缩减为原来的78%。并且当短语表缩减为原来的47.5%时,BLEU评价仍提高了0.0158。     

统计机器翻译中的非连续短语模板抽取及其应用

目前基于短语的统计机器翻译模型很少将非连续短语的情况考虑在内,由此造成翻译结果在目标语言中的意义变化或缺失。以非连续介词短语为例,提供了一种短语模板抽取算法。首先采用基于规则的方法,抽取出中文非连续介词短语模板,而后借助双语对齐语料和介词_方位词翻译表,获得模板对应的英文翻译。最终形成的双语模板被加入短语翻译表中。在标准测试语料上的对比实验表明,加入非连续短语模板后,译文更加符合语法规范,而翻译结果也取得了相对稳定的提高。     

基于虚拟上下文的统计机器翻译短语表的过滤

在基于短语的统计机器翻译系统中,自动抽取的短语表中不可避免的包含大量的冗余和错误的短语对,这浪费了解码资源又影响翻译质量。为了缓解这个问题,该文提出一种基于虚拟上下文的过滤短语表的方法。该方法引入虚拟上下文计算短语对的得分增量;并通过计算最大和最小的短语对的得分增量,设计了一种对短语对重排序的过滤策略。我们在NTCIR-9的中英数据上进行了验证实验,结果显示,当短语表的规模下降到原来的47%时,翻译质量的BLEU值提高了0.000 5;当短语表的规模下降到原来的30%时,BLEU值仅下降0.000 6。实验结果表明,在大规模短语表的过滤中,该文的方法是有效可行的。