哈萨克语基本名词短语自动识别研究与实现

以哈萨克语基本名词短语识别为目标,实现了哈萨克语基本名词短语自动识别系统。采用基于规则自动识别及人工标注的方法建立基本名词短语标注语料库,在此基础上,采用统计和规则相结合的识别方法,利用互信息进行基本名词短语边界预测,然后根据哈萨克语基本名词短语构成规则对预测边界进行调整,加入标注符,得到最终的识别结果。实验结果表明,两种方法封闭测试的识别精确率分别为80.2%和82.5%。     

结合句法组成模板识别汉语基本名词短语的概率模型

文中首先给出了汉语基本名词短语的形式化定义,并通过抽取ｂａｓｅＮＰ句法组成模板,显示了这个定义的可操作性,文中指出,句法组成模板只是识别ｂａｓｅＮＰ的必要条件,而非充要条件,仅靠句法组成模板并不能解决ｂａｓｅＮＰ识别中的边界模糊歧义和短语类型歧义问题。据此,把体现ｂａｓｅＮＰ内部组成的句法组成模板与体现上下文约束条件的Ｎ元模型结合起来,形成了汉语ｂａｓｅＮＰ识别的新模型。实验证明,该模型的性能优于     

汉语基本名词短语结构分析模型

本文提出了用词语潜在依存关系分析汉语ｂａｓｅＮＰ结构的模型,它有以下的特点：①将依存语法知识融入概率模型中,使得ｂａｓｅＮＰ结构分析在依存语法知识的指导下进行,其性能优于纯粹的概率模型－相依模型;②词语潜在依存强度的获取算法是基于ＭＤＬ原则的,在模型建造时既考虑数据拟合性,又考虑模型归纳性,其性能优于基于极大似然原则的词语在依存强度获取算法;③词语潜在依存强度获取算法在复杂特性集上进行,可以有效地     

基于粗糙集的基本名词短语识别

本文提出了一种基于粗糙集的基本名词短语(BaseNP)识别方法。该方法首先进行BaseNP标注,然后实现BaseNP识别。它把BaseNP标注看作一个决策问题用粗糙集理论解决,因而具有特征约简和规则优化的特点。文章介绍了基于粗糙集的规则学习方法和相应的算法,同时也给出了BaseNP标注和识别的算法流程,提出了解决实例冲突问题的方法,并提高了识别效果。文章最后给出了详细的实验步骤和结果,并与几个典型系统进行了比较与分析,提出了进一步改进的方向。     

基于转换的汉语基本名词短语识别模型

基本名词短语的识别在自然语言信息处理领域具有重要作用。本文首先从语言学的角度提出了汉语基本名词短语的概念,然后从语言信息处理的角度将用于基本名词短语识别的知识分为两部分,即表示基本名词短语句法组成的基本结构模板(静态知识)与表示基本名词短语出现的上下文环境特征的转换规则(动态知识)。在此基础上设计了一种基于转换的基本名词短语识别模型,该模型可同时结合这两类知识识别基本名词短语。实验结果显示了较高的识别正确率。     

基于最大熵方法的中英文基本名词短语识别

使用了基于最大熵的方法识别中文基本名词短语。在开放语料Chinese TreeBank上，只使用词性标注，达到了平均87.43%／88.09%的查全率／准确率。由于，关于中文的基本名词短语识别的结果没有很好的可比性，又使用相同的算法，尝试了英文的基本名词短语识别的结果没有很好的可比性，又使用相同的算法，尝试了英文的基本名词短语识别。在英文标准语料TREEBANKⅡ上，开放测试达到了93.31%／93.04%的查全率／准确率，极为接近国际最优水平。这既证明了此算法的行之有效，又表明该方法的语言无关性。     

混合的汉语基本名词短语识别方法

提出一种混合的汉语基本名词短语（BaseNP）识别模型,包括采用语法规则、统计方法和组合分类器方法。利用BaseNP词的信息、词性信息及上下文句法信息,构建组合分类器,提高判断的准确性。在中文树库（CTB5.0）上进行实验,F值达到了90.09%,证明该方法能有效地识别BaseNP。     

哈萨克语动词短语自动识别研究与实现

由于哈萨克语基本动词短语Kz Base VP的组成结构比较复杂,并且存在歧义情况和训练语料规模不够大等问题,所以既不能直接使用基于规则的方法,又不能直接使用基于统计的方法来进行处理。所以提出了一种规则与最大熵相结合的方法对哈萨克语基本动词短语(Kz Base VP)进行识别。在该混合策略系统中,根据专属Kz Base VP的特点构建了Kz Base VP搭配规则集,通过规则集对无歧义的Kz Base VP进行标注,其正确率为85.43%;运用基于统计的最大熵模型对存在歧义的Kz Base VP进行识别,根据哈萨克语的单词、词性、词缀和上下文信息等来设计最大熵模型的特征模板,并对模型进行了改进,在解码中选取概率最大的前n个上下文信息分别加入到下一个VP的特征向量中,以此类推直至文本结束,最终选出一条概率最优的VP标注。实验证明,在封闭和开发测试条件下对基本动词短语的识别准确率分别为97.23%和93.22%。     

基于混合策略的英语基本名词短语识别--边界统计和词性串规则校正相结合的策略

基本名词短语识别是自然语言处理领域非常重要的子任务。文中总结了一些有代表性的基本名词短语识别方法,并对多种典型英语基本名词短语识别的结果进行了比较和对照,提出并实现了边界统计和词性串校正相结合的英语基本名词短语识别方法。该方法把基本名词短语识别分成主次分明的两部分,边界统计作为主要部分能够正确识别出大部分基本名词短语,词性串规则作为辅助手段在对前者识别出的基本名词短语进行核对和校正的同时还对边界统计方法遗漏的基本名词短语进行再回收。此方法中,词性串规则弥补了边界统计无法顾及基本名词短语内部组合规律的缺点,提高了精确率和召回率。采用此方法,基本名词短语识别的精确率达到96.22%,召回率97.59%,Fβ=196.90%,F值超出了目前报道的最好结果。     

基于混合统计模型的中文基本名词短语识别

采用一种基于混合统计模型的方法来实现中文基本名词短语识别。首先简要分析目前的研究现状,明确中文Base NP识别的任务,然后采用以基于转换的标注和条件随机域模型为底层,支持向量机模型为高层的混合统计模型来进行中文BaseNP的识别。在ACE2005中文语料上的实验表明,F值比使用单一模型提高了1.37%,达到了88.67%,能提高中文基本名词短语的识别性能。     

基于关键名词短语聚类的中文搜索结果聚类

目前,搜索结果聚类方法大多数采用基于文档的方法,不能生成有意义的聚类标签。为了解决这个问题,提出一种基于关键名词短语聚类的中文搜索结果聚类方法,该方法将名词短语、相关搜索词作为候选聚类标签,利用C-Value算法、IDF值筛选标签,然后使用Chameleon算法将标签聚类,最后将搜索结果划分到最相关的聚类簇。实验证明,该方法把关键名词短语和相关搜索词作为聚类标签,有效地提高了标签的描述性,降低了聚类算法的时间复杂度。     

基于条件随机场的哈萨克语基本短语自动识别

为解决识别哈萨克语基本短语的问题,提出一种基于条件随机场模型的哈萨克语基本短语自动识别方法。利用基于贪心策略的特征模板自动选择算法,结合哈萨克语基本短语的特点,从众多上下文特征中选取出合适的特征;每次从备选特征模板中挑选出局部最优的特征模板项,加入到最终的特征模板中,进一步提高识别准确率。实验结果表明,该方法的识别准确率和召回率分别达到了89.01％和84.07％。     

英文专利文献中名词短语的翻译

提出了一种基于句法分析与词语相关性相结合的方法实现英文专利文献中名词短语的翻译,建立了一个面向专利文献的名词短语双语实例库,形成名词短语(NP)树库.对待翻译的术语NP,先进行句法分析,再在NP树库中搜索与该术语NP匹配的NP树,对匹配的NP树,用<知网>计算词语间语义相似度,找到最相似NP树,然后计算词语的翻译候选之间的相关性找到词语翻译,最后调整语序生成译文;若不存在匹配的NP树,搜索与该NP树的子NP相匹配的NP树,递归生成译文.使用BLEU作为机器评价准则,实验结果表明,该方法优于基于短语的统计翻译系统(Pharaoh).     

融入双语最大名词短语的机器翻译模型

在统计机器翻译中融入有价值的句法层面的语言学知识,对于推动统计机器翻译的发展,具有重要的理论意义和应用价值。提出了三种由简到繁的把双语最大名词短语融入到统计翻译模型的策略,整体翻译性能逐步上升。Method-III采用“分而治之”的策略,以“硬约束”的方式在统计机器翻译中融入最大名词短语,并在双语最大名词短语层面上,融合了短语翻译模型和层次短语模型,对翻译系统的改善最显著。所述策略显著提高了短语翻译模型的质量,在复杂长句翻译中,Method-III的BLEU值比基于短语的基线翻译模型提高了3.03%。     

基于N-gram语言模型的哈萨克文机构名识别

针对哈萨克文文本中机构名构成特点,提出了一种基于N-gram语言模型的哈萨克文机构名可信度计算方法,并以机构名尾词为触发词,构建了一个哈萨克文机构名识别系统。系统分为训练和识别两个模块,识别过程是：首先从训练语料中提取特征进行训练,得到一个特征训练模型,然后利用训练好的特征模型及少量的附加规则,对测试文本中的机构名进行识别,实验结果表明该方法可行。     

基于HMM的联机手写哈萨克文字的识别研究

以基于隐马尔可夫模型和统计语言模型的研究作为基础,着重研究联机手写哈萨克文的切分技术、连体段分类和特征参数的独特提取技术。系统先将提取延迟笔划后的连体段主笔划作为HMM识别器的输入,再根据被识别的主笔划的编号和延迟笔划标记从连体段分类词典中查找,找到对应的连体段识别结果。通过去除连体段延迟笔画的方法可以有效地减少需建立的模型数目,进而提高识别速度和避免由字符切分所带来的问题。     

基于语义规则的中文矛盾关系识别方法

文本蕴涵是文本理解与语义推理的基础,近来在计算机语言领域受到了极大关注。矛盾关系是蕴涵关系的一种否定,二者都是语义学的主要研究内容。在文本蕴涵关系识别的基础之上,研究了如何识别文本矛盾关系,提出了一种基于语义规则的矛盾检测方法。实验表明,基于语义规则的矛盾检测方法对于中文矛盾关系识别是可行的,同时矛盾关系相对精确的识别也增强了文本蕴涵识别的准确性。     

基于分类回归树CART的汉语韵律短语边界识别

提出了一种基于分类回归树（Classification And Regression Tree,CART）的汉语韵律短语识别方法。该方法从语音流中提取与韵律短语边界有关的声学特征,从文本中提取短语边界的语言学特征,并将两类特征有机结合构成CART特征集,建立CART决策模型。开放测试结果显示,利用该CART模型在词边界中识别韵律短语边界,其识别准确率平均可达95.91%。