统计和规则相结合的汉语最长名词短语自动识别

在分析汉语最长名词短语特点的基础上,提出了一种统计和规则相结合的汉语最长名词短语自动识别方法 通过实验词及词性的不同组合选择特征集合,基于该特征训练得到条件随机场(CRF)识别模型;分析错误识别结果,结合最长名词短语的边界信息和内部结构信息构建规则库对识别结果进行后处理,弥补了机器学习模型获取知识不够全面的不足。实验结果表明,用统计和规则相结合的方法识别最长名词短语是有效的,系统开放测试结果F值达到了90.2%。     

一个基于互信息的规则量化方法

规则量化问题是基于规则与统计相结合的计算语言模型的关键性问题,首先描述了一个基于规则与统计相结合的计算语言模型,从而引出了规则结合度的概念,并提出一种基于互信息的规则量化方法,该方法既给出了一条规则的实用性的定量评价,又为基于规则与统计相结合的计算语言模型提供了一个重要的规则参量,通过实验指出该方法对系统规则集的筛选与计算语言模型中规则与统计结合机制的优化的重要指导意义。     

规则与统计相结合的介词用法自动识别研究

对介词用法自动识别的研究是现代汉语虚词用法知识库建设的重要组成部分.在已有工作的基础上,分析对比了规则方法与统计方法的优劣,提出一种规则与条件随机场统计模型相结合的介词用法自动识别算法.该算法在2000年2月-5月《人民日报》语料的介词用法自动识别测试中,准确率比单独使用规则方法和统计方法分别提高了14.64％及5.22％.     

基于规则的汉语兼类词标注方法

针对目前汉语兼类词标注的准确率不高的问题,提出了规则与统计模型相结合的兼类词标注方法。首先,利用隐马尔可夫、最大熵和条件随机场3种统计模型进行兼类词标注;然后,将改进的互信息算法应用到词性(POS)标注规则的获取上,通过计算目标词前后词单元与目标词的相关性获得词性标注规则;最后,将获取的规则与基于统计模型的词性标注算法结合起来进行兼类词标注。实验结果表明加入规则算法之后,平均词性标注准确率提升了5%左右。     

规则和统计相结合的汉语词类标注方法

本文分析了汉语的多类词现象与汉语词类标注的困难, 介绍了汉语词类标注中的规则排歧和统计排歧的处理策略以及规则和统计相结合的处理思路。按此思路设计的软件系统, 对封闭语料和开放语料的标注正确率分别达到了96.06%和95.82%。     

基于语义分类树的汉语口语理解方法

口语理解在口语自动翻译和人机对话系统中具有非常重要的作用。本文面向口语自动翻译提出了一种统计和规则相结合的汉语口语理解方法,该方法利用统计方法从训练语料中自动获取语义规则,生成语义分类树,然后利用语义分类树对待解析的汉语句子中与句子浅层语义密切相关的词语进行解析,最后再利用统计理解模型对各个词语的解析结果进行组合,从而获得整个句子的浅层语义领域行为。实验结果表明,该方法具有较高的准确率和鲁棒性,适合应用在限定领域的汉语口语浅层语义理解。     

汉语介词短语的自动识别

本文运用规则和统计相结合的方法构造了一个汉语介词短语识别算法。首先,根据介词和介词短语右边界组成的搭配模板自动提取可信搭配关系,并用这些搭配关系对介词短语进行识别。之后,用基于词性的三元边界统计模型和规则相结合的方法识别其它未处理的介词短语。通过对含有7323 个介词短语的语料作交叉测试,精确率达到87148 % ,召回率达到87127 %。     

基于概率统计技术和规则方法的新词发现

新词／短语的识别是自然语言处理、信息检索和机器翻译等领域的一项基础研究。该文分析了已有短语抽取技术,并结合汉语特点,提出了基于概率统计技术和规则方法相结合的概念抽取方法。该方法包括高效的“二元语法”统计模型、统计算法、统计选词策略、丰富的规则知识和规则过滤算法。实验证明该方法适用于从大规模语料库中自动高效地发现新词／短语。     

复句关系词自动识别中规则的表示方法研究

关系词在现代汉语复句领域起着重要的作用,是汉语语法、语义研究中的重要内容,复句关系词的计算机自动识别是一个非常困难的研究课题。在汉语复句关系词自动识别中规则的约束条件研究的基础上,重点研究现代汉语复句关系词自动识别系统中规则的表示方法,为进一步研究、建设复句关系词自动识别中的规则库,深入研究规则与统计相结合自动识别复句和复句关系词的方法,为实现汉语句子和篇章的自动识别奠定基础。     

基于混合模型的交集型歧义消歧策略

针对交集型歧义这一汉语分词中的难点问题,提出了一种规则和统计相结合的交集型歧义消歧模型。首先,根据标注语料库,通过基于错误驱动的学习思想,获取交集型歧义消歧规则库,同时,利用统计工具,构建N-Gram统计语言模型;然后,采用正向/逆向最大匹配方法和消歧规则库探测发现交集型歧义字段;最后,通过消歧规则库和评分函数进行交集型歧义的消歧处理。这种基于混合模型的方法可以探测到更多的交集型歧义字段,并且结合了规则方法和统计方法在处理交集型歧义上的优势。实验表明,这种方法提高了交集型歧义处理的精度,为解决交集型歧义提供了一种新的思路。     

语音识别中统计与规则结合的语言模型

在分析语音识别系统中,基于规则方法和统计方法的语言模型,提出了一种对规则 进行量化的合成语言模型.该模型既避免了规则方法无法适应大规模真实文本处理的缺点, 同时也提高了统计模型处理远距离约束关系和语言递归现象的能力.合成语言模型使涵盖6 万词条的非特定人孤立词的语音识别系统的准确率比单独使用词的TRIGRAM模型提高了 4.9%(男声)和3.5%(女声).     

一种在线递增式语言模型自适应方法

本文针对传统统计语言模型的离线自适应方法,提出了一种在线实时的递增式自适应方法。该自适应方法需要解决几个问题。第一是要设计一种语言模型结构以适应在线的自适应;第二是如何利用在线收集到的语料对语言模型进行实时的参数修改;在我们设计的中文音转字平台中,将语言模型分成两个部分,分别是通用模型和用户模型。对于通用模型,采用高效的存储结构结合参数预取技术,提高了模型的速度;对于用户模型,使用动态的加权方法结合MAP 动态调整参数。本文所做的实验证明使用该方法能较大程度的降低中文音转字的错误率。     

联机手写体汉字识别后处理技术的研究

文中提出了一种规则和统计相结合的计算语言模型应用于联机手写体汉字识别后处理的技术,把基于统计的大词表Ｍａｒｋｏｖ语言模型与语言规则量化模型,通过词网格技术集成在一个语言解码器,这种后处理方法由３个阶段组成,词网格生成,语言解码,基于Ｃａｃｈｅ的自学习机制,语言解码器采用Ｖｉｔｅｒｂｉ搜索算法求解最优语句候选,该项技术已应用于ＨＰＣ（手持机）手写电脑的联机汉字手写体识别系统中,汉字识别率为９１．３％     

一种多知识源汉语语言模型的研究与实现

针对汉语语言模型中知识获取不足的问题，提出了一种统计与多种形式规则信息结合的机制，将规则的表示量化，提出语法语义规则的概念，通过扩充词网络，对其于最大可能性的n元概率值合理调整，将短语构成规则，二元语法语义规则，最少分词原则等融入统计模型框架，构成多知识源语言模型，模型应用于智能拼音汉字转换系统，明显提高了音字转换正确率，并适于处理长距离和递归语言现象。     

基于Attention-BIGRU-CRF的中文分词模型

自然语言处理是人工智能发展的重要分支,而中文分词是自然语言处理的第一步,提高中文分词的效率可以提高自然语言处理的结果的准确性。因此提出一种Attention-BIGRU-CRF模型,首先将中文文本通过词向量转换,将文本转换成向量的形式,再利用BIGRU进行序列化学习,随后引入attention机制将BIGRU的输入和输出进行相关性计算获取更精确向量值,最后将该向量值与BIGRU序列化得到的向量值进行拼接作为CRF层的输入并得到标签预测结果。由仿真结果可知,Attention-BIGRU-CRF模型在人民日报2014和MSRA的语料库得到的F1值分别为97.34%和98.25%,处理文本的分词速率为248.1 KB/s。故融合attention机制和BIGRU-CRF网络的模型既能够提高分词准确率,又能提高分词时间和效率。     

单语句法分析指导的双语结构对齐

提出了一种单语句法分析指导的双语语料库结构对齐方法．该方法以统计的双语模型——反向转换文法为基础,通过把英语句法分析知识融入到双语模型中,实现英汉双语的结构对齐．与现有方法相比,只需要一种语言的句法分析结果,避开了汉语句法分析的难题,同时保证了双语结构对齐的语法合理性．实验结果表明,这种方法充分利用现有的句法分析知识,有效地提高了结构对齐的正确率．利用该方法获得的结构对齐双语料库对于翻译知识的自动获取研究具有重要意义．     

面向汉语建模的自适应词表生成算法

词表的质量直接影响汉语语言模型的性能, 而当前汉语词典编撰工作同语言建模工作相脱离, 一方面使得现有的汉语语言模型受词表规模所限, 性能不能发挥到最优, 另一方面因为缺乏专业领域的词表, 难以建立面向特定领域的语言模型. 本文旨在通过建立优化词表的方式来提高现有汉语语言模型的性能, 并使其自动适应训练语料的领域. 本文首先将词表自动生成工作同汉语语言建模工作相结合, 构建一体化迭代算法框架, 在自动生成优化词表的同时能够获得高性能的汉语语言模型. 在该框架下, 本文提出汉字构词强度的概念来描述汉语的词法信息, 并将其作为词法特征与统计特征相结合, 构造一种基于多特征的汉语词表自动生成算法. 最后, 本文提出两种启发式方法, 自动根据训练语料的特点调整系统中的各项参数, 使系统能够自动适应训练语料的领域. 实验表明, 本文的方法能够在生成高质量词表的同时获得高性能的语言模型, 并且能够有效自动适应训练语料的领域.     

两种形式语言:RSL与Z的分析比较

RSL(RAISE规格说明语言)和Z是目前广泛应用的软件规格说明语言,本文从软件开发生命周期的角度对两种语言进行了比较,提出了将不同规格说明语言结合形式地描述系统的设想。     

基于跨语言图神经网络模型的属性级情感分类

目前,在属性级情感分类任务上较为成熟的有标注数据集均为英文数据集,而有标注的中文数据集较少.为了能够更好地利用规模庞大但却缺乏成熟标注数据的中文语言数据集,针对跨语言属性级情感分类任务进行了研究.在跨语言属性级情感分类中,一个核心问题为如何构建不同语言的文本之间的联系.针对该问题,在传统的单语言情感分类模型的基础上,使用图神经网络模型对跨语言词-词、词-句之间的关系信息进行建模,从而有效地刻画两种语言数据集之间的联系.通过构建单语词-句之间的联系和双语词-句之间的联系,将不同语言的文本关联起来,并利用图神经网络进行建模,从而实现利用英文数据集预测中文数据集的跨语言神经网络模型.实验结果表明：相较于其他基线模型,所提出的模型在F1值指标上有着较大的提升,从而说明使用图神经网络建立的模型能够有效地应用于跨语言的应用场.     

一种基于N-Gram的垃圾邮件过滤方法研究

为了能够有效提取邮件样本集的特征及提高垃圾邮件过滤系统的性能,介绍基于N—Gram的切分算法及语言模型,在其基础上,提出了一种改进的N—Gram切分算法,给出了一种结合N—Gram语言模型的贝叶斯过滤模型。实验结果表明,提出的方法有效地提高了垃圾邮件过滤的性能。