论现代维吾尔语中的连词辨别研究

现代维吾尔语连词是维吾尔语词语,短语和句子研究中的重要项目之一。尤其是复句中的作用很大。只有连词才能准确表达它们的正确意义。本文主要研究现代维吾尔语连词的作用,语义和语法特征,并按它的特征来进行分类。最后以各类连词在句子中的出现形式来进行辨别和统计。     

常用现代汉语副词用法自动识别研究

副词以其功能和用法的繁杂多样,引起了众多学者的研究。该文以构建三位一体的副词用法词典、副词用法规则库和副词用法语料库为基础,首先基于规则的方法对副词用法自动识别进行研究,对《人民日报》语料中的副词识别准确率达到了84.86%;然后,基于统计的方法,用不同特征模板、不同上下文窗口以及不同模型等对语料中常用副词进行识别。实验结果表明,基于统计的方法对副词用法自动识别研究有较好的效果。     

基于隐结构感知的并列名词短语识别研究

针对现有并列名词短语识别不能处理短语序列隐含信息的情况,提出一种新的并列名词短语识别方法。采用隐结构感知模型与条件随机场模型,识别并列名词短语序列以及序列中用于连接并列名词短语的连词和标点。针对并列名词短语序列进行任务描述,建立语料库并选择典型的并列名词短语识别特征进行实验。结果表明,隐结构感知模型由于加入序列中的隐含信息,相比传统条件随机场模型在并列名词短语识别中更有优势,F度量值达到86.36%,进而证明该模型能够用于以信息抽取为导向的并列名词短语识别。     

基于边界感知的复杂名词短语的识别和转换研究

为了改善专利机器翻译中复杂名词短语的翻译效果,提出了一种基于规则的复杂名词短语识别和转换方法.通过分析汉英复杂名词短语的语义块和组合单元,利用边界感知策略,抽取汉语语言特征词,为汉语复杂名词短语中组合单元边界识别编制了57条识别规则,设计了合并策略,得到汉语复杂名词短语的形式化结构.通过对比汉英复杂名词短语的差异,确定了汉英复杂名词短语的转换策略.最后,将识别规则、合并策略和转换策略应用到一个机器翻译系统中.测试结果表明,所提方法可以有效地实现复杂名词短语的识别和转换,提高专利文本中复杂名词短语的机器翻译效果.     

最长评价短语及其情感评价搭配抽取方法

提出一种统计和规则相结合的最 长评价短语自动识别算法。将评价短语的识别问题转化为序列标注问题,结合条件随机场模型进行简单结构的评价短语识别,在此基础上进一步建立和应用规则库,自动识别结构复杂的最长评价短语,其测试的F值达到72.38%。在最长评价短语自动识别的基础上,构建用于 评价对象抽取和情感评价单元抽取的规则库,提出基于规则的评价搭配自动抽取算法,实现评价对象和最长评价短语搭配的自动抽取,在网易汽车门户网站进行了系统测试,得到了较高的准确率。     

统计和规则相结合的汉语最长名词短语自动识别

在分析汉语最长名词短语特点的基础上,提出了一种统计和规则相结合的汉语最长名词短语自动识别方法 通过实验词及词性的不同组合选择特征集合,基于该特征训练得到条件随机场(CRF)识别模型;分析错误识别结果,结合最长名词短语的边界信息和内部结构信息构建规则库对识别结果进行后处理,弥补了机器学习模型获取知识不够全面的不足。实验结果表明,用统计和规则相结合的方法识别最长名词短语是有效的,系统开放测试结果F值达到了90.2%。     

哈萨克语基本名词短语自动识别研究与实现

以哈萨克语基本名词短语识别为目标,实现了哈萨克语基本名词短语自动识别系统。采用基于规则自动识别及人工标注的方法建立基本名词短语标注语料库,在此基础上,采用统计和规则相结合的识别方法,利用互信息进行基本名词短语边界预测,然后根据哈萨克语基本名词短语构成规则对预测边界进行调整,加入标注符,得到最终的识别结果。实验结果表明,两种方法封闭测试的识别精确率分别为80.2%和82.5%。     

基于混合策略的英语基本名词短语识别——边界统计和词性串规则校正相结合的策略

基本名词短语识别是自然语言处理领域非常重要的子任务。文中总结了一些有代表性的基本名词短语识别方法,并对多种典型英语基本名词短语识别的结果进行了比较和对照,提出并实现了边界统计和词性串校正相结合的英语基本名词短语识别方法。该方法把基本名词短语识别分成主次分明的两部分,边界统计作为主要部分能够正确识别出大部分基本名词短语,词性串规则作为辅助手段在对前者识别出的基本名词短语进行核对和校正的同时还对边界统计方法遗漏的基本名词短语进行再回收。此方法中,词性串规则弥补了边界统计无法顾及基本名词短语内部组合规律的缺点,提高了精确率和召回率。采用此方法,基本名词短语识别的精确率达到96.22%,召回率97.59%,Fβ=196.90%,F值超出了目前报道的最好结果。     

利用AdaBoost-SVM集成算法和语块信息的韵律短语识别

提出一种基于汉语语块结构并利用AdaBoost-SVM集成学习算法的汉语韵律短语识别方法。首先,对语料进行自动分词、词性标注和初语块标注,然后基于结合紧密度获取语块归并规则并利用规则对初语块进行归并,得到最终的语块结构。其次,基于语块结构并利用AdaBoost-SVM集成算法,构建汉语韵律短语识别模型。同时,该文利用多种算法分别构建了利用语块信息和不利用语块的多个模型,对比实验结果表明,表示浅层句法信息的语块能够在韵律短语识别中做出积极有效的贡献;利用AdaBoos-SVM集成算法实现的模型性能更佳。     

介词短语识别中规则与统计方法融合的探讨

在介词短语的识别中,统计学习方法和人工规则方法是人们常采用的两种最主要的方法。在浅层句法分析层次上,基于几种典型模式探讨分析构建介词短语识别模型时,规则方法和统计学习方法的有效结合。指出介词短语特征的提取实质是基于语料的语用规则的一种抽象。提出统计学习方法和人工规则方法的有机结合是未来的发展方向。     

基于条件随机域的复杂最长名词短语识别

识别句子中的最长名词短语是一个对机器翻译等任务具有重要实际价值的难题．为了克服传统方法在处理词之间的长程关联的不足和标注偏置等问题，本文采用条件随机域建立统计模型，有针对性的研究了复杂最长名词短语的识别，并给出了一种带置信度估计的解码算法，提高了本文工作的实用性．     

支持背景知识的多维端到端短语识别算法研究

目前,实体识别与依存关系分析,采用的主要是基于监督学习的深度端到端方法.这种方法存在两个问题:不能引入背景知识;不能识别出自然语言的多粒度、嵌套特征.为了解决以上问题,提出了基于短语窗口的依存句法标注规则,并标注了中文短语窗口数据集(CPWD),同时设计了配套的多维端到端短语识别模型(MDM模型).该标注规则以短语为最...     

搜索引擎日志中“N+V”和“N1+N2+V”型短语自动识别

正确识别搜索引擎日志中的短语,对搜索引擎用短语词典构建和提高搜索引擎性能具有重要的作用。该文提出一种应用条件随机场实现对搜狗日志语料中“N+V”和“N₁+N₂+V”型短语自动识别的方法。模型的特征集包含词、词性和词语长度。由人工设计候选特征集,从中选择有效的特征构成特征模板,训练生成用于短语自动识别的条件随机场模型。封闭测试和开放测试的实验结果表明,模型能够实现对这两种短语的有效识别。     

基于购物网站用户搜索日志的商品词发现

商品词是电子商务领域描述商品的新词。主要介绍基于购物网站用户搜索日志的商品词发现的方法。该方法从搜索日志中提取用户查询,对查询进行分词,采用N元递增分步算法和串频统计,计算候选串的条件概率,选择候选商品词。为了降低人工审核的成本,只对产出商品词的准确率进行评价。利用该方法在手机、面霜和香水三类商品的搜索日志上进行了实验,最高准确率达到92.58%。     

一种基于聚类与分类结合的汉语隐喻短语识别方法

隐喻识别是自然语言处理的一个重要研究分支。目前人们越来越清楚地认识到隐喻在思维及语言中所处的重要地位。本研究在前人工作的实验和考察基础上,发现基于分类器来识别隐喻的方法存在数据稀疏的问题,即当训练语料中缺少需要识别的源域词数据时,分类的结果将不会太好。应对数据稀疏问题,该文提出了一种基于聚类与分类结合的隐喻短语获取方法。该方法将包含源域词S的短语进行聚类。将聚类的结果作为分类的一类特征。实验表明,使用聚类产生的特征训练出来的分类器,不仅能很好地识别训练语料中存在源域词数据的情况,也能很好地识别训练语料中缺少源域词数据的情况,具有很高的召回率。     

基于改进GLR算法的智能识别英语翻译模型设计

GLR算法模型翻译识别结果存在数据点重合的情况,精确度无法得到有效保障。为了准确的识别短语,设计了基于改进GLR算法的短语智能识别算法,该算法构建标记规模约74万个英汉单词的短语语料库,使短语具备可搜索功能,通过短语中心点构建短语结构,可获得词性识别结果,依据解析线性表的句法功能校正词性识别结果中的英汉结构歧义,最终获得识别的内容。实际测评结果显示,该算法克服了GLR的弊端,相对统计算法和动态记忆算法提高了运算速度和处理性能,更加适合机器翻译任务,为在智能机器翻译领域提供了新的思路。     

基于简单名词短语的汉语介词短语识别研究

该文提出一种融入简单名词短语信息的介词短语识别方法。该方法首先使用CRF模型识别语料中的简单名词短语,并使用转换规则对识别结果进行校正,使其更符合介词短语的内部短语形式;然后依据简单名词短语识别结果对语料进行分词融合;最后,通过多层CRFs模型对测试语料进行介词短语识别,并使用规则进行校正。介词短语识别的精确率、召回率及F-值分别为: 93.02%、92.95%、92.99%,比目前发表的最好结果高1.03个百分点。该实验结果表明基于简单名词短语的介词短语识别算法的有效性。
     

Use of adaptive segmentation in handwritten phrase recognition

Research in handwriting recognition has thus far been primarily focused on recognizing words and phrases. In fact, phrases are usually treated as a concatenation of the constituent words making it in essence an enhanced word recognizer. In this paper we present a methodology that will take advantage of the spacing between the words in a phrase to aid the recognition process. The novelty of our approach lies in the fact that the determination of word breaks is made in a manner that adapts to the writing style of the individual. The parameters that decide whether a particular gap between components is an inter-word gap or an inter-character gap are computed without the necessity of generalizing over a large training set. Rather, it is tuned to the distribution of the gaps within the instance of the phrase image being examined. We compare our approach to the methods described in the literature that simply ignore the significance of gaps in a phrase. Our experiments show an improvement of about 5% in recognition rates. On a test set of about 1400 phrase images the segmentation method “misses” only 2% of the true word break points.     

利用句法短语改善统计机器翻译性能

短语表是基于短语的统计机器翻译系统的一个核心组成部分,基于启发式方法抽取到的短语表受单词对齐错误和未对齐词的影响严重,同时抽取到的短语也并非句法意义上的短语。该文提出一种基于EM(Expectation-maximization)算法的双语句法短语抽取方法来抽取双语句法短语,此方法可以通过不断迭代的方式使各参数值达到最优。通过加入双语句法短语、增加新特征、重新训练三种不同的方法,将获得的双语句法短语与基于短语的统计机器翻译方法结合以提高统计机器翻译系统的性能。结果表明: 三种方法都不同程度提高了译文的BLEU(BiLingual Evaluation Understudy)值,其中增加新特征方法提高了0.64个点。