汉语语料的切分标注加工系统

介绍了一个对汉语语料进行切分标注粗加工的系统WegPos。该系统采用前缀码分词算法，用二元语法模型进行词性标注，并利用概率统计、规则、歧义数据库、部分句法分析等多种方法的结合排除分词和标注中产生的歧义。     

基于多层有限状态自动机的多输入汉语词性标注系统

将带有歧义的切分字段作为词语性标注系统的输入,并在词性标注系统中引入了有限状态自动机进行部分句法分析以排除切分和标注歧义,实现了一个结合部分句法分析的汉语词性标注系统。     

汉语-盲文机器翻译系统的研究与实现

对汉语－盲文（简称汉盲）翻译的原理进行了研究，提出了一个盲文形式模型和汉语－盲文机器翻译的方法：采用基于词频和词分级加权评估的逆向全切分算法进行分词，采用规则和统计相结合的方法进行词性标注和连写块识别，并在此基础上设计开发了一个实用的汉语－盲文机器翻译系统。     

提高韵律短语正确切分方法的研究

汉语自动词性标注和韵律短语切分都是汉语文语转换（Text-to-Speech)系统的重要组成部分，在用从人工标注的语料库中得到韵律短语切分点的边界模式以及概率信息，对文本中的韵律短语切分点进行自动预测时，语素g这种词性就过于模糊，导致韵律短语切分点预测得不合理，该文提出了一种修改词类标注集，去掉语素g这种词性的方法，该方法在进行词性标注时，对实语素恰当地柰注出在句中的词性，以便提高韵律短语的正确切分，应用此方法对10万词的训练集和5万词的测试集分别进行封闭和开放测试表明，词性标注正确率分别可达96．67％和92．60％，并采用修改过的词类标注集，对1000句的文本进行了韵律短语切分点的预测，召回率在66．21％左右，正确率达到75．79％。     

一种手写汉字投影切分方法的改进算法

在分析传统的手写汉字投影切分算法的基础上,提出了改进算法.算法初切分阶段通过对局部图像进行水平投影法切分来确定行切分点,从而得到当行字符,之后针对单行字符,通过多种策略进行单字切分,包括针对字间间距、标点符号等信息做出的单字切分策略.实验结果表明,该算法能有效的减少传统垂直投影分割法的误切分现象,且分割速度快,实现容易...     

汉语分词和词性标注一体化分析的方法研究

提出了一种汉语文本切分和词性标注相融合的一体化分析的统计模型,并应用动态规划算法与A*解码算法相结合的二次搜索算法,实现了一个基于该模型的汉语词法分析器.初步的开放测试表明,该分析器的分词准确率和词性标注正确率分别可达98.67%和95.49%.     

粘连字符切分综述

字符切分是字符识别系统的一个重要环节。粘连则是指字符图像问有笔画接触的情况，它普遍存在于手写和低质量的印刷文档中。然而普通切分算法很难处理粘连字符。本文综述了主要的粘连字符切分算法以及切分路径的评价方法，在详细介绍算法流程的基础上，对每种算法的优缺点以及粘连字符切分的未来工作进行了探讨。     

班智达藏文语料切分词典的建立与算法研究

随着自然语言信息处理的不断发展和完善,大规模语料文本处理已经成为计算语言学界的一个热门话题。一个重要的原因是从大规模的语料库中能够提取出所需要的知识。而语料文本的处理与加工以语法信息词典作基础。结合藏文语料库切分标注规范,论述了对藏文语料库切分与标注用的藏文语法信息词典的建立和设计,重点讨论了该词典的内容建设、语法信息的标注、索引结构及查找算法。     

基于复句语料库分词系统研究

复句在书面语中具有举足轻重的地位,如何让计算机正确理解复句是中文信息处理中一个值得重视的问题。现有的分词系统对复句关系词的正确切分与标注上不足以满足对复句进行层次分析和语义分析的需要。建立的分词系统在复句中关系词的切分和标注上做出了必要的改进。     

面向语音合成的维吾尔语音素自动切分算法研究

结合维吾尔语语音特征,以建立维吾尔音素语料库为目标,为了减少人工工作量,通过HTK工具实现了音素的自动切分算法:首先完成了文本设计、录音和手动标注等准备工作,设计了上下文属性集,通过训练获得了每个音素的HMM模型,随后对任意输入的语音句子进行了其音素构成部分的自动切分,最后分析了其切分准确度、存在的问题及对策等。实践表明,在语料库的建设中,该研究策略确实节省了大量的时间和人力成本,提高了语音语料库标注信息的一致性和准确性。     

基于感知机模型藏文命名实体识别

藏文命名实体识别是藏文分词和标注系统中必须要解决的问题。通过对命名实体构词规律及分词歧义进行分析,提出基于音节特征感知机训练模型的藏文命名实体识别方案。重点研究了利用藏文紧缩格识别音节的方法,命名实体内部和边界音节的模型训练特征模板,训练模型,以及命名实体分类识别方法。提出的藏文命名实体识别方法在测试集上获得86.03%的F值,相对基于分词的基线系统高出10.5%个点。     

Cascaded model adaptation for dialog act segmentation and tagging

There are many speech and language processing problems which require cascaded classification tasks. While model adaptation has been shown to be useful in isolated speech and language processing tasks, it is not clear what constitutes system adaptation for such complex systems. This paper studies the following questions: In cases where a sequence of classification tasks is employed, how important is to adapt the earlier or latter systems? Is the performance improvement obtained in the earlier stages via adaptation carried on to later stages in cases where the later stages perform adaptation using similar data and/or methods? In this study, as part of a larger scale multiparty meeting understanding system, we analyze various methods for adapting dialog act segmentation and tagging models trained on conversational telephone speech (CTS) to meeting style conversations. We investigate the effect of using adapted and unadapted models for dialog act segmentation with those of tagging, showing the effect of model adaptation for cascaded classification tasks. Our results indicate that we can achieve significantly better dialog act segmentation and tagging by adapting the out-of-domain models, especially when the amount of in-domain data is limited. Experimental results show that it is more effective to adapt the models in the latter classification tasks, in our case dialog act tagging, when dealing with a sequence of cascaded classification tasks.     

TIP-LAS:一个开源的藏文分词词性标注系统

TIP-LAS是一个开源的藏文分词词性标注系统,提供藏文分词、词性标注功能。该系统基于条件随机场模型实现基于音节标注的藏文分词系统,采用最大熵模型,并融合音节特征,实现藏文词性标注系统。经过试验及对比分析,藏文分词系统和词性标注系统取得了较好的实验效果,系统的源代码可以从网上获取。希望该研究可以推动藏文分词、词性标注等基础工作的发展,提供一个可以比较、共享的研究平台。
     

汉语自动分词和词性标注评测

本文介绍了2003年“863中文与接口技术”汉语自动分词与词性标注一体化评测的一些基本情况,主要包括评测的内容、评测方法、测试试题的选择与产生、测试指标以及测试结果,并对参评系统的切分和标注错误进行了总结。文中着重介绍了测试中所采用的一种柔性化的自动测试方法,该方法在一定程度上克服了界定一个具体分词单位的困难。同时,对评测的结果进行了一些分析,对今后的评测提出了一些建议。     

混合策略的汉维句子对齐

提出了一种混合算法对齐汉维句子,不需要汉语分词、词性标注预处理,利用双语语料的词汇共现信息,自动抽取汉维语词汇搭配,作为基于词汇对齐的词典,并结合基于长度的方法进行句子对齐,实验结果验证了该混合算法的有效性,汉维语句子对齐的正确率和召回率,达到了97.5%和97.1%。     

面向中文自动分词的可扩展式电子词典研究

在中文自动分词及词性标注系统中,电子词典是系统的重要组成部分,也是影响系统性能的重要因素之一。介绍了电子词典应该具备的查询功能及常用的组织结构,给出了一种结构为系统词典+用户词典的可扩展式电子词典机制。其系统词典是基于首字Hash散列的逐字二分词典结构,用户词典采用基于首字Hash散列的链接表词典结构,具有很强的扩展性和实用性。     

基于最大熵方法的汉语词性标注

最大熵模型的应用研究在自然语言处理领域中受到关注，文中利用语料库中词性标注的上下文信息建立基于最大熵方法的汉语词性系统。研究的重点在于其特征的选取，因为汉语不同于其它语言，有其特殊性，所以特征的选取上与英语有差别。实验结果证明该模型是有效的，词性标注正确率达到97．34％。     

基于条件随机场的蒙古语词性标注方法

为了保留蒙古语词缀中大量的语法、语义信息和缩小蒙古语词典的规模,蒙古语词性标注需要对词干和词缀都进行词性标注。针对这一问题提出了一种基于条件随机场（CRF）的蒙古语词性标注方法。该方法利用CRF模型能够添加任意特征的特点,充分使用蒙文上下文信息,针对词素之间的相互影响添加了新的统计特征,并在3.8万句的蒙古语词性标注语料上进行了封闭测试,该方法的标注准确率达到了96.65%,优于使用隐马尔可夫模型（HMM）的词性标注模型。