基于最大熵的维吾尔语句子边界识别模型

采用最大熵模型实现维吾尔语句子边界识别,该模型的训练过程不需要提供手工收集规则、词性标注及形态分析,仅使用较容易获取的单词长度和音节等特征。为确定最佳特征模板,在特征空间上组合出不同特征模板进行测试。实验结果表明,最佳特征模板具有较强的鲁棒性,召回率可达97.72%。     

纹理特征加权融合的中亚多文种文档图像文种识别

全球各地目前使用很多种相似的文种,相似文种的识别是模式识别领域内难点并迫切需要解决的问题之一。然而,针对中亚文种文本文档和少数民族文种也就是相似文种分类识别方面的文献报道几乎没有。首先建立了两个多文种文档图像数据库,分别有1 600幅和2 200幅纯文本整篇文档图像,包含英文,汉文,俄文,蒙文,阿拉伯文,藏文,维吾尔文,土耳其文,乌兹别克文,塔吉克文和哈萨克文等共有11种文档图像。其次分别提取文档图像的均值,标准差,熵,一致性,三阶矩,平滑度等六个纹理特征,利用不同7种分类器分类。在找到各个特征对多文种文本文档图像的灵敏度的基础上,采用加权特征融合方法提取融合特征,确定了适合中亚多文种文档图像识别的最佳权值。最后用不同分类器分类识别,通过多特征以系数加权融合之后,以建立的两个数据库基础下获得平均的识别率分别为99.38%和95.69%。实验结果表明,提取的纹理特征和加权融合的纹理特征能较好地描述文档图像特征,并且它们可以有效地分类以上所述的11个文种。     

基于噪声信道的维吾尔语央音原音识别模型

维吾尔语单词连接构形词缀时,经常发生元音弱化成央音的现象。但对已有形态变化的单词进行形态还原时,使用规则识别弱化央音的原音的效率一般在40%左右。提出基于噪声信道的维吾尔语央音原音识别模型。该模型以弱化词干词尾的二字符、三字符和最后音节作为上下文,建立语言模型和似然度计算公式。在开放测试中,模型的准确率达到82.45%,提高词干提取准确率15%。     

统计与规则相结合的维吾尔语句子边界识别

句子边界识别是词性标注和句法分析等自然语言处理系统的基础问题。提出了一种统计与规则相结合的维吾尔语句子边界识别方法,首先利用歧义段落分类算法分类段落,第二步对无歧义段落进行基于规则的句子边界识别,最后使用最大熵模型对有歧义段落进行句子边界识别。该方法有效利用规则弥补最大熵模型因数据稀疏而误判不存在任何歧义情况的不足,使用最大熵模型有效地消除歧义,提高算法的鲁棒性,召回率达到了98.77%。