藏文大字符集编码标准研究

介绍了藏文编码字符集（扩充集）标准的研制背景、制定原则和部分技术内容,以及制定藏文大字符集标准的意义.总结了开展此项目的经验,为今后工作提供参考.     

藏文之星的设计与实现

由于许多计算机应用是运行在Windows平台上的,因此开发藏文Windows操作系统就成为藏文信息化最基础的工作之一.有了支持藏文的Windows操作系统,许多与藏文相关的Windows上应用系统的实现就有了运行的基础.详细阐述了藏文之星研发的设计思路、框架和实现方法.     

藏文文本分类技术研究综述

该文介绍了藏文文本分类技术的研究与进展。首先对现阶段常用的文本表示以及文本特征选择方法进行了分析和比较,接着回顾了藏文在机器学习方面的分类算法特点,深入讨论了不同算法应用在藏文文本分类技术上的研究情况,最后指出了当前藏文文本分类所面临的问题和挑战,并对未来的研究提出了建议。     

基于基字识别的藏文音节字检错算法研究

在藏文音节字构件中基字占有重要的地位,只要准确的识别出基字的位置,可通过音节字的长度来获得其他构件,并以基字为核心来判断组成音节宇其他构件的搭配是否符合规则。本文通过研究藏文音节字构件组合语法,提出了一种基于基字识别的藏文音节字检错算法。该方法不使用藏文音节字词典及大规模语料库的支撑。通过实验,该方法自动检错藏文音节字的正确率为97％。     

藏文综合编码方案的研究与实现

目前, 藏文处理系统中普返存在着外字困扰问题, 本文首次实现了彻底排除外字的全新编码方案一一综合编码方案, 它由通行编码方案和外字编码方案两部分组成。通行编码方案按双字节模式编码, 外字编码方案采用组合叠加编码。文中对外字组合叠加编码方案作了深入地研究, 提出了外字运算符、外字描述和顺序输入叠加输出等概念设计了自动造字算法和程序, 解决了外字处理的一来列技术障碍, 并在叩一汉字系统版本一上实现了藏文综合编码方案, 其方法可引仲到其它藏文处理未统。     

藏文拉丁转写的研究与实现

藏文拉丁转写是研究藏文化和进行藏文术语交流的重要工具。介绍了一种基于藏文编码字符集基本集和藏文编码字符集扩充集A,实现藏文拉丁转写的方法。通过引入垂直预组合的概念,将藏文由复杂文本变为简单文本,从而简化了拉丁转写的处理过程,降低了算法复杂度。详细讲述了算法的原理及在OpenOffice.org中的实现。     

基于结构属性的乌金体藏文古籍字符切分

字符切分是藏文古籍文档图像分析与识别中重要的一环,针对乌金体藏文古籍文本行倾斜,字符之间笔画交叠、交叉、粘连以及不同程度的笔画断裂、噪声干扰等问题,提出了一种基于结构属性的乌金体藏文字符切分方法.首先,建立了乌金体藏文古籍字符区块库.然后,利用音节点位置信息或结合水平投影与直线检测的方法检测出字符区块的局部基线,并根据基线将字符区块切分为上下两部分;利用改进的模板匹配算法检测基线上方笔画的粘连及其类型,利用多方向、多路径粘连切分算法切分交叉、粘连笔画.最后,根据藏文结构属性对各笔画进行归属,完成字符切分.实验结果表明,本方法能有效解决字符切分中遇到的问题,字符切分的召回率、精确率以及F-Measure可分别达到96.52％、98.24％、97.37％.     

藏文编码字符集的优化研究

《信息交换用藏文编码字符集 基本集》奠定了研究藏文信息处理技术的基础,非常重要,但随着藏文信息处理技术研究的深入,也逐渐发现了《基本集》没能反映藏文构件的基本特征,增加了研究有关藏文工作的难度,同时,在使用中还存在藏文编码歧义等缺陷。针对上述问题提出了增加三个上加字的编码到BMP中,使得藏文编码能正确地反应藏文的构件特征,还提出用“界定藏文编码的使用方法”来消除《基本集》应用中存在的歧义以及正确理解几个字符的属性等问题。     

TIP-LAS:一个开源的藏文分词词性标注系统

TIP-LAS是一个开源的藏文分词词性标注系统,提供藏文分词、词性标注功能。该系统基于条件随机场模型实现基于音节标注的藏文分词系统,采用最大熵模型,并融合音节特征,实现藏文词性标注系统。经过试验及对比分析,藏文分词系统和词性标注系统取得了较好的实验效果,系统的源代码可以从网上获取。希望该研究可以推动藏文分词、词性标注等基础工作的发展,提供一个可以比较、共享的研究平台。
     

基于判别式分类和重排序技术的藏文分词

本文提出一种基于判别式模型的藏文分词方法,重点研究最小构词粒度和分词结果重排序对藏文分词效果的影响。在构词粒度方面,分别考察了以基本字丁、基本字丁－音节点、音节为最小构词粒度对分词效果的影响,实验结果表明选定音节为最小构词粒度分词的F值最高,为91.21%;在分词结果重排序方面,提出一种基于词图的最短路径重排序策略,将判别式解码生成的切分结果压缩为加权有向图,图中节点表示音节间隔,而边所覆盖的音节作为候选切分并赋予不同权重,选择一条最短路径从而实现整句切分,最终分词结果的F值达到96.25%。