TIP-LAS:一个开源的藏文分词词性标注系统

TIP-LAS是一个开源的藏文分词词性标注系统,提供藏文分词、词性标注功能。该系统基于条件随机场模型实现基于音节标注的藏文分词系统,采用最大熵模型,并融合音节特征,实现藏文词性标注系统。经过试验及对比分析,藏文分词系统和词性标注系统取得了较好的实验效果,系统的源代码可以从网上获取。希望该研究可以推动藏文分词、词性标注等基础工作的发展,提供一个可以比较、共享的研究平台。
     

现代藏文音节的划分与确定

在藏文信息处理中,实现藏文字符的字典排序是一个比较重要的问题,实现藏文字符排序的关键是准确地判定藏文音节。藏文音节的判定关键是组合字符的判定。判定组合字符的瓶颈是藏文字符编码的占位和不占位的判定。通过应用程序对藏文编码的占位和不占位的有效判定,即可找出组合字符。对找出组合字符的藏文字符可通过藏文正字法的限定对藏文音节进行有效的判定和音节组件的拆分,从而为藏文字符的字典排序奠定基础。     

藏文文本分类技术研究综述

该文介绍了藏文文本分类技术的研究与进展.首先对现阶段常用的文本表示以及文本特征选择方法进行了分析和比较,接着回顾了藏文在机器学习方面的分类算法特点,深入讨论了不同算法应用在藏文文本分类技术上的研究情况,最后指出了当前藏文文本分类所面临的问题和挑战,并对未来的研究提出了建议.     

基于基字识别的藏文音节字检错算法研究

在藏文音节字构件中基字占有重要的地位,只要准确的识别出基字的位置,可通过音节字的长度来获得其他构件,并以基字为核心来判断组成音节宇其他构件的搭配是否符合规则。本文通过研究藏文音节字构件组合语法,提出了一种基于基字识别的藏文音节字检错算法。该方法不使用藏文音节字词典及大规模语料库的支撑。通过实验,该方法自动检错藏文音节字的正确率为97％。     

藏文字丁、音节频度及其信息熵

本对两千万字的藏语料做字频、音节频度的统计，以及字丁熵值、音节的相对熵值和绝对熵值的计算。统计结果表明：(1)藏标准音节5334个，其中单字音节475个，双字音节3061个，三字音节902个，四字音节896个；(2)藏字丁或音节的频度分布极不均匀，覆盖统计本90％、95％的音节分别是703个和1140个。     

一种在移动电话上实现藏文处理的方法

移动电话系统资源有限,如果直接使用藏文Unicode编码,通过组合方式生成藏文字符将大大增加系统处理的时间复杂性,为此,在分析藏文构字特点及藏文Unicode编码的基础上,提出了一种使用索引技术的移动电话藏文编码规则。移动电话键盘键位有限,无法一对一地部署藏文字符,因此,利用藏文的文法特点和索引技术,在有限的键位上合理地安排了藏文字符,减少了藏文输入时的重码率,提高了输入速度。设计了与移动电话藏文编码规则相对应的短消息编码/解码方法,实现了移动电话对藏文短消息的发送和接收。     

现代藏语词语信息库构建研究

以语言学的理论和方法为主导,在藏文信息处理中引入了藏语词语的信息化和形式化,并对构建的信息库进行了结构上的总体设计,从而制定了信息处理用藏语词语信息库的构建原则及收词规则,即一形一项、一时(式)一项、一义一项。为此构建了以藏文词汇为主的音、形、义等的信息库。     

基于深度学习的藏文现代印刷物版面检测技术研究

针对藏文现代图书版面中的文本行分布不均匀、现代藏文字体差异较大的问题,提出了一种基于Faster R-CNN的版面文本行检测算法. 通过在整理标注的数据集上训练,用ResNet-50网络提取出藏文现代图书版面特征信息. 为了有效提高模型的泛化能力,在COCO数据集下的网络模型中进行迁移学习. 实验结果表明,该方法可对藏文现代印刷物的版面实现文本行的定位,检测准确率为83%,召回率为95%,明显提高了版面检测的精确度.     

藏文文本自动校对方法及系统构建分析

藏文文本的自动校对是藏文信息处理的主要应用领域之一,因此对于藏文文本自动校对方法的探究与之后的系统构建是非常关键的技术探索。为了实现对藏文信息的不断探究,挖掘藏文信息内涵,本文从藏文文本校对方法以及自动系统构建来展开相关论述。     

藏文识别中相似字丁的区分研究

相似字丁多是藏文识别中的一大难点。本文通过对相似字丁类型的研究,以及印刷体藏文识别结果的统计分析,得到图形结构的分析与识别结果相吻合的结论。说明必须根据藏文字丁的结构特点,在字符归一化、特征选择方面进行特殊的处理,以实现藏文识别中相似字丁的区分。