面向信息处理的藏文分词规范研究

自动分词是藏文信息处理领域的一项基础课题,也是智能化藏文信息处理的关键所在。 在藏文信息处理“字词处理”层面上,需要解决词的切分问题,而词类划分的标准和词的正确切分是进行藏文文本处理的必要条件。为了便于计算机对自动分词、词性标注的辨认,该文首先要确定满足藏文信息处理中词类的需求,并根据藏文自身的词汇特点与构词规律,提出了较为系统、适用的分词规范。     

信息处理用藏文分词单位研究

分词单位作为分词系统的基本单位,是研究分词理论的基础,要确立分词单位就必须有相应的理论体系。该文结合藏文已有的语法著作和汉语语义分类体系建立与分词单位相应的词类划分体系;参照《资讯处理用中文分词规范》和《信息处理用现代汉语分词规范》等标准,从藏文文本语料出发,建立切分分词单位的九项基本原则和三项辅助原则,以此词类划分体系和切分原则为理论依据对藏文的分词单位进行详细说明。     

藏文综合编码方案的研究与实现

目前, 藏文处理系统中普返存在着外字困扰问题, 本文首次实现了彻底排除外字的全新编码方案一一综合编码方案, 它由通行编码方案和外字编码方案两部分组成。通行编码方案按双字节模式编码, 外字编码方案采用组合叠加编码。文中对外字组合叠加编码方案作了深入地研究, 提出了外字运算符、外字描述和顺序输入叠加输出等概念设计了自动造字算法和程序, 解决了外字处理的一来列技术障碍, 并在叩一汉字系统版本一上实现了藏文综合编码方案, 其方法可引仲到其它藏文处理未统。     

藏文拉丁转写的研究与实现

藏文拉丁转写是研究藏文化和进行藏文术语交流的重要工具。介绍了一种基于藏文编码字符集基本集和藏文编码字符集扩充集A,实现藏文拉丁转写的方法。通过引入垂直预组合的概念,将藏文由复杂文本变为简单文本,从而简化了拉丁转写的处理过程,降低了算法复杂度。详细讲述了算法的原理及在OpenOffice.org中的实现。     

藏文自动分词系统中虚词识别算法研究

在分析现有藏文自动分词方法的基础上,针对藏文分词系统中虚词识别的难点进行深入研究。根据传统藏文文法,描述了藏文虚词在文本中不同的表现形式,用规则和统计相结合的方法,建立了较为全面的虚词知识库和规则库,并给出切分用虚词分块算法,该方法在不同领域的3 200个较典型的藏文句子进行了测试,结果表明,该方法的虚词识别率高达98%以上。     

基于大规模网络语料的藏文音节拼写错误统计与分析

针对从互联网获取的一份包含19万藏文网页,总计427万句、9 328万音节字的藏文文本语料,该文按照预定的规则对其中的藏文音节拼写错误情况进行了统计与分析。数据显示,在语料中出现的共计20 743个藏文音节中,含有拼写错误的音节共有9 700个,占藏文音节总数的46.762 8%,错误音节在语料中共出现27 427次,仅占0.030 8%,说明这份语料的文本质量是相当高的。文中还详细统计了各种不同表现形式的错误音节所占比重,并分析了导致拼写错误的四个主要原因: 一是输入了多余的元音符号;二是音节点或句尾空格缺失;三是同一字丁/字符存在多种表达形式;四是错误地使用了相似字符。     

基于栏目的藏文网页文本自动分类方法

该文提出了一种简单、快速的藏文网页文本分类方法。该方法利用网页栏目中词条的类别特征,结合网页文本提取技术,实现了快速、精确地将藏文网页文本归于预定义类别中。实验表明,该方法具有很高的网页文本分类正确率,对构建高质量多类别藏文语料库有重要作用。     

中小学课本中藏文文字结构及统计频率

每种文字创制之初都不可能十分完善,需要在运用中不断总结经验,逐渐规范,日益完善,藏文同样有一个发展过程。"藏文"一词写作,意为"藏族的文字"。藏文作为藏族人民的书面交际工具,历史之悠久。该文中着重介绍了中小学课本中藏文字的常用频率,使教育者能够基本了解每一阶段藏文文字掌握程度。     

藏文信息处理的Windows支持环境

论述在MS Windows中,字库、文字处理器以及软件开发工具等环境对基于国际标准的藏文文字信息处理的支持。随着藏文OpenType字库的研制成功以及Unicode文字处理器对藏文文字的支持,解决了MS Windows中藏文的输入、输出、存储以及显示问题,而随着MS Visual C＋＋8.0的推出,解决了藏文文字的程序处理问题,从而使基于国际标准的藏文文字信息处理在MS Windows中变得可行。     

属性--统计混合聚类算法研究

对属性———统计混合聚类算法进行研究。在属性均值聚类算法和Woodbury算法的基础上,对目标泛函进行改进,提出属性———统计混合聚类算法。文章证明了属性均值聚类算法和模糊C均值聚类算法(FCM)分别是属性-统计混合聚类算法的一个特例。     

信息处理中藏语虚词“na”和“la”的标注研究

藏文信息处理已经从最初字处理转向了自然语言处理的阶段。现如今正逐步向句法分析、语句分析、自动文摘、自动分类和机器翻译迈进。但是这些都基于词的层面上研究处理,而词则受许多格标记和虚词的制约。因此,在藏文信息处理中对格标记的分词标注更是一件棘手和复杂的事。该文通过研究藏文信息中的兼类虚词na和la,提出了如何在不同的语境中,处理和解决这类词性的标注问题。     

从信息处理的角度看商品

由于与商品这一研究对象相关联的各方面信息比较多，我们将其划分为基本属性、时间属性、地点属性、时间地点属性四类。基本属性是那些一旦进入零售信息系统后，不会因时间和地点变化而改变的基础性信息；时间属性是指会随着时间的变化而变化的数据信息；地点属性是指因零售企业的物流地点不同而发生变化的数据；     

基于语料库的藏文词义相似度计算方法

在藏文信息处理领域,做藏文分词的学者很多,但是词义相似度在臧文中的运用却很少,由于藏文的句法特点与词形特点,编码方式等许多方面与中文有所不同,使得处理有一定的难度,尤其对于完全不懂藏文的人来说,更是如此。本文假设性的提出了基于藏文语料库的藏文词义相似度计算方法,该方法简单可行,从而弥补了藏文信息处理中的空白。     

基于改进卡方统计量的藏文文本表示方法

藏文文本表示是将非结构化的藏文文本转换为计算机能够处理的数据形式,是藏文文本分类、文本聚类等领域特征抽取的前提。传统的藏文文本表示方法较少考虑特征项之间的关联度,容易造成语义损失。为此,结合向量空间模型,提出一种新的藏文文本表示方法。提取文本中词频统计TF-IDF值较高的部分词项作为对比词项,对藏文文本进行断句处理,以每个句子作为一个语境主题,利用卡方统计量计算文本中词项与对比词项的关联程度。实验结果表明,与传统的向量空间模型相比,该方法能更准确地表示藏文文本。     

藏文支持在OpenOffice.org办公套件中的实现

办公套件是人们日常应用最为广泛的信息处理软件之一,但真正意义的藏文办公套件至今都尚未问世,成为藏文信息技术发展的“瓶颈”。开源项目OpenOffice.org的不断发展和日益成熟,为藏文办公套件的研制开发提供了有利的契机。以OpenOffice.org为源代码基础,采用藏文编码字符集(扩充集A)国家标准,研制的藏文办公套件可支持藏文排版习惯和藏文本地环境,着重解决了藏文文本自动断行的问题,能够满足藏语文用户日常办公需要。     

SegT一个实用的藏文分词系统

在分析现有藏文分词方法的基础上,该文重点研究了藏文分词中的格助词分块、临界词识别、词频统计、交集型歧义检测和消歧等问题并提出了相应的方法。应用这些方法,设计实现了一个藏文分词系统SegT。该系统采用格助词分块并识别临界词,然后采用最大匹配方法分词,并进行紧缩词识别。系统采用双向切分检测交集型歧义字段并使用预先统计的词频信息进行消歧。实验结果表明,该文设计的格助词分块和临界词识别方法可以将分词速度提高15%左右,但格助词分块对分词效果没有明显提高或降低。系统最终分词正确率为96.98%,基本达到了实用的水平。     

藏文文本编码识别方法研究

讨论了藏文编码识别与转换中的关键问题,介绍了藏文结构特点和统计学特征以及各种可能的识别准则,并进行分析比较。确定了使用以藏文的音节点间距规律和高频音节为特征的识别方法对方正Windows、方正Dos、同元、华光Windows、华光Dos、班智达、ASCII的藏文编码方案、ISO/IEC10646基本集、国家标准扩充集A的藏文编码识别,能够正确地将藏文文本与其他语言进行区分。在对目标样本的测试中,该算法的识别率可达100%。     

藏文自动分词中未登录词处理方法研究

藏文中后接成份出现频率较高,分词中未登录词的后缀单切现象会影响分词的正确率,为此,采用词(语素)+缀归并的方法,将藏文后接成份与前一词(语素)归并为一个切分单位输出。针对藏文中大量人名、地名、单位名等未登录词在分词时出现的碎片切分现象,使用分词碎片整合方法,将多次出现的词条碎片整合为一个切分单位输出。实验结果表明,2种方法能提高藏文自动分词的识别正确率。     

基于排序的藏文音节类型判定

音节类型的程序判定是藏文字典排序的基础。建立了基于结构的现代藏文音节判定规则,并且将不满足该规则的藏文字母组合看作梵音藏文音节。首先,根据编码序列中占位编码、不占位编码的个数以及相互间的位置关系,判断一个编码序列是否满足现代藏文音节结构,如果满足则进一步确定各个编码（字母）在音节结构中的位置;其次,根据正字法对各个位置上字母的约束来判断这个编码序列是否表示一个现代藏文音节;最后,选取了一些有代表性的编码序列来测试算法的有效性。     

Web藏文文本资源挖掘与利用研究

该文结合链接分析技术和藏文编码识别技术,使用网络爬虫实现对互联网上藏文文本资源的挖掘,分析了Web藏文文本资源的分布情况。统计数据显示,国内藏文网站50%以上在青海省;约87%的藏文网页集中分布在31个大型网站中;人们正在逐步弃用旧有藏文编码,使用Unicode编码来制作网页。利用HTML标记、栏目归属、标点符号等自然标注信息对这些文本进行抽取,可以构建篇章语料和文本分类语料,可以抽取互联网藏文词库,进行词频统计和训练藏文语言模型,结合双语词典和搜索引擎技术抽取双语平行语料。这些语料可用于藏文分词、命名实体识别、信息检索、统计机器翻译等研究领域。