传统蒙古文变形显示机制研究与实现

多年来蒙古文处理系统重复开发、互不兼容的根本原因就是没有统一的标准:编码标准不统一、字库标准不统一、输入法不统一。随着国际化、多语言化的发展,开发基于ISOPIEC 10646 和UNICODE 国际编码标准、OpenType 智能字体技术的不同语言文字处理系统已经成为趋势。本文阐述了一个蒙古文显示系统,它完全支持Unicode 标准并使用了OpenType 技术自动进行字形选型,其实现是基于QT库的,但核心实现很容易移植到Pango ,ICU 等其他复杂文本布局(CTL) 处理项目中。     

基于类别特征域的文本分类特征选择方法

特征选择是文本分类的关键问题之一,而噪音与数据稀疏则是特征选择过程中遇到的主要障碍。本文介绍了一种基于类别特征域的特征选择方法。该方法首先利用“组合特征抽取”[1 ]的方法去除原始特征空间中的噪音 ,从中抽取出候选特征。这里“, 组合特征抽取”是指先利用文档频率(DF)的方法去掉一部分低频词,再用互信息的方法选择出候选特征。接下来,本方法为分类体系中的每个类别构建一个类别特征域,对出现在类别特征域中的候选特征进行特征的合并和强化,从而解决数据稀疏的问题。实验表明,这种新的方法较之各种传统方法在特征选择的效果上有着明显改善,并能显著提高文本分类系统的性能。     

汉语朗读话语重音自动分类研究

汉语的重音由于受到声调、语调以及韵律单元层级的干扰和制约,对于重音的自动感知一直是比较困难的问题。针对标准的朗读普通话语,本文在广义韵律结构的框架下研究了重音的声学表现,设计并实现了重音的自动感知模型。本文提出的基于分类树结构的区分度模型能有效地结合韵律单元结构对重音的制约。研究结果表明,音高高线、调域、音长是表达重音最重要线索,利用这些线索能有效地实现对重音的自动感知。我们的模型能一般能达到80 %左右的重音检出水平。     

领域词汇自动获取的研究

领域知识获取一直是文本处理中的关键技术.文中提出了一种基于大规模语料通过机器学习自动获取领域词汇的方法.这种方法独立于特定的领域,具有较好的移植性.文中扼要介绍了相关背景,详细阐述了该方法的实现,选取了两个领域的语料进行了实验,并对实验的结果进行了分析.     

全二分最大匹配快速分词算法

分词对于中文信息处理的诸多领域都是一个非常重要的基本组成部分,对于诸如搜索引擎等海量信息处理的应用,分词的速度是至关重要的。该文在对中文编码体系和中文分词的算法进行研究的基础上,提出一种新的分词词典,基于这种分词设计了一种快速的分词算法,给出了算法的实现过程。     

基于HMM的中国组织机构各自动识别

以2000年11－12月《人民日报》网页中涉及社会，经济、法律等内容的50万汉字语料为基础，利用基于隐马尔可夫模型并结合概念估值公式来评价在真实广西中构成组织机构名的能力，实现了中国组织机构名自动识别系统，实验研究表明准确率达89％，召回率为94．5％。     

Research and Implement of Content- based Information Anti- Leakage in LAN

本文针对内网的主动泄密实现了一种基于内容过滤的内网防泄密系统CIAL(Content-based Information Anti-Leakage in LAN),它以透明方式对进出网络的传输明文及电子文档进行监控,并运用中文信息处理技术对明文及电子文档的内容进行分析,一旦发现该信息涉密,立即阻止其传送,有效的阻止了内网的泄密同时也保证了网络的便捷性.并详细介绍了它的设计方案和实现技术.     

中文组织机构名称与简称的识别

本文提出了一种基于规则识别中文组织机构全称和简称的方法。全称的识别首先借助机构后缀词库获得其右边界,然后通过规则匹配并借助贝叶斯概率模型加以决策获得其左边界。简称的识别是在全称的基础上应用其对应的简称规则实现的。在开放性测试中,该方法的总体查全率为85.19%,查准率为83.03%,F Measure为84.10%;简称的查全率为67.18%,查准率为74.14%。目前该方法已应用于中文关系的抽取系统。     

基于分类信心重排序的中文共指消解研究

共指消解是自然语言处理的核心问题之一。本文针对分步消解中分类器全局信息的不足,依据分类信心对全体提及配对进行排序,优先根据可靠的分类结果对提及进行聚集或分离。实验表明,该算法在多个学习框架下显著地改善了系统的整体性能。     

基于COSA算法的中文文本聚类

传统聚类算法在计算两个对象间的距离时,每个属性对距离的贡献相同。COSA(Clustering On Subsets of Attributes)算法^[1]认为在不同的分组中,每个属性对计算距离所起的作用可能并不相等,因为不同分组中的对象可能在不同的属性子集上聚集。文献[1]在此基础上定义了新的距离,并提出了两种COSA算法: COSA1算法是一种分割的聚类算法;COSA2算法是一种层次聚类算法。为了对比COSA距离和传统的欧氏距离在文本聚类中的表现,本文对中文文本进行了分割聚类和层次聚类的实验。实验结果显示出COSA算法较基于欧氏距离的聚类算法有更好的性能,而且对于属性数的变化,COSA算法更加稳定。