汉语分词词典设计

汉语分词词典是中文信息处理系统的重要基础,词典算法设计的优劣直接关系着分词的速度和效率。论文采用动态TRIE索引树的词典机制,设计并实现了汉语分词词典,有效地减少了词典空间。实验结果表明该词典具有较高的查询性能。     

一种基于词共现的文本相似度计算

在文本检索中,由于用户需求的表达方式不充分,常会得到大量无关信息,给用户检索带来诸多不便。本文提出的基于词共现的文本相似度计算,可以让用户选择去掉或保留和某一文本相似的文本集,提高用户检索效率。     

基于HMM的中文姓名识别方法研究

以2000年1月-12月《人民日报》大约80万汉字语料为基础,利用基于隐马尔可夫模型并结合统计来评价在真实文本中构成中文姓名的能力.实现中文姓名的自动识别。实验测试表明:准确率达91.5%,召回率为89.5%。     

知网与同义词词林的信息融合研究

本文主要探讨了将知网(HowNet) 和同义词词林进行信息融合的方法。我们针对知网对词的概念描述和同义词词林对词的语义分类的特点,提出了一种词典信息融合的方法:首先为词林的每个词集确定一个与知网中DEF 类似的概念描述,在此基础上对两部词典中同时收录且均只有一个义项的词语进行双向意义联结,最后根据分类算法对两部词典中同时收录非单一义项的词语进行双向意义联结。实验表明,本文提出的处理策略达到了93 %的信息融合正确率,融合后形成的新词典兼有词林的分类学信息和知网的概念描述信息。     

利用虚拟站点定位技术的网络信息检索研究

虚拟组织是网格体系结构中的基本组织单元,借鉴网格研究中对虚拟组织的特性分析,可以在网络信息检索研究中定义虚拟站点的概念。实验发现,虚拟站点入口页面是网络信息环境中具有较高质量的一个网页集合:实验表明,仅为全部页面数量21 %的此类页面就涵盖了70 %以上的超链接,对这个集合进行的内容检索也比对网页全集的检索有超过60 %的性能提高。这提供了一种在减少索引规模前提下提高网络信息检索性能的解决方案。     

基于笔式交互的中文字处理系统:SketchEditor

纸笔是人们日常生活中常用的交流方式之一。但传统的纸笔工具有许多缺点,如纸上记录的内容难以修改和再加工,大量的信息缺乏有效的维护和检索等等。然而,纸笔工作方式的这些弱点却正好是计算机在信息处理方面的优势。笔式界面的研究就是要将这些传统的工作可计算化并且保持传统工作方式的自然性。本文的研究中,通过笔设备的输入事件描述了文本输入、编辑等交互任务,并且结合改进后的Rubin 识别算法和基于规则的识别等方法,模拟人们日常生活中纸———笔工作方式,设计实现了以用户为中心的新型笔式文本编辑器。     

Co-training机器学习方法在中文组块识别中的应用

采用半指导机器学习方法co2training 实现中文组块识别。首先明确了中文组块的定义,co-training 算法的形式化定义。文中提出了基于一致性的co-training 选取方法将增益的隐马尔可夫模型(Transductive HMM) 和基于转换规则的分类器(fnTBL) 组合成一个分类体系,并与自我训练方法进行了比较,在小规模汉语树库语料和大规模未带标汉语语料上进行中文组块识别,实验结果要比单纯使用小规模的树库语料有所提高,F 值分别达到了85134 %和83141 % ,分别提高了2113 %和7121 %。     

现代汉语介词短语边界识别研究

汉语中介词结构右边界歧义是汉语结构歧义中最突出的现象之一,这给汉语的句法分析带来了很大的困难。本文研究的目标是:在不引进复杂的句法分析的前提下实现介词短语边界的自动识别,期望其作为句法分析预处理的一部分为句法分析提供一定的帮助。本文对汉语中最常用的介词“在”进行了实验,封闭测试和开放测试的准确率分别达到97 %和93 %。与前人的同类研究相比,准确率有了较大的提高,解决了过去遗留的一些问题。     

基于互信息的统计语言模型平滑技术

数据平滑主要是用来解决统计语言模型在实际应用中数据稀疏问题。现有平滑技术虽然已有效地对数据稀疏问题进行了处理,但对已出现事件频率分布的合理性并没有作出有效的分析。本文则针对二元模型,提出了一种基于互信息的平滑技术,其基本思想是根据模型中每个二元对的互信息的高低对其概率进行折扣或补偿,并用极小化困惑度原则体现了模型的合理性。实验结果表明该技术优于目前常用的Katz 平滑技术。     

图文互斥版面中文字阅读顺序的确定

图文互斥版面中确定文字的阅读顺序是排版及版面理解过程中的一个难点。尤其是中文等东方文字特有的分栏串文互斥,其空间关系的复杂性使得阅读顺序存在歧义。针对此问题,建立新的版面布局模型,并引入新的版面对象PMRegion。给出了版面逐层快速分解构造版面对象和基于有序树的阅读顺序确定算法。已成功运用于专业中日文排版系统,取得了满意的效果,并对更深入研究文档图像理解具有十分重要的理论和实践意义。