古文字字库建设的几个问题

随着古文字信息化处理研究的发展,古文字的标准字库建设已经显得十分迫切。本文探讨了古文字标准字库建设中需要注意的四个方面的问题:通过建立古文字资料库,穷尽性地收集整理古文字字形保证字形收集的全面性,通过拓片扫描造字保证所造字形的准确性;在字形与字之间建立对应关系时须考虑两者之间的异用、歧释、异体等复杂关系;字形归纳过程中应遵循形体的归并原则和区别原则;字符进入标准字符集时的分级应根据字频原则和形频原则。     

基于本体的跨语言信息检索模型

随着网络信息的日益丰富和用户需求的提高,人们已经不能满足于仅仅在同一语种中进行检索,跨语言的信息检索(CLIR)因而受到人们越来越多的关注。为此,本文提出了一种新的基于语义的跨语言信息检索模型Onto-CLIR,该模型在传统信息检索技术的基础上,利用本体来刻画不同语言中对应的领域知识,以解决从查询语言到检索语言之间转换过程中出现的语义损失和曲解等问题,从而保证在检索过程中能够有效地遵循用户的查询意图,获得预期的检索信息。本文以体育新闻检索为背景,以英文查询作为查询请求,检索来自新浪网的体育类新闻,结果表明采用基于本体的跨语言信息检索方法之后检索的查全率和查准率平均提高10个百分点左右,有效地改善了检索性能。     

语料库词性标注一致性检查方法研究

在对大规模语料库进行深加工时,保证词性标注的一致性已成为建设高质量语料库的首要问题。本文提出了基于聚类和分类的语料库词性标注一致性检查的新方法,该方法避开了以前一贯采用的规则或统计的方法,利用聚类和分类的思想,对范例进行聚类并求出阈值,对测试数据分类来确定其标注的正误,进而得出每篇文章的词性标注一致性情况,进一步保证大规模语料库标注的正确性。     

基于WWW的未登录词识别研究

一、引言当前,随着国民经济信息化的不断发展以及Internet的普及应用,全世界丰富的信息资源展现在我们每个人面前。如何从大量的信息中迅速有效地提取出所需信息极大地影响着我国计算机技术和信息技术的发展和应用推广。据统计,在信息领域中,80％以上的信息是以语言文字为载体的,因此,中文信息处理技术成为我国重要的计算机应用技术。未登录词的识别是中文信息处理技术中的难点之一。它在Internet数据挖掘、信息检索、图书馆图书文献管理、语音识别等应用中     

维吾尔语框架语义知识库的概念设计

该文对维吾尔语的框架语义描述体系及内容进行了初步探讨和尝试,建立了维吾尔语框架语义文档的树型结构。根据维吾尔语框架语义知识库的描述内容及框架语义网络自身的特点,该文在数据库中以维吾尔语框架语义为核心进行信息存储,设计了语义知识库的概念模型。为创建基于认知的维吾尔语框架语义知识库建设探索了一条可行的技术路线、方法和思路。     

统计与规则相结合的古文对联应对模型

该文将古文对联规则区分为硬规则与软规则,将软规则区分为字相对与上下文相对。并在软规则指导下建立对联应对的有向概率图模型,使用EM(Expectation-Maximization)算法估计模型参数,在求解的搜索过程中加入硬规则,从而给出了一种完整的对联自动应对方法。实验结果表明参数学习后的候选字列表由于一定程度上不考虑上下文相对的影响,比仅用频次统计的候选字列表更为合理。该方法还能够对训练语料库中工整与不工整的对联区分学习。基于该方法所实现的古文对联应对程序达到了一定水平。
     

音字转换中分层解码模型的研究与改进

音字转换是中文信息处理领域的一个重要研究方向,在语音识别、中文拼音输入中都有广泛应用。该文对音字转换中的拼音流切分歧义问题做了分析与研究,发现传统的分层隐马尔可夫解码模型在解决这个问题时存在缺陷,提出了利用语言模型知识辅助拼音流切分来改进已有的分层模型的思想。实验表明,与传统方法相比,该文的方法可以将首字准确率提高3%。     

基于核偏最小二乘分类的垃圾邮件过滤

垃圾邮件是Internet上亟待解决的问题,目前许多垃圾邮件过滤技术已经被使用。基于偏最小二乘的方法可以解决垃圾邮件的内容中普遍存在的数据稀疏性、高特征维数和多重相关性问题。但邮件内容之间的内在联系往往不是线性的,该文通过在偏最小二乘方法上引入核函数,去解决这一类的非线性问题。Enron-Spam垃圾数据集实验表明,同PLSR等方法比较,模型表现出了较好的过滤性能。     

基于搜索引擎的模糊字频统计

针对传统字频统计方法周期长、代价高的弱点,提出了一种利用互联网内容并借助搜索引擎检索进行汉字模糊字频统计的全新方法,有效利用了网络时代的相关技术和发展成果,在一定程度上缓解了字频统计需求频繁的和传统统计方法的低效且代价高昂之间的矛盾,同时对该方法进行了实例化的分析、验证和改进.