综述文字输入处理软件

汉字是中华民族传统文化的核心和信息交流的主要工具,古老而复杂多样的汉字属于二维,不像英文等西方文字那样是一维线形文字,可以直接输入计算机,而是需要采用特殊的汉字输入法软件.汉字输入计算机是计算机中。第一个环节,汉字输入技术直接影响着中文信息处理的发展.本文着眼于汉字输入法软件在系统中的设计和开发过程,提出一种简单、方便的汉字键盘输入法。首先统计了国标二级字库中汉字笔画信息的各种数据,这些数据主要包括:汉字的平均笔画数及按使用频度加权的平均笔画数、能与其它字区分开的汉字前若干笔画的平均数、以各种笔画起笔的汉字数、各种笔画在汉字字库中的出现次数、汉字字库中笔画相同的汉字以及汉字字库中相邻笔画的频度等。根据这些统计数据,我们采用书写汉字时的笔画顺序作为汉字输入码,设计了笔画码汉字输入法和实现该输入方法的键盘。     

汉语自动分词方法

本文给出了为汉语自动分词而提出了机械匹配法，特征词库法，约束矩法，语法２分析法和理解切法。     

基于N元汉字串模型的文本表示和实时分类的研究与实现

该文提出了一种基于N元汉字串特征的文本向量空间表示模型,用这个表示模型实现了一个文本实时分类系统。对比使用词语做为特征的文本向量空间模型,这种新的模型由于使用快速的多关键词匹配技术,不使用分词等复杂计算,可以实现实时文本分类。由于N元汉字串的文本表示模型中的特征抽取中不需要使用词典分词,从而可以提取出一些非词的短语结构,在特殊的应用背景,如网络有害信息判别中,能自动提取某些更好的特征项。实验结果表明,使用简单的多关键词匹配和使用复杂的分词,对分类系统的效果影响是很小的。该文的研究表明N元汉字串特征和词特征的表示能力在分类问题上基本是相同的,但是N元汉字串特征的分类系统可以比分词系统的性能高出好几倍。该文还描述了使用这种模型的自动文本分类系统,包括分类系统的结构,特征提取,文本相似度计算公式,并给出了评估方法和实验结果。     

中文微博命名实体识别

微博这一媒体形式的迅速发展为命名实体识别提供了一个新的载体.根据微博文本的特点,提出针对中文微博的命名实体识别方法.首先,对微博文本做规范化处理,消除由于微博表达不规范造成的干扰;在建立中文人名库、常用地点库等知识库的基础上,选取适合微博的特征模板,使用条件随机场方法进行实体识别;同时,将正确的识别结果添加到知识库中以提升识别效果.在真实微博数据上的实验表明,该方法能够有效地完成中文微博的命名实体识别任务.     

基于词汇吸引与排斥模型的共现词提取

共现词提取在信息挖掘和自然语言处理中有着十分重要的地位。而传统的共现词提取方法仅仅局限在单一的一种统计量上,其结果十分不精确,需要人工再进行整理。本文提出了一种基于词汇吸引与排斥模型的共现词提取算法,并通过将多种常用统计量进行组合,改进了算法的效果。在开放测试环境下,所提取的共现词其用户感兴趣度为60.87%。将该算法应用于基于Web的共现词检索系统,在速度和共现词的提取精度上均取得了比较好的效果。     

基于多向量和实体模糊匹配的话题关联识别

本文在对新闻报道理论分析及实验验证的基础上,提出一种多向量表示模型,使其在尽量不丢失信息的情况下,对特征集合尽可能细地划分。基于该模型,本文设计了一种模糊匹配的方法用于计算命名实体子向量之间的关联度,它们和多个向量相似度一起用支持向量机进行整合,形成报道模型间的相似度。本文选用TDT4中文语料作为测试语料,将上述模型及模糊匹配技术用于话题关联识别。实验表明,多向量模型能够改进话题关联识别的性能,模糊匹配技术也在一定程度上弥补了精确匹配带来的性能损失。     

基于目的分析的作弊页面分类

随着互联网的飞速发展,因网络作弊而产生的垃圾页面越来越多,严重影响了搜索引擎的检索效率和用户体验。反作弊已经成为搜索引擎所面临的最重要挑战之一。但目前的反作弊研究大都是基于页面内容或链接特征的,没有一个通用可行的识别方法。本文主要基于作弊目的的分析,给出作弊页面另一种体系的分类,为基于目的的作弊页面识别起到良好的导向作用。     

情感语料库的构建和分析

本文介绍了情感语料库构建方面的一些经验,讨论了在设计和建设情感语料库中的几个基本问题制定标注规范、选择标注集、设计标注工具以及标注过程中的质量监控。目前已经标注完成近4万句,100万字的语料。在完成这些已标注语料的基础上,进一步给出了语料库的情感分布,情感迁移规律等统计数据,分析了情感语料库的特点及应用。它的建成将为文本情感计算提供更加强大的资源支持。     

词义标注一致性检验系统的设计与实现

词义消歧是自然语言处理领域的一个重要研究课题。词义标注的一致性将直接影响语料库的建设质量,进而直接或间接影响到其相关的应用领域。由于语言本身的复杂性与发展性以及算法设计的难点和缺陷,目前各种词义标注的算法与模型还不能百分之百正确地标注词义,即不能保证词义消歧的正确性与一致性。而人工校验在时间、人力方面的投入是个难题。该文在对《人民日报》语料、语句相似度算法和语义资源《知网》研究的基础上,提出了对《人民日报》语料词义标注进行一致性检验的方法。实验结果表明,此方法是有效的。     

基于内容和合作模式的信息推荐机制

如何根据用户的兴趣向用户推荐相关信息成为目前研究的热点,本文提出了基于内容和合作模式的信息推荐机制。其基本思想是根据用户所关心的文本内容将用户划分为不同的内容类,同时按照用户的访问模式以及用户评注的一致性,将用户分成不同的合作类。综合考虑其内容类和合作类对于用户评注影响,利用Fisher 判别分析,给出了信息推荐机制,将相关文本推送给用户。此外,随着信息数量的增加和用户的增加,自动调节各项参数,适应系统的变化,同时考虑到系统负荷和响应速度等方面的约束。