基于IDSS的中文垃圾邮件过滤模型设计

以智能决策支持系统结构为基础，提出了一种新的电子邮件过滤模型．并对中文垃圾邮件过滤中的中文分词及垃圾邮件特征知识库的更新等关键问题进行了探讨。开发了“智能邮件过滤系统（JEFS）”，使垃圾邮件误判率得到了一定程度的控制．有效防止了垃圾邮件的泛滥。     

基于IDSS的中文垃圾邮件过滤模型设计

以智能决策支持系统结构为基础,提出了一种新的电子邮件过滤模型,并对中文垃圾邮件过滤中的中文分词及垃圾邮件特征知识库的更新等关键问题进行了探讨。开发了“智能邮件过滤系统(IEFS)”,使垃圾邮件误判率得到了一定程度的控制,有效防止了垃圾邮件的泛滥。     

基于短语的贝叶斯中文垃圾邮件过滤方法

朴素贝叶斯算法在垃圾邮件过滤领域得到了广泛应用,该算法中,特征提取是一个必不可少的环节。过去针对中文的垃圾邮件过滤方法都以词作为文本的特征项单位进行提取,面对大规模的邮件训练样本,这种算法的时间效率会成为邮件过滤技术中的一个瓶颈。对此,提出一种基于短语的贝叶斯中文垃圾邮件过滤方法,在特征项提取阶段结合文本分类领域提出的新的短语分析方法,按照基本名词短语、基本动词短语、基本语义分析规则,以短语为单位进行提取。通过分别以词和短语为单位进行垃圾邮件过滤的对比测试实验证实了所提出方法的有效性。     

一种中文分词词典新机制-四字哈希机制

国内自80年代中后期就开展了中文分词词典机制的研究，目前已有的分词词典机制主要有：基于整词二分的词典机制、基于TRIE，索引树的词典机制和双字哈希机制。笔者根据中文中四字成语较多的特点对双字哈希机制扩展到四字哈希机制，下面介绍其分词词典的数据结构和查找算法。     

中文垃圾邮件过滤系统中的特征提取算法

针对垃圾邮件过滤,首先对获取的垃圾邮件及合法邮件进行分词,预处理,构建文本矢量,然后用四种常用的特征词提取方法进行矢量降维,再在此基础上,给出了一种综合性的特征词提取算法,即按照各个评估函数的排序结果,取它们交集的前n个特征词作为候选词进行分类测试,仿真比较了各个算法中n对分类结果的影响,从而验证了该算法的有效性。     

中文垃圾邮件的索引分词法的研究与设计

为了提高中文垃圾邮件预处理阶段的性能，加快查找分词的速度，基于哈希函数的算法思想创造性的构造了索引词典，设计了一种针对中文垃圾邮件的中文索引分词方法。通过实验，表明该方法提高了传统机械分词法的效率和准确率，改善了邮件预处理阶段的性能，并且可以广泛地应用于中文分词领域。     

基于最优属性约简的中文邮件过滤系统

对朴素贝叶斯理论作为中文邮件过滤技术进行了分析改进，邮件预处理后，对其进行分词处理，利用基于依赖性的粗糙集最优属性约简方法来对邮件集进行特征维数压缩。条件属性的数目大幅减少，提高了分类的效率。     

Katz平滑算法在中文分词系统中的应用

针对基于统计模型的中分词系统，从系统实现的角度探讨了主流的相关技术，涉及：n—gram语言模型，语科库，统计模型的参数估计及参数平滑等概念，重点对Katz平滑算法作了改进。片在分词系统原型中实现了该算法。     

基于Milter实现的中文垃圾邮件过滤系统

提出一种基于内容的中文垃圾邮件实时过滤系统的实现方案，该系统建立在Linux的Sendmail邮件服务器上，通过Milter接口实时提取邮件内容，并结合中文分词及文本分类算法对邮件实施分类和过滤。该系统可嵌入多种文本分类算法，具有良好的可扩展性。通过测试对该系统内嵌入的不同分类算法模型进行了分析和比较。     

基于Lucene系统的中文分词算法设计与实现

简要阐述了在信息检索系统中基于Lucene软件包设计实现的一个中文分词算法.通过人民日报语料库建立三叉Trie词典结构树,采用二元动态规划算法,把句子的词语划分通过计算概率的办法解决,通过分词测试得到比较理想结果.     

二元语法中文分词数据平滑算法性能研究

将多种平滑算法应用于基于二元语法的中文分词,在1998年1月人民日报语料库的基础上,讨论了困惑度和实际分词性能之间的关系,对比分析各平滑算法的实际性能,结果表明,简单的加值平滑算法性能最优,封闭精度、召回率分别为99.68%、99.7%,开放精度、召回率为98.64%、98.74%。     

中文分词词典结构的研究与改进

汉语分词词典是中文信息处理系统的重要基础,词典算法设计的优劣直接关系着分词的速度和效率。分析了三种典型的分词词典结构,提出了一种具有三级索引的新词典结构,并提出了最大正向匹配的改进型匹配算法,从而降低了匹配过程的时间复杂度。最后通过实验,比较了三种典型词典结构与新词典结构的时间效率。实验结果表明,新词典结构具有更高的词典查询速度和分词速度,可以有效满足中文处理系统的需求。     

支持智能中文分词的互联网搜索引擎的构建

中文分词技术对中文搜索引擎的查准率及查全率有重大影响。在剖析开源搜索引擎Nutch的源代码结构的基础上,基于JavaCC实现了一个可扩展的词法分析器并将其与Nutch集成,构建了一个支持智能中文分词的互联网搜索引擎NutchEnhanced。它可用作评测各类中文分词算法对搜索引擎的影响的实验平台。对NutchEnhanced的搜索质量与Nutch、Google、百度进行了对比评测。结果表明它远优于Nutch,其查全率达到了0．74,前30个搜索结果的查准率达到了0．86,总体上具有与Google,百度接近的中文搜索质量。     

使用二级索引的中文分词词典

中文分词是中文信息处理的基础,在诸如搜索引擎,自动翻译等多个领域都有着非常重要的地位。中文分词词典是中文机械式分词算法的基础,它将告诉算法什么是词,由于在算法执行过程中需要反复利用分词词典的内容进行字符串匹配,所以中文分词词典的存储结构从很大程度上决定将采用什么匹配算法以及匹配算法的好坏。在研究现存分词词典及匹配算法的基础上,吸取前人的经验经过改进,为词典加上了多级索引,并由此提出了一种新的中文分词词典存储机制——基于二级索引的中文分词词典,并在该词典的基础上提出了基于正向匹配的改进型匹配算法,大大降低了匹配过程的时间复杂度。从而提高了整个中文分词算法的分词速度。     

Chinese word segmentation as morpheme-based lexical chunking

Chinese word segmentation plays an important role in many Chinese language processing tasks such as information retrieval and text mining. Recent research in Chinese word segmentation focuses on tagging approaches with either characters or words as tagging units. In this paper we present a morpheme-based chunking approach and implement it in a two-stage system. It consists of two main components, namely a morpheme segmentation component to segment an input sentence to a sequence of morphemes based on morpheme-formation models and bigram language models, and a lexical chunking component to label each segmented morpheme’s position in a word of a special type with the aid of lexicalized hidden Markov models. To facilitate these tasks, a statistically-based technique is also developed for automatically compiling a morpheme dictionary from a segmented or tagged corpus. To evaluate this approach, we conduct a closed test and an open test using the 2005 SIGHAN Bakeoff data. Our system demonstrates state-of-the-art performance on different test sets, showing the benefits of choosing morphemes as tagging units. Furthermore, the open test results indicate significant performance enhancement using lexicalization and part-of-speech features.     

面向专业领域的中文分词方法

在专业领域分词任务中,基于统计的分词方法的性能受限于缺少专业领域的标注语料,而基于词典的分词方法在处理新词和歧义词方面还有待提高。针对专业领域分词的特殊性,提出统计与词典相结合的分词方法,完善领域词典构建流程,设计基于规则和字表的二次分词歧义消解方法。在工程法领域语料上进行分词实验。实验结果表明,在工程法领域的分词结果准确率为92.08%,召回率为94.26%,F值为93.16%。该方法还可与新词发现等方法结合,改善未登录词的处理效果。     

一种优化的用于中文分词的CRF机器学习模型

目前效果最好的中文分词方法是基于字标注的机器学习方法。作为中文分词领域使用最广泛并且效果最好的机器学习模型,条件随机场(CRF)模型进行机器学习的代价很高,非常耗费时间和内存。通过对条件随机场机器学习模型的改进,增加模型导出功能和使其支持预定义Tag,降低了机器学习的代价。使用MSRA 2005开放测试语料库和6词位标注集,以及赵海博士提出的针对6词位的特征模板做实验,实验数据表明,改进后的模型缩短了机器学习的训练时间,提高了分词的速度,对F值也有小幅提高。     

一种适用于专业搜索引擎的中文分词系统研究

在对现有中文分词技术研究的基础上,提出了一种应用于化工专业领域的中文分词系统,先后介绍了首字哈希结合二分查找的词典机制,以及结合路径选择机制而改进了的层进式最短路径切词算法,并经过实验分析,在保证切分效率的同时,在一定程度上达到了消除歧义的效果。     

基于LSTM网络的序列标注中文分词法

当前主流的中文分词方法是基于字标注的传统机器学习的方法。但传统机器学习方法需要人为地从中文文本中配置并提取特征,存在词库维度高且仅利用CPU训练模型时间长的缺点。针对以上问题,进行了研究提出基于LSTM（Long Short-Term Memory）网络模型的改进方法,采用不同词位标注集并加入预先训练的字嵌入向量（character embedding）进行中文分词。在中文分词评测常用的语料上进行实验对比,结果表明：基于LSTM网络模型的方法能得到比当前传统机器学习方法更好的性能;采用六词位标注并加入预先训练的字嵌入向量能够取得相对最好的分词性能;而且利用GPU可以大大缩短深度神经网络模型的训练时间;LSTM网络模型的方法也更容易推广并应用到其他自然语言处理（NLP）中序列标注的任务。     

汉语分词词典设计

汉语分词词典是中文信息处理系统的重要基础,词典算法设计的优劣直接关系着分词的速度和效率。论文采用动态TRIE索引树的词典机制,设计并实现了汉语分词词典,有效地减少了词典空间。实验结果表明该词典具有较高的查询性能。