一种改进的中文分词正向最大匹配算法

正向最大匹配分词FMM(Forward Maximum Matching)算法存在设定的最大词长初始值固定不变的问题,带来长词丢失或匹配次数较多的弊端.针对此问题提出了根据中文分词词典中的词条长度动态确定截取待处理文本长度的思想,改进了FMM算法.与此相配合,设计了一种词典结构,使之能够有效地支持改进的算法.改进的算法与一般正向最大匹配算法相比大大减少了匹配次数,分析表明中文分词的速度和效率有了很大提高.     

一种改进的最大匹配中文分词算法

最大匹配算法包括正向最大匹配和逆向最大匹配两种算法,是中文分词领域的基础性算法,目前被广泛应用于众多领域。文中在详细分析了最大匹配算法的优缺点的基础上,提出了一种改进的最大匹配分词算法。改进算法在分词前先对词库进行了规范化预处理,分词时由汉字检索到该字开头的词组,再按词组长度由长到短的顺序使用传统最大匹配算法检索词库。目的是解决传统方法匹配效率低下和不能切分长词的问题。经算法分析结果表明,改进的算法较传统的最大匹配算法高效,分词能力更强。     

一种结合正向最大匹配法和互信息的中文分词算法

中文分词是文本过滤的首要的基础性工作,也是智能化中文信息处理的关键。本文提出了一种结合正向最大匹配法和互信息的中文分词算法。实验结果说明,该算法能在一定程度上提高文本的分类性能。     

中文分词系统的设计与实现

介绍了中文分词算法和MFC应用程序,在中文分词方面,采用双向最大匹配算法,即正向最大匹配和逆向最大匹配算法。在系统设计方面,采用MFC应用程序框架实现整个系统的可视化。建立了一个包含44 000余词条的汉语电子词典及其后台数据库,完成了一个包含有汉语电子词典和中文分词功能的应用程序。     

串的最大匹配算法

本文给出了一个找出二串间最大匹配的算法,该算法可用于比较两个串的相似程度,它与串的模式匹配有别。     

改进的正向最大匹配分词算法

为了降低正向最大匹配分词算法的切分错误率,分析了产生这个错误率的原因,提出了一种改进的正向最大匹配分词算法,即增加一个交集型歧义字段处理模块.该方法对待切丈本进行预处理,在传统正向最大匹配的过程中,调用交集型歧义字段处理模块,该模块主要是在每一次正向匹配后进行回溯匹配,即通过检测当前处理词条的尾字和下一字的成词情况,分别计算该尾字和不含该字的当前处理词条的互信息与尾字和下一字的互信息,通过比较两者的互信息大小来决定切分,最后对分词碎片进行了处理.通过对随机抽取的语料进行测试,结果表明该方法是有效的.     

关于搜索引擎的中文分词与页面排序的研究

从搜索流程的分词和页面排序出发,由于中文分词比较复杂,鉴于正向最大分词算法和逆向最大分词算法的优缺点,提出基于正向最大和逆向最大匹配的双向匹配算法,该算法在一定程度提高了分词的准确性。页面排序也是影响用户搜索效率的一个重要因素,而网页相关度和网页的链接都是直接影响网页权值的重要因素,因而提出一种基于网页相关性的PageRank算法。新的页面排序算法既防治了页面漂移的可能性,也防治了全部依赖网页相关性的排序结果。     

中文分词算法之最大匹配算法的研究

对当前中文分词算法中的最大匹配算法进行研究,详细分析用该算法的长词优先原则进行分词切分,分析最大匹配算法的分类和用简单的例子阐明算法思想,并同时指出最大匹配算法所存在的缺点,提出优化设想。     

中文分词算法之最大匹配算法的研究

对当前中文分词算法中的最大匹配算法进行研究,详细分析用该算法的长词优先原则进行分词切分,分析最大匹配算法的分类和用简单的例子阐明算法思想,并同时指出最大匹配算法所存在的缺点,提出优化设想。     

最大正向匹配分词算法的VC++实现

做为最直接的分词思路,最大匹配具有直观、实现简单等优点,但也存在着精度低的致命缺点.本文对正向匹配算法做了实现和分析,为该方法的进一步改进打下了基础.     

字典与统计相结合的中文分词方法

提出了一种字典与统计相结合的中文分词方法，该方法首先利用基于字典的分词方法进行第一步处理，然后利用统计的方法处理第一步所产生的歧义问题和未登录词问题．本算法在基于字典的处理过程中，通过改进字典的存储结构，提高了字典匹配的速度；在基于统计的处理过程中，通过统计和规则相结合的方法提高了交集型歧义切分的准确率，并且一定条件下解决了语境中高频未登录词问题，实验结果表明，由本文算法实现的分词系统DSfenci的分全率达99．52％，准确率达98．52％．     

基于最大匹配的中文分词概率算法研究

结合顺序表和跳跃表的快速查询特性,提出一种改进的整词分词词典结构,主要采用哈希法和二分法进行分词匹配,并针对机械分词算法的特点,引入随机数,探讨一种基于最大匹配的分词概率算法。实验表明,该算法具有较高的分词效率和准确率,对消去歧义词也有较好的性能。     

一种改进的MM分词算法

本文首先提出一种对中文句子进行分词预处理的方法，在预处理过程中就能完成分词过程中所有的数据库访问操作，这种方法可以不加修改地应用于所有机械分词算法以及消除歧义，然后在预处理的基础上实现一种改进的MM法，更加密全地遵照“长词优先”的原则，使分词系统在机械分词阶段能有比MM法更好的效果。     

Web中文文本分词技术研究

中文自动分词技术是中文Web信息处理的基础。文中以最大匹配法(MM)为基础,充分考虑上下文(MMC),在内存中采用二分法进行分词匹配,有效地提高了分词的准确率和时效。并给出了评析报告,以及在生成Web文档中的关键词与自动摘要中的应用。     

一种改进的MM中文分词算法

对汉语的特点和分词概念作了简单介绍,详细说明了常用的分词算法,在此基础上,提出了一种改进的Ⅲ中文分词算法。该算法兼顾了最大正向匹配法（MM）和逆向最大匹配法（RMM）的优点,克服他们的不足,使得切分准确率和分词效率均有明显的提高,是一种比较实用的分词算法。实验也进一步证明,该算法能有效地提高切分准确率和分词效率。     

一种基于反向有限自动机的多模式匹配算法

在基于有限自动机的多模式匹配算法DFSA的基础上,结合改进的BM单模式匹配算法的优点,提出一种快速的多模式字符串匹配算法。在一般情况下,该算法不需要匹配目标文本串的每个字符,能充分利用匹配过程中本次匹配不成功的信息和已成功的信息,跳过尽可能多的字符。实验表明,模式串较短时,该算法需要的时间约为DFSA的1/2,模式串较长时,所需时间约为DFSA算法的1/3。     

基于Viterbi改进算法的高棉语分词研究

采用最大匹配算法对高棉语进行分词准确率较低,且难以正确识别词库中没有的新词。针对该问题,采用改进的Viterbi算法,利用自动机实现音节切分,通过最优选择及剪枝操作提高分词效率,以统计语言模型对未知新词进行数据平滑,提高识别正确率。实验结果表明,改进的Viterbi算法具有较高的分词效率和准确率。     

基于.NET的中文分词系统设计与实现

针对中文分词的相关理论,讨论了中文分词的难点、语料库和中文分词算法,然后在.NET下设计了一个中文分词系统。在长词优先的原则下通过SQL Server 2005自建了一个语料库。在Visual Studio 2005下,采用改进的正向减字最大匹配分词算法,使用ASP.NET和C#语言实现了这个系统。结果表明该分词系统达到了较好的分词效果。