一种基于Lucene的中文分词的设计与测试

设计实现了一个基于Lucene的中文分词模块,提出了一种更为有效的中文词处理方法,提高全文检索系统的中文处理能力.整个模块基于当前使用较为广泛的全文检索引擎工具包Lucene,结合正向最大匹配算法以及经过优化的中文分词词典,以实现更高效率和准确度的中文分词功能.在系统评测方面,通过实验仿真比较了该模块与StandardAnalyzer和CJKAnalyzer在功能和效率上的差异.对于如何构建一个高效的中文检索系统,提出了一种实现方案.     

基于MMSEG算法的中文分词技术的研究与设计

文中提出了一种更为有效和准确的中文分词处理方法,并利用Lucene软件工具设计了相应的中文分词技术模块。该模块加入了改进的FFM算法,即MMSEG算法[1]的中文分词技术,对中文分词中的歧义现象实现了更好的解决方案。与现有实现算法相比,该方法可以更快更好地实现中文分词功能,可有效提高全文检索中的中文检索的能力。     

基于Lucene的中文分词模块的设计和实现

基于当前最流行的全文检索引擎架构Lucene,文章设计并实现了一个中文分词模块。分词模块中的核心算法是基于字符串匹配与统计相结合的中文分词算法,其主要研究目的在于寻找更为有效的中文词汇处理方法,提高全文检索系统的中文处理能力。通过实验发现,该模块的分词准确率较高,分词速度有进一步的提升空间。下一步我们将通过多种改进措施,来完善该分词模块,最终构建出一个高效的中文全文检索系统。     

基于Lucene与Socket通信的中文搜索引擎的设计与实现

Lucene是一个用Java写的全文检索引擎工具包,面向对象多层封装,提供了一个低耦合、与平台无关的、可进行二次开发的全文检索引擎架构,是这几年最受欢迎的信息检索程序库;基于流式Socket的网络编程是设计网络通信程序的一种有效方法.本文基于Lucene,采用中文分词技术,设计并实现了中文搜索引擎,同时应用Java和PHP的Socket网络编程技术,实现了外网通过PHP网页使用Lucene服务的功能.     

Nutch中文分词插件的编写与实现

开源搜索引擎Nutch是针对英文环境开发的,针对Nutch对中文进行单字切分的不足,在剖析Nutch分词器的基础上,基于Nut＆的插件机制,结合中科院的中文分词系统ICTCLAS,成功地实现了Nutch对中文的词语切分,完善了基于Nutch的中文搜索引擎的开发。     

微信公众平台客服机器人设计与实现

文中主要介绍基于全文检索引擎Lucene、IK分词器,通过Java EE平台和My SQL数据库开发的微信公众平台客服机器人设计与实现过程,包括实现原理、需求分析、系统设计、系统实现。通过对微信公众平台进行二次开发,实现当收到用户的提问时,使用Lucene找出与问题最贴切答案的功能。将部分客服工作交给机器人完成,有效地降低人力成本,减轻人工客服的压力。     

基于Lucene的搜索排序算法研究与实现

Lucene是Java实现全文搜索引擎的工具包,短小精悍,功能强大,近来被广泛使用。文章对其核心"索引-检索"进行了研究,搭建该平台并引入了中文分词,可完成对中文的搜索,以及实现"与"和"非"功能。在排序部分,分别用向量空间模型和BM25实现。在系统实现时,主要介绍了3种评测方法,对VSM和BM25模型排序算法进行了评测,并进行对比分析。     

警务应用中基于双向最大匹配法的中文分词算法实现

中文分词是信息提取、信息检索、机器翻译、文本分类、自动文摘、自然语言理解等中文信息处理领域的基础。目前中文分词依然是中文信息处理的瓶颈之一,本文对常见中文分词算法进行研究,并针对警务应用的场景,在经典的Jieba中文分词算法的逆向匹配法基础上提出双向最大匹配法,最后验证改进后的算法在中文分词准确度方面的提升。     

基于文本分类技术的信息过滤方法的研究

针对目前网络上不良信息变换不同方式逃脱过滤以及中文分词器分词后存在的问题，提出了基于文本分类技术的信息过滤方法，通过在原有的文本自动分类系统中添加三个过滤模块，以过滤掉无用信息、单个独立字、敏感信息等不良内容，从而保障分类安全高效。     

中文分词技术的研究现状与困难

中文分词技术是中文信息处理领域的基础研究课题.而分词对于中文信息处理的诸多领域都是一个非常重要的基本组成部分.首先对中文分词的基本概念与应用,以及中文分词的基本方法进行了概述.然后分析了分词中存在的两个最大困难.最后指出了中文分词未来的研究方向.     

中文分词评测系统浅析

汉语属于汉藏语系,和英语等语言不同的是:它不是以一个个单词的形式出现,词与词之间没有空格等明显的分割标记。中文分词是现代中文信息处理的基础,是汉语自然语言理解与处理、机器翻译、智能检索、电子词典等信息处理的前提。中文分词系统的好坏将直接影响以中文分词系统为基础的系统的性能。因此对中文分词系统的评测就是一件十分有意义的事。     

基于条件随机场的中文分词算法改进

在中文分词领域,基于字标注的方法得到广泛应用,通过字标注分词问题可转换为序列标注问题,现在分词效果最好的是基于条件随机场(CRFs)的标注模型。作战命令的分词是进行作战指令自动生成的基础,在将CRFs模型应用到作战命令分词时,时间和空间复杂度非常高。为提高效率,对模型进行分析,根据特征选择算法选取特征子集,有效降低分词的时间与空间开销。利用CRFs置信度对分词结果进行后处理,进一步提高分词精确度。实验结果表明,特征选择算法及分词后处理方法可提高中文分词识别性能。     

浅谈基于WEB下的中文分词算法

基于互联网信息平台下,对如何快速准确的进行中文分词进行研究。主要对基于WEB环境下的中文分词建立模型,快速中文分词,自动中文分词进行全面的阐述。     

问答系统的汉语分词算法研究

当前自动问答系统被广泛的应用,而中文分词的正确率和分词速率将直接影响到问答系统的最终执行效率,这使得中文分词技术的研究逐渐深入。本文通过对分词算法的研究,结合目前常见的几种分词算法,对已有的FMM算法(最大正向匹配算法)做了改进,得到了正向递增匹配算法,并通过实验对该改进算法做出了简单评测。     

面向主题搜索引擎的实现与优化

主题搜索是搜索引擎发展的一个新方向。Lucene是目前优秀的搜索引擎开源软件之一。文章以BBS搜索引擎为载体,研究了面向主题搜索引擎的实现和优化,提出了JE中文分词实现方法,针对BBS文本结构特性,改进和优化了Lucene检索评分算法,构建了一套高性能的主题搜索引擎实验系统。通过对水木清华等BBS信息的采集和测试,证明了该主题搜索引擎的性能和效率得到较大改进和提高。     

基于异构数据联合训练的中文分词法

中文分词技术作为中文信息处理中的关键基础技术之一,基于深度学习模型的中文分词法受到广泛关注。然而,深度学习模型需要大规模数据训练才能获得良好的性能,而当前中文分词语料数据相对缺乏且标准不一。文中提出了一种简单有效的异构数据处理方法,对不同语料数据加上两个人工设定的标识符,使用处理过的数据应用于双向长短期记忆网络结合条件随机场(Bi-LSTM-CRF)的中文分词模型的联合训练。实验结果表明,基于异构数据联合训练的Bi-LSTM-CRF模型比单一数据训练的模型具有更好的分词性能。     

基于R-Shiny的中文文本可视化系统设计研究

基于R语言Shiny框架,搭建中文交互式在线可视化系统,实现对中文文本数据的初步处理与可视化分析。首先,介绍中文文本可视化理论与Shiny框架下交互式应用的搭建;其次,通过对用户需求进行分析,制定系统的设计目标和原则,提出系统功能与Shiny框架下交互式界面,并设计相关模块的实现。最后,进行总结,可知：系统能够进行文本分词、清洗与向量化等文本初步处理;同时,能够绘制基于词频、TF-IDF的条形图,词云图以及基于时序、地理位置的动态图等图形。     

基于双哈希词典机制中文分词的研究

汉语词典机制很大程度上影响中文分词的效率。为了提高现有基于词典的分词机制的查询效率,在双哈希词典机制和整词二分法相结合的基础上提出了一种有效的中文分词词典机制——双哈希编码分词词典机制。首字采用散列表保存,剩余字符逐个拼接计算其编码后放入余词散列表中,并加入状态值来减少匹配次数。实验结果表明该分词机制节省了内存空间和提高了匹配速度,方便词典更新与维护。     

浅析中文分词方法

中文分词是在中文信息处理系统中的关键步骤,文章探讨了常见的几种中文分词方法以及他们的优点和缺点,并指出了在中文分词工作中的困难。     

基于层次分析法的中文分词算法改进

首先简要介绍了中文分词的应用领域,指出中文分词所面临的问题,歧义语句和未登录词的识别率低的现状。然后,在传统的机械分词算法基础上,改进算法,引入了多种优化技术。基于上述理论和改进算法,设计并实现了一个改进的中文分词系统,不仅能够保证快速分词,而且提高了分词的正确率,改善了歧义语句和未登录词的识别率低的问题。