汉语智能接口的自动分词研究

讨论了在旅游信息库汉语接口中的自动分词问题,基于系统的情况提出了模糊切分及形式分词与语法分析辅助分词相结合解决歧义切分、未登录词切分的方法,实验表明,该方法是可行的和令人满意的。     

一种改进的上下文相关的歧义字段切分算法

无论在自然语言处理还是在机器翻译中,中文自动分词都是一个重要的环节。歧义字段切分是中文自动分词研究中的一个“拦路虎”。JAAS在网上阅卷系统中的应用研究。在分析基于规则和基于上下文的歧义字段切分策略基础上,提出了一种改进的上下文相关歧义字段切分算法,并根据汉语中特殊的语法现象,给出了切分算法的辅助策略来对待切分字符串进行预处理,不仅提高了分词的精度,还加快了分词的速度。     

汉语自动分词中的歧义处理

歧义处理是影响分词系统切分精度的重要因素，是自动分词系统设计中的一个核心问题。本文介绍了一种新的分词算法，利用汉语句内相邻字之间的互信息及t-信息差这两个统计量，解决汉语自动分词中的歧义字段的切分问题。试验结果表明，该方法可以有效地提高歧义处理的正确率。     

书面汉语全切分算法中的并发检索模型

文中首先讨论了书面汉语切分研究的问题，然后从一般性研究出发，提出了全切分算法中可能的并发检索。并针对全切分分词算法进行了研究，给出了全切分分词方法算法中的并发检索模型。希望本文对于全切分算法中并发检索模型的讨论，对深入研究书面汉语全切分分词的问题和实现具有实际意义。     

基于汉语二字应成词的歧义字段切分方法

文章提出了利用汉语中的二字应成词,计算汉语句内相邻字之间的互信息1及t-信息差这两个统计信息量的新方法,进而应用这两个统计量,解决汉语自动分词中的歧义字段的自动切分问题。实验结果表明,采用该文所述的方法,对歧义字段的切分正确率将达到90%,与其他分词方法相比较,进一步提高了系统的分词精度,尤其与文献1所述方法比较,对于有大量汉语信息的语料,将降低系统的时间复杂度。     

基于二元关系分词模型解决歧义词切分

歧义词的切分是中文分词要面对的数个难题之一,解决好了这个问题就能够有力提升中文分词的正确率.对此,本文简要介绍了汉语分词的概况,并具体分析了当前中文分词技术存在的障碍和介绍了中文分词中的歧义词切分问题,最后在此基础上提出了一种基于多元关系模型的能够有效解决歧义切分的中文分词系统模型并简要分析了这种模型未来的优化方向.     

一种基于多元信息库的自适应汉语歧义切分方法

在分析目前分词方法的基础上提出了一种通过建立多元信息库、采用改进型的粗分算法以拔出所有可能存在歧义的句子、借助于人工干预建立错误切分歧异词库等，实现汉语歧异切分的方法，通过修改、插入多元信息库中的信息量，进一步设计了一个具有自适应能力的歧义切分方法，并通过实验证明该方法能够有效改进汉语分词中错误歧义切分的结果．     

歧义字段的归类及切分算法

在汉语自动分词系统中，歧义字段的切分直接影响着分词的精度。本文深入地分析了歧义字段产生的根源，据此给出了歧义字段的详细分类和消除每一类歧义字段的有效方法。并在对歧义字段进行统计分析的基础上提出了切分精度的级别划分。     

一种基于语境的中文分词方法研究

汉语不同于英语，词之间没有间隔标记．而汉语分词是文本分析的第一步，且存在歧义切分，因此分词问题成为汉语分析的首要难题，通过中文切分过程的本质分析，推导并提出基于马尔可夫链的语境中文切分理论．进而提出一种语境中文分词方法．该方法建立在词法和句法基础上，从语境角度分析歧义字段，提高分词准确率．     

分词技术在信息处理中的研究综述

在信息处理中,自然语言理解的基础是词语的切分,由于汉语本身的特点,分词技术显得尤为重要.本文首先提出了分词中的歧义现象,然后对分词技术中所用到的方法作分析研究,最后阐述了国内几种分词系统并作比较.     

面向搜索引擎Lucene的中文分析器

针对目前应用于搜索引擎Lucene的中文分析器的分词不符合汉语习惯的现状,根据正向最大匹配切分算法和采用包括基本标准中文词语的词库,实现了自己的分析器。该分析器的分词结果更符合汉语的习惯,并且在分词、建立索引等方面的性能非常接近基于机械分词的分析器,另外在检索速度方面性能提升了2~4倍,在检索召回率方面性能提升了59%。     

一种中文分词词典新机制——双字哈希机制

汉语自动分词是汉语信息处理的前提,词典是汉语自动分词的基础,分词词典机制的优劣直接影响到中文分词的速度和效率。本文首先分析了分词词典机制在中文分词中的重要性及已有的三种典型词典机制,并在此基础上根据汉语中双字词语较多的特点提出了一种新的分词词典机制——双字哈希机制,在不提升已有典型词典机制空间复杂度与维护复杂度的情况下,提高了中文分词的速度和效率。     

汉语自动分词词典机制的实验研究

分词词典是汉语自动分词系统的一个基本组成部分。其查询速度直接影响到分词系统的处理速度。本文设计并通过实验考察了三种典型的分词词典机制:整词二分、TRIE索引树及逐字二分,着重比较了它们的时间、空间效率。实验显示:基于逐字二分的分词词典机制简洁、高效,较好地满足了实用型汉语自动分词系统的需要。     

基于字表的中文搜索引擎分词系统的设计与实现

分析了常用的基于词典的汉语分词方法用于中文搜索引擎开发中的不足,提出基于字表的中文搜索引擎分词系统,并在索引,查询,排除歧义等方面进行了设计和实现。     

现代汉语分词系统通用接口设计与实现

现代汉语文本自动分词是中文信息处理的重要基石,为此提供一个通用的分词接口是非常重要的。本文提出了通用分词接口的目标,论述了它的原理和设计方案。该系统已经初步实现。     

汉语自动分词词典新机制—词值哈希机制

汉语词典查询是中文信息处理系统的重要基础部分, 对系统效率有重要的影响. 国内自80年代中后期就开展了中文分词词典机制的研究, 为了提高现有基于词典的分词机制的查询效率, 对于词长不超过4字的词提出了一种全新的分词词典机制——基于汉字串进制值的拉链式哈希机制即词值哈希机制. 对每个汉字的机内码从新编码, 利用进制原理, 计算出一个词语的词值, 建立一个拉链式词值哈希机制, 从而提高查询匹配速度.     

概率潜在语义检索模型中中文索引技术的比较研究

概率潜在语义检索模型使用统计的方法建立“文档—潜在语义一词”之间概率分布关系并利用这种关系进行检索。本文比较了在概率潜在语义检索模型中不同中文索引技术对检索效果的影响,考察了基于分词、二元和关键词抽取三种不同的索引技术,并和向量空间模型作了对比分析。实验结果表明：在概率潜在语义检索模型中,词的正确切分能提高检索的平均精度。     

一种适用于专业搜索引擎的中文分词系统研究

在对现有中文分词技术研究的基础上,提出了一种应用于化工专业领域的中文分词系统,先后介绍了首字哈希结合二分查找的词典机制,以及结合路径选择机制而改进了的层进式最短路径切词算法,并经过实验分析,在保证切分效率的同时,在一定程度上达到了消除歧义的效果。     

基于反馈规则学习的医学文献主题自动标引系统

该文就中医药文献的自动标引研究,提出并开发了一个基于规则学习的主题自动标引系统。该系统从文献的题名中抽取并识别主题模式,相当有效地解决了医学科技文献的自动标引中涉及主/副题词的组配问题,并避免了基于词频处理的自动标引中存在的中文分词的障碍。开发完成的自动标引系统初期版本在大量中医药文献中进行了实验,取得了很好的结果,具备一定的实用性。     

针对中文检索的Lucene改进策略

为了提高基于Lucene中文检索系统的检索精度和效率,通过分析Lucene的结构,在系统中加入了中文分词模块和索引文档预处理模块。给出了具体的实验方法和实验过程,对改进原理和实验数据进行了分析,表明了加入中文分词模块和在索引预处理模块中采用提取特定数量的特征词来替代文档的方法能够有效提高Lucene检索系统的效率和精度,增强Lucene检索系统中文的性能。