基于Lucene的中文分词器的设计与实现

针对Lucene自带中文分词器分词效果差的缺点,在分析现有分词词典机制的基础上,设计了基于全哈希整词二分算法的分词器,并集成到Lucene中,算法通过对整词进行哈希,减少词条匹配次数,提高分词效率。该分词器词典文件维护方便,可以根据不同应用的要求进行定制,从而提高了检索效率。     

一种混合属性数据的聚类算法

提出一种基于属性分解的随机分组的改进方法,以提高聚类算法的稳定性和适用性。实验仿真结果表明,改进算法具有很好的稳定性和应用性。     

基于概念格的数据挖掘方法在库存管理中的应用*

库存管理是物流系统优化的一个重要内容,利用概念格的数据挖掘方法来实现多目标优化过程中,给出了库存模型向概念格模型转换的方法,提出了一种具体的概念格的渐进式构造算法;对于概念格的数据挖掘方法,具体定义了概念格中的关联规则,并提取了库存模型中的隐藏知识,进而为实现库存模型的多目标优化提供了决策支持。     

自动文摘中的冗余句消除方法

针对自动文摘的信息冗余问题,提出了一种冗余语句消除的方法。利用《同义词词林》来定义词语语义距离计算公式,根据词语的相似度,建立主题词和主题句之间的一一对应关系,借用编码理论中海明距离的理论,得到了文摘中主题句的相似度,设置阈值过滤掉相似度较高的主题句,从而实现了主题句的约简。实验结果证明,该方法提高了文摘的精度。     

序列模糊概念格模型及其渐进式构造

传统的序列模式挖掘主要是挖掘满足最小支持度的频繁序列,没有考虑序列在实际中的重要度。为了能够有效地挖掘重要的序列模式,提出了一种序列模糊概念格模型,对所有序列的项目引入了重要度权值,定义了序列的重要度及可以动态调整最小支持度minsup的自适应系数;扩展了模糊形式背景,使其能够方便地表示序列,定义了概念的Galois闭包连接、序列模糊概念及序列模糊格结构,并给出了序列模糊概念格的渐进式构造算法 ScqFuzCL。实验表明,序列模糊概念格模型可以方便有效地组织自适应序列模式,在时间与空间上都具有良好的性能,并为进一步挖掘自适应序列模式提供了理论支持。     

基于空间网格表面距离的插值曲面

主要讨论基于空间网格表面距离的插值曲面.定义了一种空间网格表面距离,基于空间网格表 面距离,给出了两种定义在空间网格上的插值曲面：基于网格表面距离的径向基函数插值曲 面和基于网格表面距离的Kriging插值曲面,讨论了曲面的无穷阶光滑性,给出了一种计算网 格表面距离的折线跟踪算法.作为整体曲面,此类插值曲面与网格表面形状较为相符,比较适 合于局部插值与参数估计,如梯度、法方向的估计等计算.     

蒙古文整词计算机生成理论研究

采用面向对象方法,模拟传统蒙古文整词各种形式构成机理,提出了几种蒙古语整词计算机生成数据模型。文章主要依据整词计算机生成三种模型,探讨了传统蒙古文整词计算机最优化生成理论所涉及的精确度、时间复杂度、空间复杂度三项基本要素以及最优化生成必须考虑的整词复杂特征载荷与一体化合一计算知识表示方法和计算结构,证明了“B - J - T= W”数据模型是传统蒙古文整词计算与生成最优化对象模型。     

一种中文文档的非受限无词典抽词方法

本文提出了一种非受限无词典抽词模型,该模型通过自增长算法获取中文文档中的汉字结合模式,并引入支持度、置信度等概念来筛选词条。实验表明:在无需词典支持和利用语料库学习的前提下,该算法能够快速、准确地抽取中文文档中的中、高频词条。适于对词条频度敏感,而又对计算速度要求很高的中文信息处理应用,例如实时文档自动分类系统。     

自然语言处理中的逻辑词

词是自然语言处理中最基本的单位,在当今知识表示领域,知识图作为自然语言理解的语义模型有其独到之处。本文从语言学和逻辑学的角度,首次提出并探讨了逻辑词研究逻辑词分类及如何用知识图表示各类逻辑词的结构。对自然语言处理中研究复句和篇章的理解提供了一种新的途径。     

基于统计方法的中文姓名识别

本文介绍一个中文姓名的自动识别系统,该系统使用从姓名样本库和真实文本语料库中得到的大量统计数据,以提高系统识别性能。我们从1994年人民日报中随机抽取100篇文章作为测试样本,实验结果表明,准确率和召回率可同时达到90%以上。