基于向量空模型的文本自动分类系统的研究与实现

随着网络信息的迅猛发展，信息处理已经成为人工获取有用信息不可缺少的工具，文本自动分类系统是信息处理的重要研究方向，它是指在给定的分类体系下，根据文本的内容自动判别文本类别的过程。对文本分类中所涉及的关键技术，包括向量空间模型、特征提取、机器学习方法等进行了研究和探讨，并且提出了基于向量空间模型的文本分类系统的结构，并给出了评估方法和实验结果。  

基于向量空间模型的文本过滤系统

文本过滤是指从大量的文本数据流中寻找满足特定用户需求的文本的过程.首先从任务、测试主题、语料库和评测指标等方面介绍了文本检索领域最权威的国际评测会议--文本检索会议(TREC)及其中的文本过滤项目,然后详细地描述了基于向量空间模型的文本过滤系统.该系统由训练和自适应过滤两个阶段组成.在训练阶段,通过特征抽取和伪反馈建立初始的过滤模板,并设置初始阈值;在过滤阶段,则根据用户的反馈信息自适应地调整模板和阈值.该系统参加了2000年举行的第9次文本检索会议的评测,取得了很好的成绩,在来自多个国家的15个系统中名列前茅,其中自适应过滤和批过滤的平均准确率分别为26.5%和31.7%.  

文档中词语权重计算方法的改进

文本的形式化表示一直是文本检索、自动文摘和搜索引擎等信息检索领域关注的基础性问题。向量空间模型（Ｖｅｃｔｏｒ Ｓｐａｃｅ Ｍｏｄｅｌ）中的ｔｆ．ｉｄｆ文本表示是该领域里得到广泛应用并且取得较好效果的一种文本表示方法。词语在文本集合中的分布比例量上的差异是决定词语表达文本内容的重要因素之一，但现在ｔｆ．ｉｄｆ方法无法把握这一因素。针对这个问题，本文引入信息论中信息增益的概念，提出一种对ｔｆ．ｉｄｆ的改进方法ｔｆ．ｉｄｆ．ＩＧ文本表示方法。该方法将词语的信息增益作为一个文本表示的一个因子，来衡量词语在文本集合中分布比例在量上的差异。在文本分类实验中，ｔｆ．ｉｄｆ．ＩＧ文本表示的向量空间模型的分类效果要好于ｔｆ．ｉｄｆ方法，验证了改进方法ｔｆ．ｉｄｆ．ＩＧ的有效性和可行性。  

概念推理网及其在文本分类中的应用

在分析了当前文本分类中学常用方法的基础上，提出了一种新的分类模型，该模型是对人的分类过程的一种模拟，在已的有英语语义词典及大量训练集的基础上，应用机器学习、数据挖掘等技术进行知识获取并最终形成若干个概念推理网，对待分类的文档可以激活相应的网络，网时传播推理以决定其类别的归属，试验表明：该方法具有较高的分类正确率与召回率。  

一种基于向量空间模型的多层次文本分类方法

本文研究和改进了经典的向量空间模型（VSM）的词语权重计算方法，并在此基础上提出了一种基于向量空间模型的多层次文本分类方法。也就是把各类按照一定的层次关系组织成树状结构，并将一个类中的所有训练档合并为一个类文档，在提取各类模型时只在同层同一结点下的类文档之间进行比较；而对文档进行自动分类时，首先从根结点开始找到对应的大类，然后递归往下直到打到对应的叶子类。实验和实际系统表明，该方法具有较高的正确率和召回率。  

一个基于向量空间模型的中文文本自动分类系统

介绍了一个基于向量空间模型的中文文本自动分类系统，重点阐述了特征提取、空间降维、层次分类和分类器训练等技术的实现方法。实践表明：该系统对文本分类具有较高的平均查全率和平均精度。  

使用KNN算法的文本分类

介绍了数据挖掘的一个分枝——文本自动分类的相关技术，在对数据进行预处理的基础上，实现了K最近邻居分类算法，并结合实验结果对数据预处理在文本分类中的重要性进行了讨论。  

XML数据的查询技术

XML规范已成为当前网络应用(包括数字图书馆、Web服务以及电子商务)中事实上的数据表达、交换的标准.针对XML数据的查询在当前XML数据管理研究中占有重要的地位,也是当前XML数据处理研究领域的热点方向,相关的研究文献有很多.根据查询模式描述的不同,将当前XML查询技术归入两大类:XML Query方式和XML IR方式.后者又进而可分以为3个子类:XML IR/keyword方式、XML IR/fragment和XML IR/query方式,并从中挑选出3个研究者关注的问题进行了简述,它们是:Twig查询模式的处理、SLCA(smallest lowest common ancestor)节点的获取以及对所获取的XML片段相似性的度量.以方便普通用户使用为准则探讨了相关XML查询技术的优、缺点,将如下4个问题作为需要进一步关注的研究内容:结构化关键字查询及相应的结构相似性度量方法,如何消除XML Query查询处理模式(包含XML IR/query)和XML IR/keyword查询处理模式间数据冗余的问题,XML Query查询方式的理论探讨及其实现以及针对特定应用的XML数据的有效管理.  

基于向量空间模型的有导词义消歧

词义消歧一直是自然语言理解中的一个关键问题，该问题解决的好坏直接关系到自然语言处理中诸多应用问题的效果优劣。由于自然语言知识表示的困难，在手工规则的词义消歧难以达到理想效果的情况下，各种有导机器学习方法被应用于词义消歧任务中，借鉴前人的成果引入信息检索领域中空间模型文档词语权重计算技术来解决多义词义项的知识表示问题，并提出了上下文位置权重的计算方法，给出了一种基于向量空间模型的词义消岐有导机器学习方法。该方法将多义词的义项和上下文分别映射到向量空间中，通过计算多义词上下文向量与义项向量的距离，采用k-NN(k=1)方法来确定上下文向量的义项分类。在9个汉语高频多义词的开放和封闭测试中均取得了突出的成绩（封闭测试平均正确率为96．31％，开放测试平均正确率为92．98％），验证了该方法的有效性。  

有效地检索HTML文档

ＷＷＷ上的资源大多以ＨＴＭＬ格式的文档存储，同普通文档不同，ＴＨＭＬ文档的标签特性使得它具有一定的结构我们采取了一种检索，它扩展了传统的传统检索，利用ＨＴＭＬ文档结构提高了在ＷＷＷ环境下的检索和率。本文介绍了ＨＴＭＬ的结构以及传统的向量空间信息检索提出了运用聚族方法为标符合分组；最后详细讨论了如何利用文棣结构扩展加权架，使得检索词能更贴切地描述文档，以提高检索的准确性。