基于向量空间模型的文本过滤系统

文本过滤是指从大量的文本数据流中寻找满足特定用户需求的文本的过程.首先从任务、测试主题、语料库和评测指标等方面介绍了文本检索领域最权威的国际评测会议--文本检索会议(TREC)及其中的文本过滤项目,然后详细地描述了基于向量空间模型的文本过滤系统.该系统由训练和自适应过滤两个阶段组成.在训练阶段,通过特征抽取和伪反馈建立初始的过滤模板,并设置初始阈值;在过滤阶段,则根据用户的反馈信息自适应地调整模板和阈值.该系统参加了2000年举行的第9次文本检索会议的评测,取得了很好的成绩,在来自多个国家的15个系统中名列前茅,其中自适应过滤和批过滤的平均准确率分别为26.5%和31.7%.     

基于向量空间模型的Web中文信息过滤系统

提出了一种基于VSM的自适应的Web信息过滤系统的设计及实现方法.与传统的信息过滤系统相比,Web上的信息过滤系统具有许多全新的特征.页面为半结构化的文档、页面上的噪声信息比较多,用户提交的正例比较少.这些特性成为影响过滤性能的主要因素.针对Web的上述特性设计的Fudanfilter2002过滤系统,具有使用方便、过滤时间短、精度高等特点.     

一种基于向量空间模型的邮件自动过滤算法研究

对于垃圾邮件的判别和处理的研究,正逐渐成为热点。本文根据垃圾邮件过滤特点,通过对基于概率统计的贝叶斯理论的文本分类方法分析和探讨,引入基于向量空间模型中多变量贝努里事件模型的一种邮件自动过滤算法,并给出该算法的实现过程,完成垃圾邮件的分类与判别,最后给出邮件分类与过滤的实现流图。     

基于向量空间模型的实时内容过滤

内容过滤是网络安全领域的一个新课题,目前对内容过滤技术的研究集中于对关键词的检查和分析,过滤精度较低。该文建立了一个基于向量空间模型的内容过滤模型,它提高了过滤精度,并且能在过滤精度与实时性之间较好地达成平衡。     

基于向量空间模型的过滤不良文本方法

就向量空间模型文本表示方法以及归一化技术对不良文本过滤性能的影响进行了研究,并基于平衡样本集和不平衡样本集分别进行了试验。试验和结果分析表明,Naive Bayes方法由于采用概率模型进行文本表示,在不平衡样本集上显示了较差的准确度,而基于向量空间模型进行文本表示的方法,如中心向最法（VSM）、支持向量机（SVM）等在平衡或非平衡样本上取得了较好的准确度,并用于过滤不良文本的文本内容安全监管中。     

基于向量空间模型的个性化信息过滤系统研究与开发磁

论文提出了一种基于向量空间模型的用户个性化需求建模方法。对关键词权重算法作出改进,将网页分为四类逻辑段,通过计算关键词在各类逻辑段中的权重而加权得到综合权重。采用基于内容的构建原则和反馈原则,将用户模型构建分为训练阶段和自适应学习阶段。在训练阶段由用户给出的样本文档与关键词采用类重心分类算法训练得到初始用户模型;在自适应学习阶段,提出了基于 Rocchio 算法的周期性自适应学习机制,根据用户对过滤结果的评价,调整用户模型,以提高对用户个性化需求的动态追踪能力。开发了个性化信息过滤原型系统。以中国服装网为实验数据源,对比百度搜索引擎,测试系统的信息过滤性能。实验结果表明,系统索引更新及时,响应速度快,返回的信息更精确,更合理,更加符合用户的实际需求。     

基于向量空间模型的试题分类系统

根据试题具有一般文本的特点,提出把计算机分类技术应用于试题分类.借鉴文本分类的关键技术,成功创建了一个基于向量空间模型的试题分类系统.把全国专业技术人员计算机应用能力考试的"PowerPoint 2003中文演示文稿"模块题库作为试题语料,进行试题分类实验,结果表明了该试题分类系统的可靠性.同时探讨了如何利用试题分类系统对题库进行质量控制.     

一个基于向量空间模型的中文文本自动分类系统

介绍了一个基于向量空间模型的中文文本自动分类系统,重点阐述了特征提取、空间降维、层次分类和分类器训练等技术的实现方法。实践表明：该系统对文本分类具有较高的平均查全率和平均精度。     

基于向量空间模型和hyB+树的中文信息过滤

中文信息过滤的研究与设计是当务之急。根据国内外现有的检索和过滤技术的研究,该文利用空间向量模型的基本特点,并且结合B4树的变形hyB 树的方法对中文信息进行过滤。     

基于商空间的向量空间模型文本分类方法

为了降低基于向量空间模型(VSM)的文本分类方法的向量维数,并减少噪声对分类的影响,现利用商空间的粒度理论对基于VSM的分类模型进行改进,提出了一种基于商空间的新的VSM分类方法,该方法降低了基于VSM文本分类的向量维数,提高了不同文本之间的辨别能力.     

一种基于词义和词频的向量空间模型改进方法

向量空间模型(VSM)是一种使用特征向量对文本进行建模的方法,广泛应用于文本分类、模式识别等领域。但文本内容较多时,传统的VSM建模可能产生维数爆炸现象,效率低下且难以保证分类效果。针对VSM高维现象,提出一种利用词义和词频降低文本建模维度的方法,以提高效率和准确度。提出一种多义词判别优化的同义词聚类方法,结合上下文判别多义词的词义后,根据特征项词义相似度进行加权,合并词义相近的特征项。新方法使特征向量维度大大降低,多义词判别提高了文章特征提取的准确性。与其他文本特征提取和文本分类方法进行比较,结果表明,该算法在效率和准确度上有明显提高。     

基于语义空间的支持向量机的文本过滤

传统的基于支持向量机的文本过滤,用向量空间模型来表示文本和用户模板,向量空间模型假设特征项之间是线性无关的,该假设引入了许多因具体用词变化不定而带来的词汇噪音信息,影响了基于支持向量机的文本过滤的过滤性能。提出基于语义空间的支持向量机的文本过滤,用语义来表示文本和用户模板。该方法主要通过奇异值分解提取文本的潜在语义空间,在语义空间上训练支持向量机得到用户模板和过滤阈值,文本流上的文本映射到语义空间上,在语义空间上计算用户模板和新文本的相似度。实验表明:该方法的过滤性能可以达到 98. 67%。     

Group-theoretical vector space model

This paper presents a group-theoretical vector space model (VSM) that extends the VSM with a group action on a vector space of the VSM. We use group and its representation theory to represent a dynamic transformation of information objects, in which each information object is represented by a vector in a vector space of the VSM. Several groups and their matrix representations are employed for representing different kinds of dynamic transformations of information objects used in the VSM. We provide concrete examples of how a dynamic transformation of information objects is performed and discuss algebraic properties involving certain dynamic transformations of information objects used in the VSM.     

基于向量空间模型的中文文本层次分类方法研究

在文本分类的类别数量庞大的情况下,层次分类是一种有效的分类途径。针对层次分类的结构特点,考虑到不同的层次对特征选择和分类方法有不同的要求,提出了新的基于向量空间模型的二重特征选择方法FDS以及层次分类算法HTC。二重特征选择方法对每一层均进行一次特征选择,并逐层改变特征数量和权重计算方法;HTC算法把分别对粗分和细分更有效的类中心向量法与SVM方法相结合。实验表明,该方法相对于平面分类和一般的层次分类方法,有较高的准确率。     

基于模糊评判的网络信息过滤系统的研究

为了提高网络信息过滤的准确率,引入了模糊评判,通过将模糊评判与向量夹角余弦相结合的方法,改进了求目标信息空间与待过滤信息空间之间相似度的Sim函数,并将该方法应用到所设计的网络信息过滤系统中,验证了改进的有效性。     

基于主动学习支持向量机的文本分类

提出基于主动学习支持向量机的文本分类方法,首先采用向量空间模型（VSM）对文本特征进行提取,使用互信息对文本特征进行降维,然后提出主动学习算法对支持向量机进行训练,使用训练后的分类器对新的文本进行分类,实验结果表明该方法具有良好的分类性能。     

一种基于反向文本频率互信息的文本挖掘算法研究

针对传统的文本分类算法存在着各特征词对分类结果的影响相同,分类准确率较低,同时造成了算法时间复杂度的增加,在分析了文本分类系统的一般模型,以及在应用了互信息量的特征提取方法提取特征项的基础上,提出一种基于反向文本频率互信息熵文本分类算法。该算法首先采用基于向量空间模型(vector spacemodel,VSM)对文本样本向量进行特征提取;然后对文本信息提取关键词集,筛选文本中的关键词,采用互信息来表示并计算词汇与文档分类相关度;最后计算关键词在文档中的权重。实验结果表明了提出的改进算法与传统的分类算法相比,具有较高的运算速度和较强的非线性映射能力,在收敛速度和准确程度上也有更好的分类效果。     

基于VSM的个性化信息过滤算法的研究

针对当前搜索引擎“所有用户,同一结果”模式的不足,分析了用户兴趣模型与文档的权值特征,在研究基于向量夹角余弦相关度排序算法的基础上,引入重要度因子,结合文档结构、查询请求及用户兴趣模型等信息,提出了一种基于VSM的个性化信息过滤算法,以实现个性化检索的目的,提高检索系统的查准率。     

基于领域本体的文本过滤模型

目前广为应用的文本过滤技术是利用关键字检索,没有考虑概念之间的关联,因此其过滤性能在达到一定程度后,很难有突破.介绍了一种基于领域本体的文本过滤模型DOTFM,探讨了领域本体在文本过滤中的应用.DOTFM在文本向量的表示和用户模板建立中引入概念关联度,并提出局部型和全局型的文本向量和用户模板.实验结果表明,DOTFM的召回率比之传统的基于关键字的过滤模型有较大提高,而其准确率在合适的阀值时,也有较大提高.