基于N-Level VSM在Web信息检索中的研究

分析了传统向量空间检索模型在Web信息检索中的不足,给出了基于N-Level向量空间模型,这种模型是将一篇文档从逻辑上划分为N个相对独立的文本段,然后按照文本段的内容建立文本特征向量以及文本权值向量,在此基础上可以更加精确地定义特征值向量和相似度的计算方法,使之能比较好地适应文档集合的动态扩充。同时进行了两种模型算法时间的复杂度的比较分析。理论分析和实验结果表明,基于此模型实现的信息检索算法具有较快的查找速度和较高的查准率。     

N层向量空间模型在Web信息检索中的应用

在传统向量空间模型的基础上,提出一种新的信息检索算法模型——N层向量模型。此模型应用在Web信息检索上,能较好地适应文档集合的动态扩充。     

一种利用向量空间模型快速检索文本情报的方法

向量空间模型(VSM)是一种效果较好的信息检索模型。本文提出了利用向量空间模型实现对文本情报快速检索的方法。在阐述建立分类情报的索引词向量的基础上，讨论了利用索引词向量映射文本情报和存储文档向量矩阵的方法，并通过实例介绍了如何通过计算检索向量和文档向量矩阵的相关度来确定返回的检索内容。     

基于向量空间模型的并行信息检索算法

基于向量空间模型的信息检索技术是较为成熟且应用广泛的信息检索技术，该技术将文档和查询信息均用向量空间表示，查询匹配问题转化为向量空间的矢量匹配问题，文档与查询的相似度可用向量之间的夹角来度量．信息检索速度是衡量信息检索技术好坏的重要指标，基于向量空间模型的信息检索之串行算法的计算复杂度为θ（n^3），本文提出了一种在Hypercube SIMD模型上的并行算法，其时间计算复杂度为θ（nlogn），该算法与传统的串行算法相比，能显著地提高查询速度．     

基于多层向量空间模型的Web信息检索方法

针对Web信息检索的特点，在分析传统向量空间模型存在问题的基础上，提出了一种多层向量空间模型。该模型将一篇文档的相关信息从逻辑上划分为多个相对独立的文本段。按照不同位置的文本段确定相应的索引项权重，并给出了该模型的相似度计算方法。实验表明，将该模型应用于Web信息检索中，具有对输出结果的排序能力强、查询速度快等优点。     

基于图模型的中文文档分类研究

信息处理领域中，现有的各种文本分类算法大都基于向量空间模型，而向量空间模型却不能够有效地表达文档的结构信息，从而使得它还不能充分地表达文档的语义信息．为了更有效地表达文档的语义信息，本文首先提出了一种新的文档表示模型一图模型，即通过带权标号图表达文档的特征词条及其位置关联信息，在此基础上本文继而提出了一种新的文档相似性度量标准，并用于中文文本的分类．实验结果表明，基于图模型的这种文档表示方式是有效的和可行的．     

基于本体的Web文本挖掘与信息检索

针对传统Web文本挖掘技术缺少语义理解能力的不足,提出并实现一种基于本体的Web文本挖掘模型,即利用基于本体概念体系的向量空间模型替代传统的向量空间模型来表示文档,在此基础上进行Web文本挖掘,并给出一种集成语义信息检索的设计。实验结果初步验证了本体模型在Web文本挖掘技术上应用的可行性。     

基于XML和N层VSM的Web信息检索

基于XML文档格式良好、层次清晰,可以方便地操纵、分析其结构的特点。文中在将Web上的HTML文档转化为XML文档的基础上,通过Java中的DOM树,分析文档的层次结构。把文档分为层次化的文本段,对传统的VSM算法进行改进,把每个文本段转换为空间向量,实现了N层VSM算法,通过试验证明,改进后算法的查全率和查准率都要优于传统的VSM算法。     

基于改进向量空间模型的Web信息检索技术研究

提出了一种改进的向量空间模型。该模型将一篇文档的相关信息从逻辑上划分为多个相对独立的文本段，按照不同位置的文本段确定相应的索引项权重，并给出了该模型的相似度计算方法。实验表明，将该模型应用于Web信息检索中，具有对输出结果的排序能力强、查询速度快等优点。     

微博中基于增强型倒排索引的特定文档影响力估计算法

微博搜索系统中，将微博帖子根据搜索相关性和重要性进行排序，并通过列表的方式返回结果，是目前信息内容的主要展示手段。基于向量空间模型的打分函数被广泛地应用于该类系统中。事实上，微博系统中的帖子重要性打分函数实际取值并不为用户所见，文档的影响力通过排名的方式表现出来。对于一个检索外的文档，如何衡量其在信息检索系统文库中的影响力？一般搜索引擎或信息检索系统并不能很好地回答该问题。在微博短文本的基础上引入了社交影响力这一概念，并通过在文本倒排索引基础上设置反向位置标记，给出了一种全新的影响力度量指标，有效地回答了前述问题。理论分析和数据实验验证了算法的有效性和效率。     

基于句向量和卷积神经网络的文本聚类研究

针对文本聚类时文本特征维度高,忽略文档词排列顺序和语义等问题,提出了一种基于句向量（Doc2vec）和卷积神经网络（convolutional neural networks,CNN）的文本特征提取方法用于文本聚类。首先利用Doc2vec模型把训练数据集中的文本转换成句向量,充分考虑文档词排列顺序和语义;然后利用CNN提取文本的深层语义特征,解决特征维度高的问题,得到能够用于聚类的文本特征向量;最后使用[k]-means算法进行聚类。实验结果表明,在爬取的搜狗新闻数据上,该文本聚类模型的准确率达到了0.776,F值指标达到了0.780,相比其他文本聚类模型均有所提高。     

Text document clustering using global term context vectors

Despite the advantages of the traditional vector space model (VSM) representation, there are known deficiencies concerning the term independence assumption. The high dimensionality and sparsity of the text feature space and phenomena such as polysemy and synonymy can only be handled if a way is provided to measure term similarity. Many approaches have been proposed that map document vectors onto a new feature space where learning algorithms can achieve better solutions. This paper presents the global term context vector-VSM (GTCV-VSM) method for text document representation. It is an extension to VSM that: (i) it captures local contextual information for each term occurrence in the term sequences of documents; (ii) the local contexts for the occurrences of a term are combined to define the global context of that term; (iii) using the global context of all terms a proper semantic matrix is constructed; (iv) this matrix is further used to linearly map traditional VSM (Bag of Words—BOW) document vectors onto a ‘semantically smoothed’ feature space where problems such as text document clustering can be solved more efficiently. We present an experimental study demonstrating the improvement of clustering results when the proposed GTCV-VSM representation is used compared with traditional VSM-based approaches.     

一种基于反向文本频率互信息的文本挖掘算法研究

针对传统的文本分类算法存在着各特征词对分类结果的影响相同,分类准确率较低,同时造成了算法时间复杂度的增加,在分析了文本分类系统的一般模型,以及在应用了互信息量的特征提取方法提取特征项的基础上,提出一种基于反向文本频率互信息熵文本分类算法。该算法首先采用基于向量空间模型(vector spacemodel,VSM)对文本样本向量进行特征提取;然后对文本信息提取关键词集,筛选文本中的关键词,采用互信息来表示并计算词汇与文档分类相关度;最后计算关键词在文档中的权重。实验结果表明了提出的改进算法与传统的分类算法相比,具有较高的运算速度和较强的非线性映射能力,在收敛速度和准确程度上也有更好的分类效果。     

一种基于向量空间模型的文本分类方法

介绍的文本分类是指在给定分类体系下，根据文本的内容自动确定文本类别的过程。通过分析网页的特点及因特网用户感兴趣的查询信息，提出了一种基于机器学习的、独立于语种的文本分类模型。这一模型的关键算法主要利用字间的相关信息、词频、页面的标记信息以及对用户的查询信息的浅层语义分析，提取网页特征，并计算可调的词频加权参数和增加特征词的可分性信息，然后通过本类和非本类训练，建立预定义类的特征向量空间，进一步对文本进行分类。这种分类方法在相似文本分类中具有明显的优势。     

基于聚类分析的图模型文档分类

针对传统向量空间模型中的特征项孤立处理问题,首先通过χ2统计和特征聚类相结合的模式实现特征降维,然后使用图模型来建立词和词之间相互关联信息,最后运用KNN方法进行文档分类测试。该算法提高了稀有词对分类的贡献,强化了关联词的分类效果,并降低了文档向量的维数。实验证明,该算法提高了分类的准确率和召回率。     

一种模仿人类的自动文本分类算法

1.引言 Internet上有着大量的且快速增长的文本,文本是信息和知识的宝贵资源。随着Internet的快速发展,不久的将来,人们所需要的大部分信息都可以在网上找到。Internet正在成为人类的信息宝库,但是随着网上信息的爆炸性增长,人们想从这个信息宝库中获得自己所需要的信息已经变得日益困难,因此,如何快速有效地获得有用的信息已成为人们十分关     

一种基于混合神经网络的Web文档聚类算法

针对Web文档的特点，提出了一种多层向量空间模型，用来确定Web文档特征词的权重，然后给出了一种基于混合神经网络的文档聚类算法。实验结果表明，所提出的Web文档聚类算法具有较好的聚类特性，它能将与一个主题相关的Web文档较完全和准确地聚成一类。     

基于孪生网络和字词向量结合的文本相似度匹配

文本相似度匹配是许多自然语言处理任务的基础, 本文提出一种基于孪生网络和字词向量结合的文本相似度匹配方法, 采用孪生网络的思想对文本整体建模, 实现两个文本的相似性判断. 首先, 在提取文本特征向量时, 使用BERT和WoBERT模型分别提取字和词级别的句向量, 将二者结合使句向量具有更丰富的文本语义信息; 其次, 针对特征信息融合过程中出现的维度过大问题, 加入PCA算法对高维向量进行降维, 去除冗余信息和噪声干扰; 最后, 通过Softmax分类器得到相似度匹配结果. 通过在LCQMC数据集上的实验表明, 本文模型的准确率和F1值分别达到了89.92%和88.52%, 可以更好地提取文本语义信息, 更适合文本相似度匹配任务.     

基于协同演化的文本特征获取算法

作为证券监管机构，如何从海量的网络信息中有效地对文本信息进行准确的分类，对于提高日常监管工作效率是非常重要的。该文主要基于数据挖掘技术，以矢量空间模型VSM为文本的表示方法，提出了一个基于协同演化遗传算法的多文本特征抽取算法，有效地降低了文本特征矢量的维数，为文本分类模板获取等多文本特征获取问题提供了一个可行的解决方案。