ＰＣＣＳ部分聚类分类：一种快速的Ｗeb文档聚类方法

ＰＣＣＳ是为了帮助Ｗeb用户从搜索引擎所返回的大量文档片中筛选出自已所需要的文档,而使用的一种对Ｗeb文档进行快速聚类的部分聚类分法,首先对一部分文档进行聚类,然后根据聚类结果形成类模型对其余的文档进行分类,采用交互式的一次改进一个聚类摘选的聚类方法快速地创建一个聚类摘选集,将其余的文档使用Ｎaive-Bayes分类器进行划分,为了提高聚类与分类的效率,提出了一种混合特征选取方法以减少文档表示的维数,重新计算文档中各特征的熵,从中选取具有最大熵值的前若干个特征,或者基于持久分类模型中的特征集来进行特征选取,实验证明,部分聚类方法能够快速,准确地根据文档主题内容组织Ｗeb文档,使用户在更高的术题层次上来查看搜索引擎返回的结果,从以主题相似的文档所形成的集簇中选取相关文档。     

基于后缀树的Web检索结果聚类标签生成方法

对检索结果进行聚类能够方便用户从搜索结果中快速地找到自己需要的信息,当前已有各种聚类方法和系统被广泛使用,但是,现有大部分方法由于聚类标签的可读性和描述性较差,难以达到预期效果。该文提出了一种新的思路,注重于如何在聚类之前就产生好的标签,在生成了标签的基础上,再进行检索结果聚类。对于搜索引擎返回的结果,我们先统一建立一棵后缀树,然后计算后缀树中各个短语的得分,选取得分最高的若干短语作为候选标签。得到标签后,将搜索引擎返回的各个结果项分配到它所包含的标签对应的分类中,形成最后的聚类。实验表明,我们的方法是比较有效的。     

基于查询意图识别与主题建模的文档检索算法

传统的搜索引擎仅返回给用户包含查询关键字的文档,忽略了查询背后用户真正的信息需求。为此,将文档检索看作个性化推荐问题,提出一种查询意图识别的主题模型个性化检索算法。对用户检索历史进行潜在狄利克雷分布主题建模,结合检索历史主题模型识别用户查询的潜在意图,并按主题相关度进行文档推荐,计算查询到文档集的KL距离对文档集排序,最终返回给用户个性化检索文档列表。实验结果表明,与基于协同相似计算和基于用户聚类的推荐算法相比,该算法能够更准确有效地为用户提供个性化检索。     

一种基于语义特征的Web文档检索方法

Web文档聚类在Web信息检索中起着重要的作用。文中提出了一种新的Web文档聚类和检索算法。该算法采用有序聚类的方法,根据Web文档的物理结构概括其语义段落和提取相应的语义特征,并以此作为文档检索的基础;在此基础上,根据用户的检索要求直接在文档的语义段落层次计算其相似性,大大提高了检索的精度和效率。实验结果表明,文中提出的算法具有一定的实用性。     

基于Cover级别的中文信息检索技术的研究

信息检索系统如果能较精确地定位于文章中用户关心的部分必将提高用户的检索效率。基于Cover级别的检索策略就是针对上述问题提出的。基于Cover级别的检索策略以用户查询的关键词集合作为输入,在被检索文档中找到包含关键词集合的最短文本片断集作为输出。文章采用了一种经过改进的基于Cover级别的检索策略,对系统返回的文本片断作了限制,并在检索过程中使用了贪心算法(Greedy Algorithm)的思想,最后将其应用到中文信息检索系统中。实验证明,采用改进的策略比原有的基于Cover级别的检索策略在返回有效结果个数和平均排序倒数(MRR)等指标上都有了提高。     

基于自动规约规则的HTML文档元数据提取

利用HTML文档的元数据,可以为Web检索提供多样化的检索手段.本文提出了一种从HTML文档自动提取文档元数据的方法,对其中提取规则的设计、规约算法及其复杂度分析做出了重点介绍.该方法的提取规则在语法形式上和文档片断接近,更适合自动生成,通过自动规约生成规则无需人工分析,适应Web文档特点.文章最后给出了实验结果并进行了分析.     

基于超链接信息的搜索引擎检索结果聚类方法研究

针对目前搜索引擎返回候选信息过多从而使用户不能准确查找与主题有关结果的问题,提出了基于超链接信息的搜索引擎检索结果聚类方法,通过对网页的超链接锚文档和网页文档内容挖掘,最终将网页聚成不同的子类别。这种方法在依据网页内容进行聚类的同时,充分利用了Web结构和超链接信息,比传统的结构挖掘方法更能体现网站文档的内容特点,从而提高了聚类的准确性。     

一种基于群体智能的Web文档聚类算法

将群体智能聚类模型运用于文档聚类，提出了一种基于群体智能的Web文档聚类算法，首先运用向量空间模型表示Web文档信息，采用常规方法如消除无用词和特征词条约简法则得到文本特征集，然后将文档的向量随机分布到一个平面上，运用基于群体智能的聚类方法进行文档聚类，最后从平面上采用递归算法收集聚类结果，为了改善算法的实用性，将原算法与k均值算法结合提出一种混合聚类算法，通过实验比较，结果表明基于群体智能的Web文档聚类算法具有较好的聚类特性，它能将与一个主题相关的Web文档较完全而准确地聚成一类。     

一种关系数据库对象级别检索结果的聚类方法

针对关系数据库元组级别关键词检索中存在查询语句多义性及展现结果冗余性等问题,提出一种关系数据库对象级别检索结果的聚类方法。以对象的观点,综合考虑检索结果的相关性和多样性,从结构和内容两个层面对其聚类。基于覆盖树对检索结果进行同构判断,实现第一级聚类;利用核函数计算同构类别中检索结果间所包含内容的相似性,实现第二级聚类;同时对聚类后的结果集进行动态更新。该聚类方法有效降低了展现结果的冗余性,增加了用户可选择的结果类别,提高了检索系统的性能。     

基于搜索结果的Web预取模型研究

目前搜索引擎返回的信息太多且难以根据用户的兴趣提供检索结果,而个性化推荐是一种旨在减轻用户在信息检索方面负担的有效方法.文中把内容过滤技术和文档聚类技术相结合,以改进的STC聚类方法组织搜索结果,主动推荐用户感兴趣的文档并将其中的Top-N对象预取到本地. WWW缓存中的Web文档代表了用户当前的兴趣,通过建立用户概率兴趣模型,在搜索结果STC聚类的基础上进行内容过滤.实验表明,基于搜索结果的Web预取模型具有较好的时间性能和较高的查准率.     

Short text clustering by finding core terms

A new clustering strategy, TermCut, is presented to cluster short text snippets by finding core terms in the corpus. We model the collection of short text snippets as a graph in which each vertex represents a piece of short text snippet and each weighted edge between two vertices measures the relationship between the two vertices. TermCut is then applied to recursively select a core term and bisect the graph such that the short text snippets in one part of the graph contain the term, whereas those snippets in the other part do not. We apply the proposed method on different types of short text snippets, including questions and search results. Experimental results show that the proposed method outperforms state-of-the-art clustering algorithms for clustering short text snippets.     

搜索引擎中的聚类浏览技术

搜索引擎大多以文档列表的形式将搜索结果显示给用户,随着Web文档数量的剧增,使得用户查找相关信息变得越来越困难,一种解决方法是对搜索结果进行聚类提高其可浏览性。搜索引擎的聚类浏览技术能使用户在更高的主题层次上查看搜索结果,方便地找到感兴趣的信息。本文介绍了搜索引擎的聚类浏览技术对聚类算法的基本要求及其分类方法,研究分析了主要聚类算法及其改进方法的特点,讨论了对聚类质量的评价,最后指出了聚类浏览技术的发展趋势。     

基于Word2Vec模型特征扩展的Web搜索结果聚类性能的改进

对于用户泛化和模糊的查询，将Web搜索引擎返回的列表内容聚类处理，便于用户有效查找感兴趣的内容。由于返回的列表由称为片段（snippet）的短文本组成，而传统的单词频率-逆文档频率（TF-IDF）特征选择模型不能适用于稀疏的短文本，使得聚类性能下降。一个有效的方法就是通过一个外部的知识库对短文本进行扩展。受到基于神经网络词表示方法的启发，提出了通过词嵌入技术的Word2Vec模型对短文本扩展，即采用Word2Vec模型的TopN个最相似的单词用于对片段（snippet）的扩展，扩展文档使得TF-IDF模型特征选择得到聚类性能的提高。同时考虑到通用性单词造成的噪声引入，对扩展文档的TF-IDF矩阵进行了词频权重修正。实验在两个公开数据集ODP239和SearchSnippets上完成，将所提方法和纯snippet无扩展的方法、基于Wordnet的特征扩展方法和基于Wikipedia的特征扩展方法进行了对比。实验结果表明，所提方法在聚类性能方面优于对比方法。     

基于搜索结果的预取技术研究

搜索引擎往往返回给用户一个包含大量文档片段的列表，用户从中筛选出自己所需要的文档。文中提出一种预取代理的方法：对搜索引擎返回的结果进行聚类分析，使得用户以主题的方式来查看结果，满足用户搜索请求的个性化服务；同时对聚类进行评价，推测出用户可能感兴趣的文档，并将它们预取过来，从而减少网络延迟。     

A GRAPH‐BASED APPROACH FOR SEMISUPERVISED CLUSTERING

This paper proposes a graph‐based approach for semisupervised clustering based on pairwise relations among instances. In our approach, the entire data set is represented as an edge‐weighted graph by mapping each data element (instance) as a vertex and connecting the instances by edges with their similarities. In order to reflect pairwise constraints on the clustering process, the graph is modified by contraction as it is known from general graph theory and the graph Laplacian in spectral graph theory. The graph representation enables us to deal with pairwise constraints as well as pairwise similarities over the same unified representation. By exploiting the constraints as well as similarities among instances, the entire data set is projected onto a subspace via the modified graph, and data clustering is conducted over the projected representation. The proposed approach is evaluated over several real‐world data sets. The results are encouraging and show that it is worthwhile to pursue the proposed approach.     

基于并列结构的部分整体关系获取方法

部分整体关系是一种基础而重要的语义关系,从文本中自动获取部分整体关系是知识工程的一项基础性研究课题。该文提出了一种基于图的从Web中获取部分整体关系的方法,首先利用部分整体关系模式从Google下载语料,然后用并列结构模式从中匹配出部分概念对,据此形成图,用层次聚类算法对该图进行自动聚类,使正确的部分概念聚集在一起。在层次聚类基础上,我们挖掘并列结构的特性、图的特点和汉语的语言特点,采用惩罚逗号边、去除低频边、奖励环路、加重相同后缀和前缀等5种方法调整图中边的权重,在不损失层次聚类的高准确率条件下,大幅提高了召回率。     

A short text modeling method combining semantic and statistical information

A novel modeling method for a collection of short text snippets is presented in this paper to measure the similarity between pairs of snippets. The method takes account of both the semantic and statistical information within the short text snippets, and consists of three steps. Given a set of raw short text snippets, it first establishes the initial similarity between words by using a lexical database. The method then iteratively calculates both word similarity and short text similarity. Finally, a proximity matrix is constructed based on word similarity and used to convert the raw text snippets into vectors. Word similarity and text clustering experiments show that the proposed short text modeling method improves the performance of existing text-related information retrieval (IR) techniques.     

序贯数论优化法和侧影图用于聚类分析

将序贯数论优化法用于聚类分析的优化过程，同时根据分类结果，基于样本之间的相似性和差异性，构造－Ｒｏｕｓｓｅｕｗ定义的函数做侧影图，用以评价分类效果。     

搜索引擎结果聚类算法研究

随着Web文档数量的剧增,搜索引擎也暴露了许多问题,用户不得不在搜索引擎返回的大量文档摘要列表中查找。而对搜索引擎结果聚类能使用户在更高的主题层次上来查看搜索引擎返回的结果。该文提出了搜索引擎结果聚类的几个重要指标并给出了一个新的基于PAT—tree的搜索引擎结果聚类算法。