基于查询扩展的Web链接主题提取算法

HITS（Hypertext-Induced Topic Search）算法被广泛用于W曲链接结构分析，但它很容易产生主题漂移．从语义相关性角度进行分析，发现HITS算法产生主题漂移的原因在于页面被投影到错误的潜在语义基上．提出一种基于查询扩展的超链主题提取算法，利用用户查询日志扩展查询词，构造符合用户需要的个性化根集和基础集合，再利用HITS算法计算Web页面的权成值和中心值．实验结果表明，基于查询扩展的超链主题提取算法可以很好地改善HITS算法所导致的主题漂移问题，更适合于Web查询的需要．     

搜索引擎的主题提取算法研究

以一个自行开发的搜索引擎系统为背景研究主题提取算法.通过对几种经典主题提取算法的分析、融合,提出了一个新的主题提取算法.用该搜索引擎证明了新提出算法比经典的HITS算法在性能上有很大的提高.     

一种基于相似度分析的主题提取和发现算法

试图从另一个角度来考察主题提取算法HITS,即提出一种基于相似度的链接分析模型来观察主题提取的过程.通过给出一种一般化的相似度定义,提出了一种仅使用链接分析来改善主题提取的质量的主题提取算法.同时,还将主题发现的功能也结合到了算法的框架中.通过该功能,用户可以搜索到次流行的主题.实验结果显示了这一新算法的两个优点:不必使用内容分析即能改善主题提取的质量以及能够进一步发现在查询结果中显现出来的不同主题.     

基于主题和链接分析的微博社区发现算法

针对传统社区发现方法大多基于链接或主题关系, 且没有考虑获取微博用户社会信息时的限制, 无法有效识别微博中多个社区的问题, 提出了一种综合基于主题和链接分析的微博社区发现算法来挖掘微博中多个社区。算法首先研究微博用户的链接及博文主题特性, 定义了链接相关度和主题相关度公式; 然后推出用户总相关度公式, 以此来计算节点间的传递概率, 用改进后的标签传递算法对用户分类; 最终划分出兴趣相似且社会联系紧密的用户群。真实数据集上的仿真实验验证了该方法的合理性和有效性。     

基于N层向量空间模型的Web主题检索算法

本文在N层向量空间模型和主题树模型的基础上，通过分析两个模型的分层特性，提出了一种Web主题检索锋法。实验证明，在主题检索方面，该算法具有较快的速度和较高的查准率。     

Web结构挖掘中基于熵的链接分析法

在Web结构挖掘中,传统的HITS（hyperlinkinducedtopics search）算法被广泛应用来寻找搜索引擎返回页面中的Auto-rity页面和Hub页面.但是在网站中除了有价值的页面内容外,还有很多与页面内容无关的链接,如广告、链接导航等.由于这些链接的存在,应用HITS算法时就会导致某些广告网页或无关网页获得较高的Authority值和Hub值.为了解决这个问题,在原有HITS算法的基础上,引入了香农信息熵的概念,提出了基于熵的网页链接分析方法来挖掘网页结构.该算法的核心思想是用信息熵来表示链接文本所隐含的知识.     

Web信息检索中主题精选算法的研究与改进

搜索引擎是目前最主要的Web信息检索工具,然而它的效果还不能令人满意。基于Web链接结构的主题精选算法的链接分析迭代往往会收敛于链接图中与查询主题不太相关的紧密交织区域(TKC),从而导致主题偏移。笔者对经典主题精选算法HITS的分析表明该算法还有给不同的Web站点规定了不平等的影响权重以及不能满足用户多粒度的信息需求等缺点。文章在分析主题精选算法研究的基础上针对其不足提出了改进算法g-HITSc,实验表明该算法是合理和有效的。     

链接分析对主题爬虫的改进

在分析总结两种主题爬虫设计的基础之上,研究了用链接分析改进主题爬虫的方法.通过实验,比较引入链接分析前后的结果,论证了其设计可行性与可操作性,为实现定向信息采集奠定了良好的基础.     

基于主题划分和链接划分的社团发现算法

传统的社团发现算法利用链接关系对社团进行划分,不利于发现社团之间的非链接关系,从而影响划分精度。研究分析了节点蕴含的文本信息,挖掘了文本信息蕴含了节点的主题信息,根据这些主题信息判断社团在主题上的关系。研究设计了优化的潜在狄利克雷分配模型对社团进行主题划分,应用优化的模块度社团发现算法对社团进行链接划分,合并成为一个能对社团进行主题划分和链接划分的主题社团发现算法。此外,还针对主题社团设计了一种评估方法,并且使用多个数据集在主题社团发现的各个阶段对算法进行了实验验证。实验结果证明,基于主题检测的社团发现算法能够正确地对社团进行主题划分和链接划分。     

Web本体搜索中链接评价方法的设计与实现

基于对本体搜索的分析,本文从多个方面对聚焦搜索的链接评价方法进行改进,同时介绍了新方法实现中的多个关键步骤.     

基于切平面的主题提取算法

从语义相关性角度分析超链归纳主题搜索（HITS）算法,发现其产生主题漂移的原因在于页面被投影到错误的语义基上,因此引入局部密集因子LDF（Local Density Factor）的概念。为了解决Web内容的重叠性,基于切平面的概念提出了一种新的主题提取算法（CPTDA）。CPTDA不但可以发现用户最感兴趣的主题页面集合,还可以发现与查询相关的其他页面集合。在10个查询上的实验结果表明,与HITS算法相比,CPTDA算法不仅可以减少30%-52%的主题漂移率,而且可以发现与查询相关的多个主题。     

一种改进的主题网络蜘蛛搜索算法

主题网络蜘蛛搜索策略是专业搜索引擎的核心技术。但是目前的主题搜索算法往往存在很大贪婪性,难以在全局范围内找到最优解。通过比较分析发现Best-First算法虽然有它的不足,但是它在几种算法中表现的性能最优。故以Best-First算法为基础,提出了BS-BS算法。对BS-BS算法进行性能评价,发现应用此算法搜索不但“召回率”有所提高,还能在一定程度上找到全局范围内的最优解。     

基于主题特征和时间因子的改进PageRank算法

经典PageRank算法单纯地考虑到对网页的链接结构进行分析,而不能考虑到网页在搜索主题方面的相关性和权威性,以及用户对新旧网页的依赖程度的不同.针对经典PageRank算法存在的上述缺陷,综合网页的主题特征和时间特征两个因素,提出了一种改进的PageRank算法WTPR(weighmd topic PageRank).该算法通过网页链接分析和内容分析来解决网页的权威程度和相关程度,通过时间因子实现PageRank值随时间的变动而浮动.仿真结果表明,改进后的算法与PageRank算法相比获得了更好的效果.     

s-HITSc: an improved model and algorithm for topic distillation on the Web

Topic distillation on the Web, namely, finding quality information sources related to a given query topic with hyperlink analysis, has been shown to be useful in Web IR. Based on the analysis of three deficiencies of classical topic distillation algorithm HITS, this paper presents an improved model and algorithm named s-HITSc. Given a query topic, the improved algorithm can model a neighborhood graph at site granularity, compute the relevance weights of the nodes to the topic with content analysis, and apply weighted I/O operations in its iterative hyperlink analysis. Theoretical analysis and experimental results show that s-HITSc can control topic drift and identify more reasonable and meaningful authority and hub sites on a given topic.

一种有效的专题信息集中和检索策略

Internet上专题资源网页汇聚和检索是垂直搜索引擎中的核心问题,HITS算法是早期解决这个问题的经典算法,很多文献对它进行了改进,但无论索引的主题相关率还是引擎的查准率都有提高的余地。提出一种基于锚文本和标题信息过滤并结合网页内容相关度判断的HITS专题检索策略,利用专题训练集判断主题相关度,很好地解决了只依靠查询字符串判断的弊端。实验表明,此策略能很好地提高专题信息汇聚精确度和检索的准确率,并且减少了非相关URL的下载量。     

主题爬虫技术研究综述

随着移动互联网的普及以及网络信息指数的增长,如何有效地提取和利用这些信息面临巨大挑战。介绍了主题爬虫的工作原理、分类;回顾了近年来国内外关于主题爬虫的研究状况,分析了各种主题相似度的方法以及搜索策略,得出相比于普通的爬虫系统,基于网页内容和基于链接分析的爬虫系统的查准率、查全率都大幅度地提升;最后分析比较了主题网络爬虫两种动态搜索策略并指出了未来研究方向。     

基于链接和内容的BLCT主题爬行算法研究

为了高效地获取与主题相关的资源,就垂直搜索引擎展开了研究。首先,在现有的PageRank算法基础上,提出一种改进的PageRank算法来测量网页的链接相似度;其次,从单个网页考虑,利用每个网页的url、title和正文,给出基于内容的相似度的计算方法;最后结合内容相似度和链接相似度,提出了一种基于链接和内容的BLCT主题爬行算法。实验结果表明,该算法在平均收获率和目标召回率上有显著提高,爬行的网页主题相关性也提高了。     

基于非内容信息的网络关键资源有效定位

网络信息的爆炸式增长，使得当前任何搜索引擎都只可能索引到Web上一小部分数据，而其中又充斥着大量的低质量信息．如何在用户查询无关的条件下找到Web上高质量的关键资源，是Web信息检索面临的挑战．基于大规模网页统计的方法发现，多种网页非内容特征可以用于关键资源页面的定位，利用决策树学习方法对这些特征进行综合，即可以实现用户查询无关的关键资源页面定位．在文本信息检索会议（TREC）标准评测平台上进行的超过19G文本数据规模的实验表明，这种定位方法能够利用20％左右的页面覆盖超过70％的Web关键信息；在仅为全部页面24％的关键资源集合上的检索结果，比在整个页面集合上的检索有超过60％的性能提高．这说明使用较少的索引量获取较高的检索性能是完全可能的．