基于URL模式集的主题爬虫

为提高主题爬虫的性能,依据站点信息组织的特点和URL的特征,提出一种基于URL模式集的主题爬虫。爬虫分两阶段,在实验爬虫阶段,采集站点样本数据,采用基于URL前缀树的模式构建算法构建URL模式,形成模式关系图,并利用HITS算法分析该模式关系图,计算出各模式的重要度;在聚焦爬虫阶段,无需预先下载页面,即可利用生成的URL模式判断页面是否主题相关和能否指导爬虫深入抓取,并根据URL模式的重要度预测待抓取链接优先级。实验表明,该爬虫相比现有的主题爬虫能快速引导爬虫抓取主题相关页面,保证爬虫的查准率和查全率,有效提高爬虫抓取效率。     

主题搜索引擎中网络爬虫的搜索策略研究

本文对主题搜索引擎中的网络蜘蛛搜索策略进行了详细的分析,在深入分析主题页面在Web上的分布特征与主题相关性判别算法的基础上提出了一个面向主题搜索的网络蜘蛛模型,对模型的组织结构进行了详细阐述。作为主题网络蜘蛛搜索策略的核心部分,主题相关性判断算法是网络蜘蛛能够围绕设定主题进行聚焦检索的关键。在URL的主题相关性判别过程中引入了链接文本及相关链接属性分析,提出了一种新颖的URL主题相关性算法--EPR算法。     

基于主题语义URL的信息搜索方法研究

为提高主题网络爬虫的效率及收获率,提出一种基于主题语义URL的信息搜索方法。该方法将种子URL映射到主题树的主题结点上,以主题路径上的主题文本扩充种子URL的语义,引导爬虫高效准确地抓取主题页面,并利用链接重要度与页面重要度因子在抓取过程中自动选育新的URL优良种子。重点阐述上述搜索方法的原理及其在系统中的实现。实验结果表明,该搜索方法能有效改善网络爬虫的搜索效率及收获率,且种子链接的选育性能良好。     

基于内容与链接分析的主题爬虫研究与设计

现存主题爬虫算法在抓取主题网页方面,其准确性不是很高。本文提出一种基于文本内容评价与网页链接评价的主题网页抓取方法。首先计算当前网页与主题的相关度,然后将相关度值与给定阈值进行比较决定当前网页是丢弃还是存储,同时相关度值的大小也决定了待爬链接队列中URL的优先权,此模型考虑了主题网页的准确率与覆盖率之间的平衡。新设计的主题爬虫算法在抓取主题网页方面,其准确性有一定程度的提高。     

基于改进遗传算法的聚焦爬虫设计

本文提出以爬行控制器和页面分析过滤器为核心的聚焦爬虫设计方法。从待检索主题出发,在以改进的遗传算法为基础并结合内容评价和链接结构搜索策略优点的爬行策略引导下,以待爬行URL作为遗传个体,基于主题词集的向量空间模型评估个体适应度,引入新的URL实现交叉、变异操作,将具有相同URL前缀的链接按小生境处理。实践证明,该爬虫具有较好的性能。     

基于朴素贝叶斯算法的主题爬虫的研究

主题爬虫是实现主题搜索引擎的关键部分。提出了利用朴素贝叶斯算法进行主题识别的方法,介绍了主题爬虫实现过程中所涉及到的关键部分,包括种子URL集合的生成、页面分析及特征提取、主题识别等。将基于朴素贝叶斯算法的主题爬虫,与基于链接分析的主题爬虫和基于主题词表的主题爬虫进行比较,实验表明基于朴素贝叶斯算法的主题爬虫准确性较好,论证了方法的可行性,为主题信息的采集奠定了良好的基础。     

面向P2P特定信息的爬虫改进技术

针对现有主题爬虫技术在获取“元信息”时会抓取大量不相关网页的问题,对现有主题爬虫技术进行改进,加入了URL分类技术。该分类方法根据提供的URL样本信息,生成多个不相关URL关键词集合以及“元信息”URL关键词集合;对集合中的关键词设置权限信息,设置集合的分类判断阈值;将URL使用特征向量表示,计算与关键词集合的距离,对URL进行分类;对算法性能进行了详细分析。实验结果表明,所提方法在进行“元信息”获取时,与传统主题爬虫技术相比能够大幅度提高效率,在相同时间内,“元信息”获取数量可增加96.21%,完全能够满足主动监测模型对网络爬虫的性能要求。     

结合文本密度的语义聚焦爬虫方法

针对聚焦爬虫网页核心内容提取算法准确性偏低以及相似度计算模型语义信息考虑不充分造成的爬取准确度和效率偏低的问题,提出结合文本密度的语义聚焦爬虫方法。引入核心内容提取算法,使用标题结合LCS算法定位核心内容文本的起始和终止位置,提取网页核心内容。引入基于Word2vec的主题相关度算法计算核心内容的主题相关度,改进PageRank算法计算链接主题重要度。结合主题相关度和主题重要度计算链接优先级。此外,为提高聚焦爬虫的全局搜索性能,结合主题词使用搜索引擎扩展链接集。与通用爬虫和多种聚焦爬虫相比,该方法爬虫爬取准确度和效率更优。     

网络信息采集中链接与主题相关性的判定研究

面向主题的Web信息采集需判断提取的URL链接主题相关性。基于主题链接上下文提取,主题型语义块采用提取链接周围一定长度的文本,目录型和图片型语义块利用DOM树层次结构,对链接数据进行URL相关性判定;利用知网基于语义相似度的链接判定,给出一种综合内容和链接结构分析的URL主题相关性判定NPR算法,比较PageRank算法能提供更精确的主题页面。其成果对我国信息机构进行学科网络信息资源的深度建设有实用价值。     

基于动态隧道技术的主题爬行策略

互联网网页所形成的主题孤岛严重影响了搜索引擎系统的主题爬虫性能,通过人工增加大量的初始种子链接来发现新主题的方法无法保证主题网页的全面性.在分析传统基于内容分析、基于链接分析和基于语境图的主题爬行策略的基础上,提出了一种基于动态隧道技术的主题爬虫爬行策略.该策略结合页面主题相关度计算和URL链接相关度预测的方法确定主题孤岛之间的网页页面主题相关性,并构建层次化的主题判断模型来解决主题孤岛之间的弱链接问题.同时,该策略能有效防止主题爬虫因采集过多的主题无关页面而导致的主题漂移现象,从而可以实现在保持主题语义信息的爬行方向上的动态隧道控制.实验过程利用主题网页层次结构检测页面主题相关性并抽取“体育”主题关键词,然后以此对采集的主题网页进行索引查询测试.结果表明,基于动态隧道技术的爬行策略能够较好的解决主题孤岛问题,明显提升了“体育”主题搜索引擎的准确率和召回率.     

基于半监督学习的视频检索相关反馈算法

小样本问题会制约贝叶斯相关反馈算法的学习能力。为此,提出一种基于半监督学习的视频检索贝叶斯相关反馈算法,其中一个分类器用于估计视频库中每一个镜头属于目标镜头的概率,另一个半监督学习分类器用于判断用户未标记镜头是否与目标相关,由此扩大贝叶斯学习器的训练数据集,提高其分类能力。实验结果表明,该算法提高了贝叶斯算法的检索性能。     

面向垂直搜索引擎的主题提取算法

针对HITS算法对所有链接分配相等权重导致产生主题漂移的问题,提出基于计算链接价值度及Web页面语义主题相似度对链接分配合理权重的HITS改进算法,突出链接重要度的差异。实验表明,该算法的主题相关度提高了13％～42％,且较好地避免了主题漂移问题,增强了采集信息的准确性,对垂直搜索引擎的研究有重要的理论和实际应用价值。     

Bidirectional heuristic search with limited resources

Heuristic search strategies have useful applicable problem solving in AI. It has been observed that bidirectional heuristic search algorithms can be potentially than their unidirectional counterparts. However, the problem with bidirectional search in practice is to make the two search fronts (forward and backward) meet in the middle. De Champeaux suggested a front-to-front algorithm [3] that overcomes this problem. But the disadvantage of that algorithm is that it is computationally very expensive. In this paper, we suggest a new front-to-front algorithm that is computationally much less expensive. Our algorithm does not guarantee optimality always, but its solution quality and execution time can be controlled by some external parameters. Finally, we present some experimental results on a generic state space problem, viz. 15-puzzle, showing the effectiveness of our algorithm.     

一种改进的G.729标准固定码本快速搜索算法*

在G.729建议的共轭结构代数码激励线性预测编码（CS-ACELP）中,固定码本搜索在整个语音编码算法中占有较大比重,直接影响编码算法复杂度。全搜索算法准确度很高,但搜索量过大,而传统的脉冲序列替换搜索,搜索次数减少,但合成语音质量较差。为解决该问题,提出一种基于脉冲序列替换的改进码本搜索算法。设定循环阈值门限,对脉冲序列重置后的部分脉冲组合进行全搜索,引入双脉冲位置替换,有效地减少了搜索次数,同时提高了搜索准确度。实验结果证明,该算法在增加算法复杂度较少的情况下,合成语音质量有明显的改进。     

搜索引擎页面排序融合算法

针对PageRank算法不十分关注页面内容而只关注"超链分析"的现状,并存在着用户实际所需要的页面的次序并不靠前的问题,提出了一种搜索引擎页面排序融合算法.该算法通过考虑词项权重、链接分析和用户偏好3个主要方面,得到一个URL的权值评价,这样每个待搜集的网页都有自己的权值评价,超链选择程序根据这些权值,从中选出一个或一批权值最大的来搜集,以达到精确检索的目的.     

一种基于用户查询行为模型的案例查询算法

传统的案例查询算法通过被动响应用户的查询请求为用户返回与查询请求相关的案例,忽略了用户查询行为能够对案例查询过程进行指导。提出了一个基于用户查询行为模型的案例查询算法,通过收集用户的查询请求,利用用户查询行为之间的相似度建立用户查询行为的分类模型;分析了用户查询行为的分类算法,重点论述了用户查询行为模型对案例查询过程的指导过程。实验结果表明,该方法能够有效地提高查询结果召回率以及查询成功率。     

一种新的基于概念树的主题网络爬虫方法

提出一种新的基于概念树的主题网络爬行方法。与传统基于关键词描述主题的方法不同,本文提出基于叙词表来构建一种称为概念树的表示方法来描述主题的概念。在此基础上,本文给出锚文本和HTML页面内容与主题相关度的计算方法。在分析URL的相关度时,首先判断其锚文本的相关度是否达到一定的阈值σ,只有当锚文本的相关度达不到σ时才会去下载URL对应的页面进行分析,否则将锚文本的相关度作为URL的相关度。这样的URL相关度计算方法可以大大减少不必要的计算开销,又可以充分地利用锚文本的信息。为了比较准确合理地获得阈值σ的取值,本文采用了最小均方差（LMS）的方法。     

Using an enhanced scatter search algorithm for a resource-constrained project scheduling problem

The resource-constrained project scheduling problem is one of the classical problems in the field of operations research. There are many criteria to efficiently determine the desired schedule of a project. In this paper, a well-known criterion namely project’s makespan is considered. Due to the complexity of the problem, it is very difficult to obtain optimum solution for this kind of problems by means of traditional methods. Therefore, an enhanced scatter search, based on a new path relinking and two prominent permutation-based and crossover operators, is devised to solve the problem. In order to validate the performance of the proposed algorithm, in terms of solution quality, the algorithm is applied to various test problems available on the literature and the reliability of it, is compared with well-reported benchmark algorithms. The computational results reveal that the proposed algorithm has appropriate results in comparison with the existing benchmark algorithms.     

用户驱动的微博可视化搜索

目的 微博作为一个社交与信息分享平台,日信息量数以亿计,如何高效地搜索用户感兴趣的信息成为亟待解决的问题.提出了一个新颖的用户驱动的可视化微博信息搜索方法.方法 采用特征词及其权重来建模用户的兴趣特征,并基于此建立用户与特征词之间的相关关系.搜索微博信息时,首先定位与检索词相关的微博用户,在相关微博用户的微博中筛选与搜索相关的微博.另外,采用关注度传递算法对搜索进行扩展,将返回的特征词和微博用户进行可视化展示,并提供交互供用户查看与选定特征词或用户相关的微博.结果 实验结果表明,基于本文方法,用户可以高效地定位感兴趣的微博信息.结论 以用户作为桥梁,大大缩小了微博信息的搜索范围,同时采用关注度传递算法对搜索进行扩展,对结果进行可视化展示.实验表明本文方法能够使用户快速搜索出感兴趣的信息.