主题搜索引擎中爬虫搜索策略的研究

为了解决传统主题爬虫效率偏低的问题,传统主题爬虫会选择最有价值的链接进行访问,仅简单地计算链接的相关性,却忽视待分析URL之间的相关性关系,致使主题爬虫爬取效率较低。提出一种基于链接模型的相关性判别算法,综合利用有标种子URL和无标的待判别URL实现对无标URL的相关性判别,并推导出迭代初值选取对结果的不敏感性。实验结果表明,与传统的网络爬虫算法相关性判别方法相比,提出的方法效率更高。     

主题搜索引擎中网络爬虫的搜索策略研究

本文对主题搜索引擎中的网络蜘蛛搜索策略进行了详细的分析,在深入分析主题页面在Web上的分布特征与主题相关性判别算法的基础上提出了一个面向主题搜索的网络蜘蛛模型,对模型的组织结构进行了详细阐述。作为主题网络蜘蛛搜索策略的核心部分,主题相关性判断算法是网络蜘蛛能够围绕设定主题进行聚焦检索的关键。在URL的主题相关性判别过程中引入了链接文本及相关链接属性分析,提出了一种新颖的URL主题相关性算法--EPR算法。     

搜索引擎中网络蜘蛛搜索策略比较研究

何种策略访问Web，以提高搜索效率，是近年来专业搜索引擎研究的焦点之一。按照评价链接价值所采用方法的不同，对现有的网络蜘蛛搜索策略进行了分类，分析、比较了各类搜索策略的特点和优缺点，总结了提高网络蜘蛛搜索效率的几个关键因素。对未来的研究方向进行了展望。     

网络蜘蛛搜索策略进展研究

网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一，按照评价链接价值所采用方法的不同，对专业搜索引擎网络蜘蛛的搜索策略进行了分类，分析，比较了各类搜索策略的特点和优缺点，对未来的研究方向进行了展望，给出了若干值得研究的问题。     

网络蜘蛛搜索策略比较研究

以何种策略访问Web,以提高搜索效率,是近年来专业搜索引擎研究的主要问题之一。按照评价链接价值所采用方法的不同,对现有的网络蜘蛛搜索策略进行了分类,分析、比较了各类搜索策略的特点和优缺点,总结了提高网络蜘蛛搜索效率的几个关键因素。对未来的研究方向进行了展望。     

网络蜘蛛搜索基本策略研究

网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一。按照评价链接价值所采用方法的不同,对专业搜索引擎网络蜘蛛的搜索策略进行了分类,分析、比较了各类搜索策略的优缺点。对未来的研究方向进行了展望,给出了若干值得研究的问题。     

搜索引擎中网络蜘蛛的研究与实现

网络蜘蛛程序是搜索引擎工作的基础和关键,实现了抓取网络资源的网络蜘蛛程序,通过入口网址下载网络资源,并对其分析,获得包含的其他链接,利用这些链接向整个网络扩散,下载其他资源。测试了蜘蛛程序抓取网页的能力,并对多线程实现的利弊进行讨论,总结了常用的算法搜索策略,提出了后续的研究方向。     

专业搜索引擎搜索策略综述

按照评价链接价值所采用方法的不同,对专业搜索引擎的搜索策略进行了分类,分析了各类搜索策略的特点,比较了它们的优缺点。对未来的研究方向进行了展望,给出了若干值得研究的问题。     

垂直搜索引擎中网络蜘蛛的设计

介绍了垂直搜索引擎的原理及设计,重点描述了网页抓取模块（网络蜘蛛）的功能,及其最新研究成果,具有较高的实用性。     

基于广度优先搜索的网络蜘蛛设计

网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一,如何使搜索引擎快速准确地从庞大的网页数据中获取所需资源的需求是目前所面临的重要问题。重点阐述了搜索引擎的Web Spider（网络蜘蛛）的搜索策略和搜索优化措施,提出了一种简单的基于广度优先算法的网络蜘蛛设计方案,并分析了设计过程中的优化措施。     

Topic PageRank——一种基于主题的搜索引擎

通过研究传统的超链分析算法PageRank及其改进算法Hilltop和TSPR的不足,提出了一种新的改进的方法Topic PageRank。这种算法是对每一个页面进行页面分类,然后根据分类的结果分别对每一个主题进行页面等级计算,因此,每一个页面对不同的主题将呈现出不同的页面等级得分,能更加准确地反映出页面的重要性。     

Topic PageRank——一种基于主题的搜索引擎

通过研究传统的超链分析算法PageRank及其改进算法Hilltop和TSPR的不足，提出了一种新的改进的方法Topic PageRank。这种算法是对每一个页面进行页面分类，然后根据分类的结果分别对每一个主题进行页面等级计算，因此，每一个页面对不同的主题将呈现出不同的页面等级得分，能更加准确地反映出页面的重要性。     

搜索引擎中网络蜘蛛的设计与实现

文章从搜索引擎的应用出发,探讨了网络蜘蛛在搜索引擎中的作用和地住,提出了网络蜘蛛的功能和设计要求.在对网络蜘蛛系统结构和工作原理所作分析的基础上,研究了线程调度、页面爬取、解析等策略和算法,并使用Java实现了一个网络蜘蛛的程序,对其运行结果做了分析.     

Web信息挖掘中Java搜索引擎技术的应用探究

信息挖掘的关键技术就是如何将用户所需的关键词与数据库、网络中的关键词进行匹配并进行筛选和甄别。为了完成此过程,人们利用爬虫技术,对网络信息进行搜索、获取、暂存、分析,并形成最终的搜索结果。在此过程中Java所形成的搜索引擎技术起到了较好的应用效果。     

主题搜索引擎网络爬虫搜索策略的研究与实现

根据网络页面结构的特点,提出通过页面之间的主题传递来预测页面主题相关性的方法,解决了主题爬虫通道堵塞,抓取遗漏的问题。首先根据锚文本传递一个相关性信息值,如果锚文本给出的信息是相关,相关阈值就直接传递;如果是不相关,就乘以遗传基因比例之后传递。传递的过程中如果遇到相关的网页就恢复链接的相关性信息值到初始值。最后根据实验结果验证了算法的查全率与查准率,查全率有显著的提高。     

基于Web挖掘的智能门户搜索引擎的研究

搜索引擎是人们在Internet上快速获得信息的重要工具之一,但是由于中文自身的特点,使得检索结果的准确性和相关性不是很高,将Web挖掘技术应用到搜索引擎领域,从而产生智能搜索引擎,将会给用户提供一个高效、准确的Web检索工具。文章首先介绍了搜索引擎的工作原理和相关概念,然后介绍了Web挖掘的定义、分类和应用。最后,详细讨论了Web挖掘技术在智能搜索引擎的重要应用。