垂直搜索引擎之主题网络爬虫

21世纪的今天,网络信息量呈几何倍数的增长。传统的通用搜索引擎已经不能很好的满足我们对特定信息的需求。所以,针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务的垂直搜索引擎应运而生。而主题网络爬虫则是为垂直搜索引擎提供数据的自动化程序。本文主要研究了主题爬虫的各种搜索策略,指出了其中的劣以及最后对将来的发展做出了一个展望。     

Heritrix在垂直搜索引擎中的应用

主要介绍了垂直搜索引擎和网络爬虫的基本概念,以及Heritrix系统的体系结构,分析了Heritrix工作流程,并通过扩展Heritrix实现了对网易手机频道信息的多线程抓取,为建立面向手机信息的垂直搜索引擎提供了信息源。     

一种支持Ajax框架的网络爬虫的设计与实现

目前传统爬虫无法爬取Ajax动态网站,为解决该问题,该文设计了一个支持Ajax的网络爬虫,提出了AjaxCrawler的体系结构,实现了浏览器、模拟器、控制器和自动机,并通过实验,进行了爬取结果的对比,证明了其效果。     

主题网络爬虫研究综述

网络信息资源呈指数级增长,面对用户越来越个性化的需求,主题网络爬虫应运而生。主题网络爬虫是一种下载特定主题网页的程序。利用在采集页面过程获得的特定信息,主题网络爬虫抓取的页面都是与主题相关的。基于主题网络爬虫的搜索引擎以及基于主题网络爬虫构建领域语料库等应用已经得到广泛运用。首先介绍了主题爬虫的定义、工作原理;然后介绍了近年来国内外关于主题爬虫的研究状况,并比较了各种爬行策略及相关算法的优缺点;最后提出了主题网络爬虫未来的研究方向。关键词：     

垂直搜索引擎的研究与设计

通过对垂直搜索引擎的原理和关键技术的研究,运用Lucene等JAVA开源工具设计并实现了一个手机信息检索系统。对于构建垂直搜索引擎必须要面对和解决的一些关键问题进行了分析,并给出了解决方案,如防止重复爬取网页和专业词库的扩展等,具有较强的实用性。     

主题搜索引擎网络爬虫搜索策略的研究与实现

根据网络页面结构的特点,提出通过页面之间的主题传递来预测页面主题相关性的方法,解决了主题爬虫通道堵塞,抓取遗漏的问题。首先根据锚文本传递一个相关性信息值,如果锚文本给出的信息是相关,相关阈值就直接传递;如果是不相关,就乘以遗传基因比例之后传递。传递的过程中如果遇到相关的网页就恢复链接的相关性信息值到初始值。最后根据实验结果验证了算法的查全率与查准率,查全率有显著的提高。     

一种优化的网络爬虫的设计与实现

网络爬虫是搜索引擎的重要组成部分,它在搜索引擎中负责网络信息的采集。详细介绍了Web_Crawler,一种优化的网络爬虫的设计和实现,包括系统框架、主要模块、多线程工作和数据缓冲池的转存技术。Web-Crawler主要从多线程并行下载提高了速度,并利用数据缓冲池转存技术在实现快速检索的同时减少了存储空间需求这两方面来优化网络爬虫。     

中文垂直搜索引擎研究与实现

本文通过对垂直搜索引擎的工作原理与主要技术进行分析,给出了一种基于开源Nutch上实现中文垂直搜索引擎的方案。     

面向垂直搜索引擎的Web站点划分方案

分析传统搜索引擎分配任务的方式及存在的问题,根据垂直搜索引擎的特点,提出一种比传统方法粒度更细的任务分配方式——网站划分。该分配方式将较大规模的网站切分为若干较小规模的子集,并将子集交给若干爬虫节点并行抓取,以加快爬虫系统的整体获取速率,作为对传统方法的有效优化。将网站划分算法应用于样本数据集,验证其有效性。     

一种垂直搜索引擎主题相关性改进算法

迅速发展的Web给传统的搜索引擎带来了前所未有的挑战,面向特定主题或特定领域采集相关信息的垂直搜索引擎应运而生。在垂直搜索引擎中,网络蜘蛛的爬行策略和主题相关性判定算法是其核心。该文详细介绍了一种主题相关性判定算法-Hits算法,并在此基础上提出了一个改进的主题相关性判定算法,实验表明,改进的Hits算法提高了爬取网页的主题相关度,有助于网络蜘蛛爬取特定主题的信息。     

一种垂直搜索中的自适应查询扩展方法

在信息检索中,查询扩展一直被用来帮助提供更好的查询结果。作为一个热门话题,很多查询扩展方法被提出来,但其中大多数方法都是面向通用搜索引擎的,而没有考虑查询背景和领域背景,更没有考虑两个背景知识的演化。给出一种基于领域本体和查询日志的自适应的本体查询扩展方法 Adap-On。Adap-On首先自动地构建一个领域知识模型,之后通过查询日志增强这个模型,应用中通过基于查询模型和知识模型的混合方法给出扩展关键字,从而最终得到一个自适应查询扩展策略。实验结果表明,Adap-On是有效的,并且优于已有的方法。     

基于Web 2.0的综合搜索引擎

Web 2.0的出现使网络中的信息量呈井喷局势,给搜索引擎带来了新的挑战,目前的搜索引擎已经不能满足大多数用户的需求。针对这种情况,首先分析了当前搜索引擎的现状和优缺点,其次针对新的情况下的用户需求作出分析,参考和利用了当前Web 2.0的一些先进技术,提出一个基于Web 2.0社区的综合搜索引擎。     

Web搜索引擎框架研究

Ｗｅｂ搜索引擎是Ｉｎｔｅｒｎｅｔ上非常有用的信息检索工具,但是由于目前搜索引擎检索出的信息量庞大,且一个特定的搜索引擎主要包含某一特定领域的信息,这使得用户很难从某一个搜索引擎获得准确的导航信息。文中提出一个新的Ｗｅｂ搜索引擎框架ＧＳＥ,并提出了一个适合于Ｗｅｂ信息获取与处理的语言ＷＥＲＰＬ。通过ＷＩＲＰＬ可以将多个Ｗｅｂ搜索引擎结合起来,为用户提供一个一致、高效、准确的Ｗｅｂ搜索引擎。     

面向城市交通信息的垂直搜索引擎的设计与实现

针对当前网络中城市交通信息以几何形式递增的趋势,研究面向城市交通信息垂直搜索引擎的设计与实现技术,提出改进的基于Nutch搜索引擎技术与Google地图服务相结合的方法,设计主题信息抓取、中文分词、主题相关性判断、构建索引等检索功能模块,以Web地图服务为平台,完成主题交通的搜索与分析服务。实验结果表明,相对于其他通用搜索引擎面向城市交通信息的垂直搜索引擎更具有主题优势,在交通特征领域爬行深度和覆盖范围都得到加强,改进的算法能够有效提取高质量的网页文档,同时,在交通信息定位和主题排序方面也更为精确。     

Web服务搜索引擎的设计与实现

随着开放的Web服务数量的逐渐递增,全面而有效地获取散落于Internet上的这类Web服务并进行管理就成为一个十分重要的问题。针对该问题,设计与实现了一个Web服务搜索引擎WSSE(Web Services Search Engine)。它不断爬行现有Web站点以搜索Web服务,并对搜集到的Web服务进行集中式管理,最后采用开源的Lucene对搜索到的Web服务建立索引,提高了Web服务的检索效率。     

基于垂直搜索的机票搜索系统的设计与实现

基于对象的垂直搜索引擎越来越受到人们的关注,结合这一热门技术,详细介绍了机票比价搜索系统的设计与实现.该系统基于垂直搜索的思想,采用模板方式的网页抽取技术,提供给用户全面的机票信息.     

一种基于词典的搜索引擎系统动态更新模型

基于词汇标注的特征项提取方法是中文信息处理的有效方法,但词汇的析取是基于词典的,词典的涵盖程度决定了词汇切分的准确率,因而不断地学习新词汇、动态地维护词典,使整个中文信息处理系统具有自适应性和动态性就成了一个关键问题,以搜索引擎系统为例,提出了一种基于词典动态变化的搜索引擎系统更新理论模型和实现模型,相关实验表明,该模型对缩短搜索引擎信息库的更新时间、提高查询准确率等方面十分有效。     

黄页搜索引擎中二次检索的实现技术

搜索引擎的目的在于快速有效地找到用户需求的信息,在黄页搜索引擎中,通过关键字搜索,可以返回大量的信息,但其中的大部分信息不在用户需求的范围内.二次检索的定义是,在一次检索结果的基础上,按照特定的条件进行筛选,获得更为满足用户需求的结果.显然,二次检索在黄页搜索中的应用是必要的.基于这样的需求,提出了一种使用内存数据库和黄页搜索引擎联合进行二次搜索的方法.     

智能化搜索引擎技术的研究进展

阐述了传统信息获取的几种模型，分析比较它们之间的优劣，归纳总结了信息获取模型的层次框架．对智能化信息获取技术的研究进展和概况进行综述，并给出了若干值得研究的问题及相应的关键技术．     

网上Bookmark服务系统及其基于Web挖掘的推荐引擎

网上Bookmark服务系统(WebBookmarkSystem)可以实现用户随意访问和管理自己的bookmark并随时共享系统或他人的优秀bookmark,而无需受操作系统、浏览器、甚至终端的限制.其在线推荐引擎基于Web挖掘(WebMining)技术,将bookmarks和用户以基于特征项空间的向量形式统一进行管理,采用聚类(clustering)的方法根据匹配度来为用户提供个性化服务.