垂直搜索引擎的抓取系统——基于网络蜘蛛技术

网络信息资源的爆炸式增长使得人们获得有用信息日益困难,随着垂直网站的出现和发展,专业化的垂直搜索引擎成为今后搜索引擎发展的主流。该文简要介绍了垂直搜索引擎,并重点对其抓取系统所应用的网络蜘蛛技术做了详细分析,最后讨论了垂直搜索引擎的发展方向。     

垂直搜索引擎中网络蜘蛛的设计

介绍了垂直搜索引擎的原理及设计,重点描述了网页抓取模块（网络蜘蛛）的功能,及其最新研究成果,具有较高的实用性。     

搜索引擎系统中网页抓取模块研究

如今互联网资源迅速膨胀,搜索引擎能够从浩如烟海的杂乱信息中抽出一条清晰的检索路径,让用户获得自己需要的信息.由蜘蛛程序实现的网页抓取模块是搜索引擎系统提供服务的基础,从资源的角度决定了整个系统的成败.鉴于此,介绍搜索引擎系统的基本工作原理,分析网页抓取模块的工作流程,研究开源网络蜘蛛Heritrix的几个关键组件,在充分了解Heritrix构架的基础上扩展Extractor组件,成功实现个性化的抓取逻辑.     

垂直搜索引擎蜘蛛系统的设计与实现

网络信息资源的爆炸式增长使得人们获得有用信息日益困难,随着垂直网站的出现和发展,专业化的垂直搜索引擎成为今后搜索引擎发展的主流.本文介绍了垂直搜索引擎的特点和系统的基本构成,在此基础上采用实证研究的方法,详细介绍了基于手机信息检索的垂直搜索引擎的设计与实现.     

中文搜索引擎中的网络蜘蛛

本文简要地介绍了搜索引擎中的关键技术之一--网络蜘蛛,重点阐述了网络蜘蛛的工作原理,以及网络蜘蛛需要改进的方面。     

搜索引擎中网络蜘蛛搜索策略比较研究

何种策略访问Web，以提高搜索效率，是近年来专业搜索引擎研究的焦点之一。按照评价链接价值所采用方法的不同，对现有的网络蜘蛛搜索策略进行了分类，分析、比较了各类搜索策略的特点和优缺点，总结了提高网络蜘蛛搜索效率的几个关键因素。对未来的研究方向进行了展望。     

基于垂直搜索技术的搜索引擎

随着网络迅速发展,Internet上的资源日趋丰富,搜索引擎被网民广泛使用,搜索引擎的发展为垂直搜索引擎的出现提供了良好的市场空间,本文介绍了基于垂直搜索技术的搜索引擎,并探讨了垂直搜索引擎的优势.     

基于语义分析的垂直搜索网络蜘蛛

通用搜索引擎数据量庞大,但查询结果不够准确.分类目录正好相反.为了综合两者优势,对垂直搜索引擎进行了研究和分析.着重研究了垂直搜索引擎的核心模块--智能网络搜索蜘蛛.提出了搜索分析的新概念--规则.研究了蜘蛛中定义支持同义词的语义词典的方法,给出了按照规则分析和检索的实现方法和流程.程序需要定义多种规则,让蜘蛛依照规则进行网页爬行和信息采集.最后给出一个项目实例,证明了上述方法的可行性.     

基于Heritrix体系结构的垂直搜索引擎研究

垂直搜索引擎作为一种新型的搜索引擎服务模式,它的出现彻底解决了通用搜索引擎中一直存在的信息量大、查询不准确、深度不够等一系列问题。该文通过对Heritrix体系结构的深入分析,详细阐述了Heritrix在垂直搜索引擎中实现数据搜集的整个过程。     

基于"网络蜘蛛原理"的搜索引擎技术剖析

主要介绍网络蜘蛛的基本原理及相关技术.     

网络诈骗信息垂直搜索引擎的设计与实现

针对国内网络诈骗中犯罪人与受害人的信息不对称问题,基于主题信息采集与信息过滤技术,构建一个基于垂直搜索引擎技术的网络诈骗信息检索与舆情预警服务平台IFI-TSE(Internet Fraud Information Topic Search Engine)。测试结果表明,相对传统的通用搜索引擎,在检索诈骗信息方面该平台的平均检索准确率达到了比较高的水平。同时个性化检索可以为用户提供一定程度的预警信息,不仅可以为公共用户提供高效的网络诈骗数据检索,而且还可以通过统计分析网络诈骗大数据挖掘其包含的诈骗行为过程,为社会安全管理部门提供网络诈骗舆情预警报告。     

垂直搜索引擎应用研究

随着Internet 和WWW 的迅速发展,Internet 上的资源日趋丰富,使得人们在浩如烟海的互联网中得到有用的信息日益困难,垂直搜索引擎应运而生。文章简要介绍了垂直搜索引擎的关键技术及其在政府门户中的应用价值,主要研究了垂直搜索引擎在中央人民政府门户的应用。     

基于垂直搜索技术的搜索引擎解决方案

搜索引擎是互联网检索技术的核心,随着互联网的迅速发展,目前的综合搜索引擎已无法满足用户的需求,这就成就了垂直搜索引擎的蓬勃发展,但处于发展初期的垂直搜索引擎还有很多不足,本文提出了一种基于垂直搜索技术的搜索引擎解决方案,以提高搜索引擎的工作效率。     

基于多线程的网络蜘蛛构建搜索引擎的尝试

搜索引擎是资料收集最佳手段,作为商业化的搜索引擎也层出不穷,可见其中巨大的商业价值。     

搜索引擎中网络蜘蛛的研究与实现

网络蜘蛛程序是搜索引擎工作的基础和关键,实现了抓取网络资源的网络蜘蛛程序,通过入口网址下载网络资源,并对其分析,获得包含的其他链接,利用这些链接向整个网络扩散,下载其他资源。测试了蜘蛛程序抓取网页的能力,并对多线程实现的利弊进行讨论,总结了常用的算法搜索策略,提出了后续的研究方向。     

基于Java的网络蜘蛛系统的设计与实现

讨论如何使用Java现抓取网络资源的网络蜘蛛。通过一个入口网址来扫描整个互联网的网址,并将这些扫描到的网址所指向的网络资源下载到本地,然后可以利用其他的分析工具对这些网络资源做进一步的分析。     

生活服务领域垂直搜索引擎的设计与实现

根据生活服务领域网页信息的特点,提出一种面向生活服务领域的垂直搜索引擎模型,给出该模型在信息采集、信息抽取、索引建立和信息检索4个功能模块的具体算法及实现方式。实际应用表明,该模型搜索效果良好,提供HTML和WML 2种方式的用户界面,已经成功覆盖全国近40个城市的餐饮、娱乐和黄页信息。     

一种垂直搜索引擎主题相关性改进算法

迅速发展的Web给传统的搜索引擎带来了前所未有的挑战,面向特定主题或特定领域采集相关信息的垂直搜索引擎应运而生。在垂直搜索引擎中,网络蜘蛛的爬行策略和主题相关性判定算法是其核心。该文详细介绍了一种主题相关性判定算法-Hits算法,并在此基础上提出了一个改进的主题相关性判定算法,实验表明,改进的Hits算法提高了爬取网页的主题相关度,有助于网络蜘蛛爬取特定主题的信息。     

实现一个垂直育儿搜索引擎系统的探索

随着计算机技术和互联网技术的飞速发展,并逐步向社会各个领域渗透,各行各业都开始使用网络来获取和发送信息。育儿领域也是如此,越来越多的育儿信息用户选择利用网络来获得育儿信息支持。面对丰富而繁杂的网络育儿资源,育儿用户惊喜和无奈并存,惊喜的是网络育儿资源丰富而全面,无奈的是查找总是很麻烦。如何有效地整合这部分资源,为广大育儿信息用户提供方便?搜索引擎技术发展了十几年,已经渐趋成熟和完善,垂直搜索技术业已开始深入到各行各业,并取得成功的应用;育儿领域至今还没有出现任何类型的专业搜索引擎,广大的用户群体都在期待着能有一个专业而实用的垂直搜索引擎帮助他们获取所需要的信息。本文作者采用成熟的技术和一些开源代码构建了一个垂直育儿搜索引擎模型,希望抛砖能够引玉,引起广大同行的注意。     

基于广度优先搜索的网络蜘蛛设计

网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一,如何使搜索引擎快速准确地从庞大的网页数据中获取所需资源的需求是目前所面临的重要问题。重点阐述了搜索引擎的Web Spider（网络蜘蛛）的搜索策略和搜索优化措施,提出了一种简单的基于广度优先算法的网络蜘蛛设计方案,并分析了设计过程中的优化措施。