垂直搜索引擎的抓取系统——基于网络蜘蛛技术

网络信息资源的爆炸式增长使得人们获得有用信息日益困难,随着垂直网站的出现和发展,专业化的垂直搜索引擎成为今后搜索引擎发展的主流。该文简要介绍了垂直搜索引擎,并重点对其抓取系统所应用的网络蜘蛛技术做了详细分析,最后讨论了垂直搜索引擎的发展方向。     

垂直搜索引擎蜘蛛系统的设计与实现

网络信息资源的爆炸式增长使得人们获得有用信息日益困难,随着垂直网站的出现和发展,专业化的垂直搜索引擎成为今后搜索引擎发展的主流.本文介绍了垂直搜索引擎的特点和系统的基本构成,在此基础上采用实证研究的方法,详细介绍了基于手机信息检索的垂直搜索引擎的设计与实现.     

垂直搜索引擎之主题网络爬虫

21世纪的今天,网络信息量呈几何倍数的增长。传统的通用搜索引擎已经不能很好的满足我们对特定信息的需求。所以,针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务的垂直搜索引擎应运而生。而主题网络爬虫则是为垂直搜索引擎提供数据的自动化程序。本文主要研究了主题爬虫的各种搜索策略,指出了其中的劣以及最后对将来的发展做出了一个展望。     

Heritrix在垂直搜索引擎中的应用

主要介绍了垂直搜索引擎和网络爬虫的基本概念,以及Heritrix系统的体系结构,分析了Heritrix工作流程,并通过扩展Heritrix实现了对网易手机频道信息的多线程抓取,为建立面向手机信息的垂直搜索引擎提供了信息源。     

基于垂直搜索技术的搜索引擎

随着网络迅速发展,Internet上的资源日趋丰富,搜索引擎被网民广泛使用,搜索引擎的发展为垂直搜索引擎的出现提供了良好的市场空间,本文介绍了基于垂直搜索技术的搜索引擎,并探讨了垂直搜索引擎的优势.     

一种垂直搜索引擎主题相关性改进算法

迅速发展的Web给传统的搜索引擎带来了前所未有的挑战,面向特定主题或特定领域采集相关信息的垂直搜索引擎应运而生。在垂直搜索引擎中,网络蜘蛛的爬行策略和主题相关性判定算法是其核心。该文详细介绍了一种主题相关性判定算法-Hits算法,并在此基础上提出了一个改进的主题相关性判定算法,实验表明,改进的Hits算法提高了爬取网页的主题相关度,有助于网络蜘蛛爬取特定主题的信息。     

基于DotLucene的垂直搜索引擎的研究

36 网络信息资源的“爆炸”式增长使得人们获得有用信息日益困难，垂直搜索引擎应运而生。本文主要研究了下一代的搜索引擎-垂直搜索引擎，并利用Dotlucene建造一个中等规模的垂直搜索引擎，其关键字的拆分比对技术、信息检索的速度以及最终结果的排序都有独到之处.同时给出了部分核心算法。     

面向地学信息领域垂直搜索引擎设计与实现

垂直搜索引擎是搜索引擎领域的行业化分工,根据地学信息领域的行业特征、整体需求及其工作流程,在Nutch开源搜索引擎平台上添加了"庖丁解牛"中文分词算法、主题相关度评分算法、"主题词管理"选项等技术,建立了基于网络蜘蛛模型的面向地学信息领域的垂直搜索引擎。经过测试及结果比较,该系统相对于通用搜索引擎有明显的优势,使地学信息的定位和查找更加准确。该系统具有良好的扩展性和通用性,对垂直搜索引擎的研究和开发具有一定的借鉴作用。     

实现一个垂直育儿搜索引擎系统的探索

随着计算机技术和互联网技术的飞速发展,并逐步向社会各个领域渗透,各行各业都开始使用网络来获取和发送信息。育儿领域也是如此,越来越多的育儿信息用户选择利用网络来获得育儿信息支持。面对丰富而繁杂的网络育儿资源,育儿用户惊喜和无奈并存,惊喜的是网络育儿资源丰富而全面,无奈的是查找总是很麻烦。如何有效地整合这部分资源,为广大育儿信息用户提供方便?搜索引擎技术发展了十几年,已经渐趋成熟和完善,垂直搜索技术业已开始深入到各行各业,并取得成功的应用;育儿领域至今还没有出现任何类型的专业搜索引擎,广大的用户群体都在期待着能有一个专业而实用的垂直搜索引擎帮助他们获取所需要的信息。本文作者采用成熟的技术和一些开源代码构建了一个垂直育儿搜索引擎模型,希望抛砖能够引玉,引起广大同行的注意。     

垂直搜索引擎技术在不良网站发现中的应用研究

色情网站的发现是色情网站治理中的首要问题。随着互联网向纵深方向发展,垂直搜索引擎技术也得到了长足的发展。将垂直搜索引擎技术应用在色情网站搜索中,对于色情网站的治理意义非凡。简要介绍了垂直搜索引擎的关键技术及其在色情网站监测和管理中的应用价值,主要研究了垂直搜索技术在色情网站信息分类检索中的应用。     

手机产品垂直搜索引擎的研究与实现

随着网络技术的快速发展,通用搜索引擎已经不能满足用户的一些需求,特别是当用户需要搜索某一领域内的信息时,垂直搜索引擎就正好符合这种需求。以手机资源为背景,通过运用扩展Heritrix和Lucene,构建了一个检索结果比较精准的垂直搜索引擎。研究了通过定制和扩展Heritrix从互联网上爬取相关的信息资源,利用HtmlParser工具对爬取的信息进行分析和抽取,运用Lucene建立全文索引和提供检索服务,并设计了MVC的查询接口。通过响应时间、查全率和查准率的测试实验表明,系统达到了设计目标。     

垂直搜索的精细化功夫

随着信息社会的发展，广大网民对搜索引擎的需求越来越挑剔，搜索引擎也与时俱进，向精细化功能方向发展，于是垂直搜索引擎开始大显其能。垂直搜索的拳脚功夫垂直搜索引擎是针对某一个行业、领域、人群或特定需求的专业化搜索引擎。它对浩如烟海的网页库中的某类专门信息进行整合，定向、分字段抽取出需要的数据，处理后再以某种形式返回，供用户选择。垂直搜索引擎通过对元数据信息进行深度加工，能最大限度地满足用户对专业性、准确性、个性化的需求。     

垂直搜索引擎应用研究

随着Internet 和WWW 的迅速发展,Internet 上的资源日趋丰富,使得人们在浩如烟海的互联网中得到有用的信息日益困难,垂直搜索引擎应运而生。文章简要介绍了垂直搜索引擎的关键技术及其在政府门户中的应用价值,主要研究了垂直搜索引擎在中央人民政府门户的应用。     

基于Lucene的新闻垂直搜索引擎设计与实现

为了提高搜索引擎对新闻检索的准确度,在研究垂直搜索引擎的设计思想和相关技术的基础上,利用Lucene搜索框架设计了新闻垂直搜索引擎.对网络爬虫进行了抓取规则的订制,使其只会抓取新闻相关的网页.采用卡方统计量进行文本特征提取,利用TF*IDF算法进行特征权值计算,利用支持向量机分类算法对新闻数据进行分类.实验结果表明,该新闻垂直搜索引擎可以精准地按类别搜索出新闻信息.     

垂直搜索引擎在金融信息技术分析中的应用

本文以金融领域为例,在搜索引擎日益发达的今天,如果更有效果的利用搜索引擎在网络中的应用,更准确及时地反映信息采用者所需要的金融信息,如果解决垂直搜索引擎在分析中的应用,并进行了详细的关键性技术分析。     

垂直搜索的精细化功夫

随着信息社会的发展,广大网民对搜索引擎的需求越来越挑剔,搜索引擎也与时俱进,向精细化功能方向发展,于是垂直搜索引擎大显身手。     

一种面向B2B垂直搜索的网页信息去噪方法

B2B垂直搜索引擎是垂直搜索引擎在电子商务领域的应用。怎样更好地对互联网中海量的企业产品信息进行抽取和去噪,是当前B2B垂直搜索引擎构建中所面临的重要问题。介绍了B2B垂直搜索引擎的特征;分析了一般企业网站的基本结构,在此基础上提出一种面向B2B垂直搜索引擎的企业站点产品信息去噪方法;给出了该方法的实验结果。使用这种方法抽取到的产品信息可用于指导产品进一步的分类工作。     

一种面向B2B垂直搜索的网页信息去噪方法

B2B垂直搜索引擎是垂直搜索引擎在电子商务领域的应用.怎样更好地对互联网中海量的企业产品信息进行抽取和去噪.是当前B2B垂直搜索引擎构建中所面临的重要问题.介绍了B2B垂直搜索引擎的特征;分析了一般企业网站的基本结构,在此基础上提出一种面向B2B垂直搜索引擎的企业站点产品信息去噪方法;给出了该方法的实验结果.使用这种方法抽取到的产品信息可用于指导产品进一步的分类工作.     

面向网络股评观点的垂直搜索引擎设计与实现

股票市场是国家宏观经济环境的晴雨表。网民对股市评论观点在很大程度上反映了股市行情,也影响着股市涨跌。因此,通过网络文本情感极性分析技术和搜索引擎技术来挖掘网络股评观点是当前信息和金融学科的交叉研究课题热点之一。设计了一种融合全文搜索和观点挖掘的面向网络股评的垂直搜索引擎系统结构,提出了一种面向网络股评主题数据采集的定点收割算法和爬虫结构,并建立了一种网络股评的多粒度模糊计算的无监督情感极性分类方法,能实现股评观点的在线分析。通过对实现的垂直搜索引擎的测试表明,其在情感极性分类精度、爬虫数据采集效率、搜索引擎响应时间等性能指标上都能满足实际应用要求。     

一种基于本体的垂直搜索引擎系统模型

由于互联网上异构数据的爆炸性增长,目前依靠关键词技术的垂直搜索引擎遇到发展的瓶颈。本文引入本体论及相关技术,构建基于本体的垂直搜索引擎系统模型。模型中对抓取的异构信息进行本体化描述,在此基础上进行概念相似度计算,实现语义相关的本体查询,大大改善了目前垂直搜索引擎的查全率与查准率。