垂直搜索引擎的抓取系统——基于网络蜘蛛技术

网络信息资源的爆炸式增长使得人们获得有用信息日益困难,随着垂直网站的出现和发展．专业化的垂直搜索引擎成为今后搜索引擎发展的主流。该文简要介绍了垂直搜索引擎,并重点对其抓取系统所应用的网络蜘蛛技术做了详细分析,最后讨论了垂直搜索引擎的发展方向。     

垂直搜索引擎蜘蛛系统的设计与实现

网络信息资源的爆炸式增长使得人们获得有用信息日益困难,随着垂直网站的出现和发展,专业化的垂直搜索引擎成为今后搜索引擎发展的主流.本文介绍了垂直搜索引擎的特点和系统的基本构成,在此基础上采用实证研究的方法,详细介绍了基于手机信息检索的垂直搜索引擎的设计与实现.     

垂直搜索引擎之主题网络爬虫

21世纪的今天,网络信息量呈几何倍数的增长。传统的通用搜索引擎已经不能很好的满足我们对特定信息的需求。所以,针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务的垂直搜索引擎应运而生。而主题网络爬虫则是为垂直搜索引擎提供数据的自动化程序。本文主要研究了主题爬虫的各种搜索策略,指出了其中的劣以及最后对将来的发展做出了一个展望。     

Heritrix在垂直搜索引擎中的应用

主要介绍了垂直搜索引擎和网络爬虫的基本概念,以及Heritrix系统的体系结构,分析了Heritrix工作流程,并通过扩展Heritrix实现了对网易手机频道信息的多线程抓取,为建立面向手机信息的垂直搜索引擎提供了信息源。     

一种垂直搜索引擎主题相关性改进算法

迅速发展的Web给传统的搜索引擎带来了前所未有的挑战,面向特定主题或特定领域采集相关信息的垂直搜索引擎应运而生。在垂直搜索引擎中,网络蜘蛛的爬行策略和主题相关性判定算法是其核心。该文详细介绍了一种主题相关性判定算法-Hits算法,并在此基础上提出了一个改进的主题相关性判定算法,实验表明,改进的Hits算法提高了爬取网页的主题相关度,有助于网络蜘蛛爬取特定主题的信息。     

基于垂直搜索技术的搜索引擎

随着网络迅速发展,Internet上的资源日趋丰富,搜索引擎被网民广泛使用,搜索引擎的发展为垂直搜索引擎的出现提供了良好的市场空间,本文介绍了基于垂直搜索技术的搜索引擎,并探讨了垂直搜索引擎的优势.     

基于DotLucene的垂直搜索引擎的研究

36 网络信息资源的“爆炸”式增长使得人们获得有用信息日益困难，垂直搜索引擎应运而生。本文主要研究了下一代的搜索引擎-垂直搜索引擎，并利用Dotlucene建造一个中等规模的垂直搜索引擎，其关键字的拆分比对技术、信息检索的速度以及最终结果的排序都有独到之处.同时给出了部分核心算法。     

面向地学信息领域垂直搜索引擎设计与实现

垂直搜索引擎是搜索引擎领域的行业化分工,根据地学信息领域的行业特征、整体需求及其工作流程,在Nutch开源搜索引擎平台上添加了"庖丁解牛"中文分词算法、主题相关度评分算法、"主题词管理"选项等技术,建立了基于网络蜘蛛模型的面向地学信息领域的垂直搜索引擎。经过测试及结果比较,该系统相对于通用搜索引擎有明显的优势,使地学信息的定位和查找更加准确。该系统具有良好的扩展性和通用性,对垂直搜索引擎的研究和开发具有一定的借鉴作用。     

实现一个垂直育儿搜索引擎系统的探索

随着计算机技术和互联网技术的飞速发展,并逐步向社会各个领域渗透,各行各业都开始使用网络来获取和发送信息。育儿领域也是如此,越来越多的育儿信息用户选择利用网络来获得育儿信息支持。面对丰富而繁杂的网络育儿资源,育儿用户惊喜和无奈并存,惊喜的是网络育儿资源丰富而全面,无奈的是查找总是很麻烦。如何有效地整合这部分资源,为广大育儿信息用户提供方便?搜索引擎技术发展了十几年,已经渐趋成熟和完善,垂直搜索技术业已开始深入到各行各业,并取得成功的应用;育儿领域至今还没有出现任何类型的专业搜索引擎,广大的用户群体都在期待着能有一个专业而实用的垂直搜索引擎帮助他们获取所需要的信息。本文作者采用成熟的技术和一些开源代码构建了一个垂直育儿搜索引擎模型,希望抛砖能够引玉,引起广大同行的注意。     

垂直搜索引擎技术在不良网站发现中的应用研究

色情网站的发现是色情网站治理中的首要问题。随着互联网向纵深方向发展,垂直搜索引擎技术也得到了长足的发展。将垂直搜索引擎技术应用在色情网站搜索中,对于色情网站的治理意义非凡。简要介绍了垂直搜索引擎的关键技术及其在色情网站监测和管理中的应用价值,主要研究了垂直搜索技术在色情网站信息分类检索中的应用。     

图书垂直搜索引擎的设计

图书垂直搜索引擎是当前专业搜索引擎的重要组成部分.本文对传统图书搜索引擎存在的问题(信息内容形式单一、缺少个性化服务和用户体验效果差)进行了分析,提出相应的解决方案,并对其中的部分关键技术进行了研究.最后,对相关的实现进行了细化.     

基于 Lucene 的企业信息垂直搜索引擎

通用搜索引擎在广泛使用的同时,也出现了搜索范围太宽泛、搜索结果中冗杂信息过多、搜索不够精确等问题。在对搜索引擎的工作原理进行深入学习之后,提出基于Lucene的企业信息垂直搜索系统,并调用百度地图API,采用Java语言编程实现该系统。     

一种面向B2B垂直搜索的网页信息去噪方法

B2B垂直搜索引擎是垂直搜索引擎在电子商务领域的应用。怎样更好地对互联网中海量的企业产品信息进行抽取和去噪,是当前B2B垂直搜索引擎构建中所面临的重要问题。介绍了B2B垂直搜索引擎的特征;分析了一般企业网站的基本结构,在此基础上提出一种面向B2B垂直搜索引擎的企业站点产品信息去噪方法;给出了该方法的实验结果。使用这种方法抽取到的产品信息可用于指导产品进一步的分类工作。     

面向领域的智能搜索引擎设计与实现

传统的主题搜索技术难以适应大范围垂直领域的智能搜索需求,通过将主题搜索与语义搜索相关技术分别应用到搜索引擎的数据采集与智能查询过程中,利用基于层次分类模型的领域数据采集机器人,完成对领域信息的精准采集,基于中文百科资源自动构建领域本体,将大规模领域本体库用于搜索引擎的语义扩展推理中,实现了一个面向领域的智能搜索引擎。实验结果表明,基于层次结构的领域分类具有较高的分类准确率和召回率,与其他搜索引擎相比较,该系统具有领域专业性强、领域易于移植、检索更加智能等特点。     

Towards a multimedia World-Wide Web information retrieval engine

Search engines are useful because they allow the user to find information of interest from the World-Wide Web. However, most of the popular search engines today are textual; they do not allow the user to find images from the Web. This paper describes a search engine that integrates text and image search. One or more Web sites can be indexed for both textual and image information, allowing the user to search based on keywords or images or both. Another problem with the current search engines is that they show the results as pages of scrolled list; this is not very user-friendly. Therefore our search engine allows the user to visualize the results in various ways. This paper explains the indexing and searching techniques of the search engine and highlights several features of the querying interface to make the retrieval process more efficient. Examples are used to show the usefulness of the technology.     

智能化垂直搜索系统的构建

文章针对垂直搜索引擎技术进行了介绍,介绍了通用信息检索技术、信息抽取技术和信息抓取技术,例如Nutch和GATE。并利用当前流行的技术构建了一个垂直搜索引擎,最后描述了系统的架构和实现过程。     

Supporting metasearch with XSL

Metasearch engines offer better coverage and are more fault-tolerant and expandable than single search engines. A metasearch engine is required to post queries with and obtain retrieval results from several other Internet search engines. In this paper, we describe the use of the extensible style language (XSL) to support metasearches. We show how XSL can transform a query, expressed in XML, into different forms for different search engines. We show how the retrieval results could be transformed into a standard format so that the metasearch engine can interpret the retrieved data, filtering the irrelevant information (e.g. advertisement). The proposed structure treats the metasearch engine and the individual search engines as separate modules with a clearly defined communication structure through XSL. Thus, the system is more extensible than coding the structure and syntactic transformation processes. It allows other new search engines to be included just through plug-and-play, requiring only that the new transformation of XML for this search engine be included in the XSL.     

垂直搜索引擎的构建与应用

本文首先分析了互联网搜索引擎的现状,而后对垂直搜索引擎进行了系统设计,并阐述了系统实现的要点,最后对垂直搜索引擎的应用和特点做了总结,对读者了解垂直搜索引擎的概念和实现原理有一定现实意义。