Web搜索引擎综述

1 引言互联网络的历史只能从1960年代后期算起。从早期的ARPANet,到目前的Internet,互联网飞速发展,基于互联网的各种应用也应运而生。互联网上的信息也越来越多,因此迫切要求一种信息检索工具。1991年,XWAIS提供了一个界面友好的信息搜索系统,但是这个系统要求很特殊的文件格式。在同一年出现了另外一个信息检索系统GOPHER,GOPHER一时成为最为流行的检索工具。由于GOPHER基于字符界面,一般的互联网用户还是很少使用它。真正让互联网普及的转机出现在1993年。当年美国国家计算机安全协会NCSA推出第一个基于HTML语言的可以浏览图形的浏览器Mosaic。它使得普通的用户可以轻松地使用互联网。1994年,美国网景公司推出免费浏览器Netscape。这使得以HTML为格式的信息迅速膨胀。是年,Yahoo公司创立,它提供基于目录的信息检索服务。而真正意义上的搜索引擎创建于1994年春天的Lycos,当时Michael Mauldin将John Leavitt的“网络蜘蛛”(spider)程序接入到其索引程序中。     

Web信息检索服务系统与搜索引擎

引言由于WWW的信息量在不断地增加,而且不断地动态更新,人们研制了许多web索引与检索服务系统以帮助用户查找信息。按照信息收集和索引的方式,大体上可将Web索引与检索服务系统分为三类。第一种是将手工收集到的信息编成HTML文件,按某种次序排列组织,使用户可以通过索引进行查阅。     

一种新的搜索引擎查询导向系统

网络上的专业搜索引擎数量众多，普通用户在选择时往往无所适从。文章提出了一个自动的查询导向系统，可以将用户查询自动导向到合适的专业搜索引擎，解决了这个矛盾。     

Web搜索引擎框架研究

Ｗｅｂ搜索引擎是Ｉｎｔｅｒｎｅｔ上非常有用的信息检索工具,但是由于目前搜索引擎检索出的信息量庞大,且一个特定的搜索引擎主要包含某一特定领域的信息,这使得用户很难从某一个搜索引擎获得准确的导航信息。文中提出一个新的Ｗｅｂ搜索引擎框架ＧＳＥ,并提出了一个适合于Ｗｅｂ信息获取与处理的语言ＷＥＲＰＬ。通过ＷＩＲＰＬ可以将多个Ｗｅｂ搜索引擎结合起来,为用户提供一个一致、高效、准确的Ｗｅｂ搜索引擎。     

网络搜索引擎的用户查询分析

利用教科网搜索引擎“网络指南针”的查询记录,就其中102439个用户的810396次查询,在用户查询方式、查询表达表达以及查询词3个层次上,对用户查询行为进行了分析,得到了搜索引擎用户查询的一般规律。根据上述结论对搜索引擎的进一步发展进行了讨论。     

利用WEB技术改造传统MIS系统的查询界面

传统的MIS系统一般是由关系型数据库和相应的应用程序组成,有相当数量的企事业单位的MIS系统是由分散的相对较小的应用系统组成.对每个业务部门所使用的应用系统来说,系统功能和人机界面都能满足要求,但对单位的决策者和管理者来说,由于每个应用系统有不同的人机界面,使得他们在使用MIS系统时有很多不便之处.现在,由于Internet技术的成熟,可以利用WEB技术来解决这个问题.在In-ternet中,有成千上万个应用系统,而人机界面只有一种,即     

一种基于语义单元的查询扩展方法

查询扩展技术通过向初始查询请求中加入相似或者相关的词,来减少查询请求与相关文献在表达上的不匹配现象,改善检索性能.本文利用语义单元的语义表达能力和语义单元之间的关系,将与初始查询具有密切语义关系的查询词或短语加入到初始查询请求中,更加全面地表示了用户的查询意愿.算法的时间复杂度为O(L),只与搜索请求的长度L有关,与语义单元表示库的规模无关,这对实时性要求较高的搜索引擎来讲是很实用的.     

多任务中文Web查询分析

用户在使用Web搜索引擎进行信息查询时，可能包含单个或多个主题。该文针对大规模中文搜索引擎系统——北大天网的多任务Web查询，进行了研究和分析。结果显示：多于1/3的用户进行多任务Web查询；超过1/2的多任务会话包含2个不同的主题并进行2~7次查询；多任务会话时间的均值是一般会话时间均值的2倍；天网用户的多任务查询主要有3个主题：计算机，娱乐和教育；近1/4的多任务会话中包含不确定的信息。该文用关联分析的方法发现了用户查询主题之间的一些关系。     

Web数据库多表查询设计与实现

本文阐述了利用ASP技术与客户端脚本语言,实现在B/S模式下,对多表Web数据库的查询。其中包括界面设计,SQL语句的形成与优化,查询结果的显示与交互性方面的内容。     

一种分布式搜索引擎设计

1 引言随着Internet的发展,地理上分散的、功能独立的计算机系统内的海量信息资源也由封闭式转变成开放式。其信息特点是;(1)Internet的信息组织形式各异,分布广泛;(2)数据和服务的类型都在增加,可利用性和可靠性也在不断的变化;(3)信源的动态性。这些特点导致信息量巨大,而且信息的获取并非容易。由此带来了一个重要的问题就是搜索引擎的设计。所谓搜索引擎,简单地说,就是指对WWW站点资源和其他网络资源的检索和管理的一类检索系统机制。搜索技术的发展是伴随计算机应用而生的,从最初的文件检索和文档的查找,到现在的Internet搜索。在这过程中,随问题的提出而逐步得到解决。例如早期人们在从大量的文件和大篇幅的文档中找到自己所需的文件和字符串。在Internet中人们的视野显得更开阔了,但是人的需求与自身的“能动力”有相当大的差距。这就要求有一种智能化的搜索机制来完成。从20世纪80年代起人们就开发了诸如Archive、WAIS、     

基于网络知识库与通用搜索引擎的查询词扩展方法

对查询词进行扩展是为了进一步理解用户的搜索意图,使得搜索引擎返回更加准确的信息。已有的方法主要研究如何寻找与查询词相似的词,然而相似的户的词并一定能真正反映用意图。从网络知识库中抽取查询词的待扩展词,并利用通用搜索引擎对待扩展词进行排序,这样的查询词扩展方法充分利用了网络群体智慧,使得扩展词更加贴近用户的搜索期望。通过进行实验对比发现,该方法有较好的结果。     

基于Web的查询扩展

查询扩展是一种改善信息检索召回率的重要技术。该文根据维基百科和搜索引擎各自的优点来实现查询词的扩展,试图提高检索结果top N的准确率。由于维基百科篇章中存在着大量的超链接,这些超链接中包含着与主题紧密相关的词条,通过提取这些词条,来实现基于维基百科的扩展。实验基于搜索引擎伪相关反馈的查询扩展作为baseline,分别对单语扩展系统和中英文跨语言扩展系统进行检测。实验结果表明本文的方法相比baseline系统,单语系统中MAP值提高6.41%,跨语言系统中Top10-precision值提高10.90%。     

强力搜索引擎Turbostart

ＴｕｒｂｏＳｔａｒｔ为目前最为强劲的搜索工具，能够同时向２７０个最流行的Ｗｅｂ搜索引擎发出请求。可从ｈｔｔｐ：／／ｗｗｗ、ｔｕｒｂｏｓｔａｒｔ．ｎｅｔ／ｔｕｒｂｏ．ｚｉｐ处直接下载。１开始搜索ＴｕｒｂｏＳｔａｒｔ的操作既简单又直观，如图ｌ。只需按照以下三个步骤即可完成：（１）键入搜索关键字。（２）选择搜索引擎。（３）单击“ｇｏ！”按钮。在进行一次搜索时，可以选择两个或两个以上的搜索引擎，让ＴｕｒｂｏＳｔａｒｔ同时搜索这些引擎，从而加大搜索的范围、缩短搜索时间。单击“Ａｌｌ”按钮，将选中当前类别中…     

基于日志分析的搜索引擎查询结果缓存研究

缓存是有效减少响应时间和系统负载的关键技术,是搜索引擎系统结构研究的重要领域之一.通过对搜狗搜索引擎在近1个月内约1500万条用户查询日志进行分析和研究,针对查询结果缓存,从查询局部性、缓存策略、缓存容量、工作负载周期性等方面进行分析.分析表明,混合缓存策略以及提高缓存容量相结合的技术能有效提高搜索引擎系统性能.     

基于用户的Web元搜索引擎调度改进

本文首先介绍了传统搜索引擎的基本原理及结构,指出了传统搜索引擎存在的不足,然后介绍了元搜索引擎的定义、运作机制及其发展的方向,在此理论的基础上提出了新一代元搜索引擎基于用户的调度改进理念,实验表明,该改进提高了用户的检索效率和质量。     

基于用户的Web元搜索引擎调度改进

首先介绍了传统搜索引擎的基本原理以及结构,指出了传统搜索引擎存在的不足,然后介绍了元搜索引擎的定义、运作机制及其发展的方向。在此理论基础上提出了新一代元搜索引擎基于用户的调度改进理念。实验表明,该改进提高了用户的检索效率和质量。     

基于Web的查询扩展

查询扩展是一种改善信息检索召回率的重要技术。该文根据维基百科和搜索引擎各自的优点来实现查询词的扩展,试图提高检索结果top N的准确率。由于维基百科篇章中存在着大量的超链接,这些超链接中包含着与主题紧密相关的词条,通过提取这些词条,来实现基于维基百科的扩展。实验基于搜索引擎伪相关反馈的查询扩展作为baseline,分别对单语扩展系统和中英文跨语言扩展系统进行检测。实验结果表明本文的方法相比baseline系统,单语系统中MAP值提高6.41%,跨语言系统中Top10-precision值提高10.90%。     

一种基于Agent的分布式搜索引擎

分析了传统搜索引擎的不足，提出了一种基于Agent的分布式搜索引擎以Agent的方法实现了搜索引擎的各项功能，描述了多个搜索引擎利用Agent通信机制组成分布式网络的过程。     

元搜索引擎及其实现

单个搜索引擎的索引和处理能力的提高赶不上Web数据的快速增长,结果是任何单个搜索引擎只能索引Web的一部分文档,用户需要的文档分布在许多搜索引擎的文档数据库中,元搜索引擎是架构在许多搜索引擎之上的搜索引擎,它利用各个成员搜索引擎提供的服务,能够高效方便地找到这些文档,然后合并成员搜索引擎返回的结果呈现给用户,实现了一个元搜索引擎系统,并给出建立一个高效的元搜索引擎的关键技术和经验。