Internet搜索引擎索引数据库的设计与实现

Internet网络环境搜索引擎主要由三部分组成：搜索器、索引数据库和用户界面。搜索器搜索到Internet的Web页面后，将页面信息存入索引数据库，最后通过用户界面提供给用户。介绍索引数据库的组织和索引过程的实现。搜索器采用Spider，将搜索结果存入索引数据库。     

分布式FTP并行搜索引擎的设计与实现

构建了搜索引擎系统结构,实现了在FTP文件服务器上所需资料的快速查找。设计和实现了搜索引擎的核心部分即数据搜索器、索引器、检索器、引擎控制台以及Web搜索界面五个模块。数据搜索器的分布并行多线程机制,实现了多台PC分布搜索服务策略;同时每台PC设置多线程搜索,多次尝试和断点续搜功能,保证了在网络不稳定的情况下也能够完成搜索、建库任务。索引器和检索器的双字母倒排索引机制对提高建库、索引和查找速度,效果非常明显。     

IT新语林:搜索引擎

搜索器简介 在因特网背景下,“搜索引擎”是一种利用搜索器(Bot)程序搜索Web 网页的网站。搜索引擎利用自己的搜索器所收集到的信息创建一个索引数据库,便于搜索引擎检索。Bot 是Robot(机器人)的简写,这个术语经常与“智能代理”互换使用。这种工具用于筛选数据,并可以为专门执行一个具体功能而特殊定制(例如购物搜索器)。作为搜索引擎的一个组成部分,Bot 也被称为 Web 网络蜘蛛或Web 网络爬虫。 在一般情况下,搜索器从一个统一资源定位地址(URL)的访问清单开始。它在访问时能辨认出网页上的所有超级链接,并将其添加到访问清单中。这样,…     

中文网页分布式并行索引的设计与实现

Internet搜索引擎主要由搜索器、索引器和用户界面三部分组成。通过分析索引数据库在搜索引擎时效性及有效性方面的重要作用,提出一种多进程并行分词建立索引的方法。以中文网页数据库为基本语料库,采用正向最大匹配法进行中文分词,并用一种高效的倒排索引方式存储索引表。这种方法能够加快索引建立与更新的速度,并且在空间效率上也有较大的提高。     

搜索引擎的设计剖析

本文介绍了搜索引擎的四个组成部分：搜索器、索引器、检索器和用户接口，并分析其工作原理，给出搜索引擎中包含的关键技术算法，分词技术、多路归并算法和大文件处理技术；最后结合当前最新的几种搜索引擎在多语言处理，专业化和有效性等方面的技术改进目标。     

具有扩充检索功能的石油化工专业信息搜索引擎的设计与开发

网络信息的日益增加迫切需要适宜的检索工具,特别是进行专业信息的检索,需要体现专业词汇特点的搜索引擎。本文在对搜索引擎核心技术进行研究的基础上,提出了石油化工信息搜索引擎的设计方案,开发了网络机器人模块,实现了海量网页的自动获取;采用最短路径分词和正向最大匹配相结合的算法,实现了中文自动分词;开发了信息索引模块,实现了网页的批量索引和增量索引;开发了信息检索模块,提供布尔逻辑查询,实现摘要自动生成。通过系统集成,初步建立了体现石油化工专业特点的搜索引擎。     

搜索引擎倒排索引技术的改进

倒排文件是搜索引擎检索系统普遍采用的索引技术。在实验基础上，针对中文搜索引擎中索引的时效性和传统倒排索引在更新时的缺点，提出分组索引技术和一种追加索引的更新算法，可以有效提高搜索引擎的检索效率，同时不影响系统检索效果。     

网络搜索引擎的分析与设计

网络搜索引擎是一种特殊的信息检索系统,其是针对整个互联网进行检索的。本文主要对网络搜索引擎的模型进行了分析,并且对网络搜索引擎的索引过程和检索结果的排序过程进行了设计。     

基于XML文档的藏文网页倒排索引的研究与实现

如今互联网上藏文信息也不断的扩充,藏文搜索引擎作为常用的信息检索的工具和渠道,倒排索引又是搜索引擎的核心技术之一,倒排索引直接影响搜索引擎检索的结果和响应的速度。之所以文章详细介绍了一个自主开发的藏文网页倒排索引系统,它以XML文档的标签内容作为索引对象,定义了文档和文档属性等概念,采用C#语言对文藏文网页正文构建倒排索引的关键技术和实现方法进一步的阐述,实现了基于XML文档的藏文网页倒排索引数据库的底层实现,提供了技术参考。利用这种方法藏文搜索引擎中信息检索的速度和准确率有所提高。     

搜索引擎的原理及技术分析研究

对搜索引擎的原理及技术作了全面的、系统的分析研究,系统地揭示了搜索引擎的核心技术:网络蜘蛛,索引数据库建立和检索,网页评级排序。概述了搜索引擎存在的问题、未来发展及搜索安全。     

搜索器的设计与实现

搜索引擎是从WWW上快速而有效地获取信息资源的捷径．而搜索器技术则是搜索引擎的．关键技术。本文分析了搜索引擎中搜索器的地位和重要性，并提出了一个实现中型网站智能搜索器的设计思路和实现方法。     

一种索引系统架构的优化策略研究

在局部索引架构下,应用搜索引擎优化算法会对索引系统的性能带来负面的影响。目前主要有两种索引架构：全局索引和局部索引,本文针对它们各自的优缺点,应用搜索引擎优化策略,提出综合使用两种索引架构：索引系统整体上采用局部索引架构,并对高频关键词对的postinglist交集采用全局索引架构的方式,可以很好的解决这个问题。     

一种新型面向商业领域搜索引擎的设计与实现

分析了商业领域搜索引擎与传统搜索引擎的区别.为满足商业需求,需要对传统的搜索引擎进行改进.设计了一种面向商业领域搜索引擎的系统架构,并着重对索引部分的设计与实现进行了详细的分析.     

Implementing and evaluating phrasal query suggestions for proximity search

This paper describes and evaluates a unified approach to phrasal query suggestions in the context of a high-precision search engine. The search engine performs ranked extended-Boolean searches with the proximity operator near being the default operation. Suggestions are offered to the searcher when the length of the result list falls outside predefined bounds. If the list is too long, the engine specializes the query through the use of super phrases; if the list is too short, the engine generalizes the query through the use of proximal subphrases.We describe methods for generating both types of suggestions and present algorithms for ranking the suggestions. Specifically, we present the problem of counting proximal subphrases for specialization and the problem of counting unordered super phrases for generalization.The uptake of our approach was evaluated by analyzing search log data from before and after the suggestion feature was added to a commercial version of the search engine. We looked at approximately 1.5 million queries and found that, after they were added, suggestions represented nearly 30% of the total queries. Efficacy was evaluated through a controlled study of 24 participants performing nine searches using three different search engines. We found that the engine with phrasal query suggestions had better high-precision recall than both the same search engine without suggestions and a search engine with a similar interface but using an Okapi BM25 ranking algorithm.     

结合本体筛选和文本挖掘的垂直搜索引擎研究

针对垂直搜索引擎研究领域的关键技术问题,提出了一个结合本体筛选和文本挖掘的垂直搜索引擎构建思想.首先探讨了作为研究基础的本体和文本挖掘技术,讨论了两者的作用;之后阐述了垂直搜索引擎构建的关键技术,包括基于本体筛选的智能搜索器、结合文本挖掘的网页信息分析及抽取、索引器及查询处理器的构造;最后,对提出的思想进行了实现验证,构造一个面向高校毕业生招聘的垂直搜索引擎原型.     

维、哈、柯多语种搜索引擎中改进索引创建的新方法的构思

通过对目前处于研究发展阶段的后缀数组技术与倒排索引技术的简单介绍,并对两者的优缺点进行了对比,对维、哈、柯文搜索引擎的索引创建进行改进的新方法提出了构思,以实现查询效率和查准率的提高。     

个性化高效元搜索引擎的设计与实现

介绍了一个高效的元搜索引擎系统SMS(Smart Meta Searcher),采用检索实例知识库对用户的检索意图进行推理,同时给出一套独特的星级排行评价策略,通过用户行为分析技术为用户提供个性化信息检索服务,以及其在未来搜索引擎个性化、智能化、专业化和多媒体搜索的发展方向所做的探索工作。