VC++编程实现基于倒排索引的信息检索

介绍经典的信息检索方法——倒排索引,分析倒排索引的设计思路、数据结构及工作原理,并用VC++编程实现.     

搜索引擎的混合索引技术

倒排文件是搜索引擎检索系统普遍采用的索引技术。针对中文搜索引擎中采用自动分词的全文检索因分词词典规模小导致的检索效率下降与词典规模扩大导致检索效果下降的矛盾,论文在天网搜索引擎的实践基础上,提出了一种基于倒排文件实现的混合索引的方法,它可以有效提高搜索引擎下短语查询的检索效率,同时不影响系统检索效果。     

应用于结构化文本的检索系统的设计和实现

该文介绍了一个应用于结构化文本的检索系统的设计和实现。根据结构化文本的自身特点,提出了文本层次划分的思想,通过层次划分,文本被切分成有结构信息和有独立思想内容的文本单元。在此基础上,对检索词实现结构化索引,同时采用层次匹配嵌套查询的方法来实现用户自然语言的提问查询。用户查询处理中还综合运用了查询结果优化、相似查询、二次查询及反馈评分的技术。     

中文网页分布式并行索引的设计与实现

Internet搜索引擎主要由搜索器、索引器和用户界面三部分组成。通过分析索引数据库在搜索引擎时效性及有效性方面的重要作用,提出一种多进程并行分词建立索引的方法。以中文网页数据库为基本语料库,采用正向最大匹配法进行中文分词,并用一种高效的倒排索引方式存储索引表。这种方法能够加快索引建立与更新的速度,并且在空间效率上也有较大的提高。     

并行密文倒排索引研究

加密数据是保护用户隐私的一个方法,特别在开放系统中的数据处理需求更为迫切,但要解决如何在密文上进行检索的问题。针对SSE-1密文检索方案的一些性能缺陷,采用不同的加密策略,在lucene倒排索引的基础上,设计了密文倒排索引Crypt-Lucene,同时结合云计算特点,设计了并行构建Crypt-Lucene方案,理论分析了方案的性能,并通过实验证明了方法的有效性。实验结果表明,Crypt-Lucene与SSE-1相比,索引构建时间减少了约为60%,同时具有较好的空间性能,对于大文档集合,利用MapReduce在4结点构成的Hadoop集群上并行构建8个Crypt-Lucene索引能减少83.4%的时间。     

一种实时更新索引结构的设计与实现

在搜索引擎的信息检索中,索引性能的优劣是影响检索质量的一个重要因素.本文针对面向主题搜索引擎内容覆盖范围窄、更新速度快的特点,设计了一种实时更新的索引结构,该方案的倒排索引结构打破了传统索引单一结构的形式,由主倒排索引、附加倒排索引和删除文件列表组成,很好的解决了索引的更新问题,实验结果显示该索引结构具有良好的性能.     

一种新的基于XML的索引机制

当前基于Web的半结构化数据越来越受到重视。该文分析了当前对XML数据检索的相关工作,提出了一种路径索引技术,并将之无缝结合了基于文本的倒排索引文档,以实现XML文档的内容和结构的双重检索。该方法只需要对文档库扫描一次,可以大幅度降低用户查询时间。     

基于lucene的站群全文检索系统设计与实现

针对在站群系统中目录检索所面临的不能全文检索以及关键词检索效率不高等问题,文章利用开源框架Lucene设计实现了一款站群全文检索系统。主要实现了站群内网页抓取、网页信息处理与索引、数据检索和用户交互界面等模块。该站群全文检索系统目前系统已上线,运行表明检索效率高,达到了较为精确的全文检索要求。     

分布式FTP并行搜索引擎的设计与实现

构建了搜索引擎系统结构,实现了在FTP文件服务器上所需资料的快速查找。设计和实现了搜索引擎的核心部分即数据搜索器、索引器、检索器、引擎控制台以及Web搜索界面五个模块。数据搜索器的分布并行多线程机制,实现了多台PC分布搜索服务策略;同时每台PC设置多线程搜索,多次尝试和断点续搜功能,保证了在网络不稳定的情况下也能够完成搜索、建库任务。索引器和检索器的双字母倒排索引机制对提高建库、索引和查找速度,效果非常明显。     

基于XML的站内检索系统

为实现可以为单独的网站提供站内全文检索系统,采用独立于专门商业搜索引擎的lucene索引结构,在网站所有的文档基础上,首先使用xml转换技术建立文档的xml索引格式,抽取文档主题内容写入xml链表,索引过程基于伪xml的存储布局。该方法在检索效率和准确性上都有很明显的提高,并且扩展性好,在原来解析链的结构下可以直接增加新的解析模块。     

企业内网内容检索系统的设计与实现

针对企业内网信息分散、检索困难、信息有效利用率低等问题,设计并实现了企业内网内容检索系统.系统充分利用Scrapy爬虫框架收集内网各个站点信息,存入数据库,并利用Flask创建Web应用,提供全文信息检索服务.不仅提高了工作人员的查询准确率,也提高了站内数据和信息的有效利用率.     

基于64位体系结构的倒排索引压缩算法

在64位体系结构的CPU中,字长从32位扩展到64位,处理器每次可以处理的数据也增加到64位。这对搜索引擎使用的核心数据结构——倒排索引的压缩与解压缩带来一定的影响。针对当前32位整数字对齐压缩算法Simple不适用于64位系统的问题,对其进行改进,并提出3种基于64位的字对齐压缩算法,即SimpleX64-16、SimpleX64-32和SimpleX64-64。3种算法都采用多种压缩模式,并对每个模式进行压缩空间的优化。在64位机器上GOV2和ClueWeb09B数据集的倒排索引实验结果表明,与传统的基于32位字对齐的压缩算法相比,3种基于64位字对齐的算法在解压速度方面最多提高14.5%,在压缩率方面最多提高2.5%。     

自动答疑系统知识库文本的索引研究

该文从传统的基于FAQ库自动答疑系统的知识库存储及检索方式的不足出发,提出了知识库文档预处理及建立倒排索引结构的方法。对倒排索引文档进行重组及性能进行优化,初始化了文档的权重,提高了文档内容的检索速度。     

基于XML文档的藏文网页倒排索引的研究与实现

如今互联网上藏文信息也不断的扩充,藏文搜索引擎作为常用的信息检索的工具和渠道,倒排索引又是搜索引擎的核心技术之一,倒排索引直接影响搜索引擎检索的结果和响应的速度。之所以文章详细介绍了一个自主开发的藏文网页倒排索引系统,它以XML文档的标签内容作为索引对象,定义了文档和文档属性等概念,采用C#语言对文藏文网页正文构建倒排索引的关键技术和实现方法进一步的阐述,实现了基于XML文档的藏文网页倒排索引数据库的底层实现,提供了技术参考。利用这种方法藏文搜索引擎中信息检索的速度和准确率有所提高。     

基于固态硬盘的在线全文索引管理策略研究

为解决基于固态硬盘的全文检索系统的在线索引管理问题,首先分析了现有的基于磁盘的索引管理策略,指出传统索引方法会造成固态硬盘的过分损耗,并不适用于固态硬盘.然后提出了一种针对固态硬盘的在线索引管理方法:基于分块的部分合并.该方法避免了对固态硬盘有害的索引原地更新,并以固态硬盘高速随机读取的特点为基础,通过减少不必要索引合并减轻固态硬盘的负担.实验结果表明,该策略不仅具有优越的索引与检索性能,还大幅减少了固态硬盘的损耗.     

基于Web的网络爬虫的设计与实现

无论是站内信息检索还是特定的Web信息搜集,都离不开全文搜索引擎系统的核心模块--网络爬虫,本文详细介绍了一种设计及实现方案,包括页面搜集器和页面索引器的基本工作流程、数据存储结构、核心算法及主要的技术难点.该系统经实际运行,效果良好,最后给出了有待进一步改进的地方.     

倒排链表多层自索引结构的分析与设计

在大型搜索引擎的查询处理过程中,对索引文件的顺序遍历将导致响应时间过长。自索引结构能够有效解决上述问题。为了进一步缩短查询时间,通过对当前索引文件自索引结构的分析,设计了倒排链表的多层自索引结构。此结构以定长元组为单位,使用迭代的方法提取数据段同步点形成上层自索引。在此基础上,实现了索引压缩与查询系统。基于TREC GOV2数据集的测试结果表明,该系统的各项性能指标均优于不采用自索引结构的查询系统,在不影响结果精度的情况下使检索效率得到大幅提升。     

利用倒排文档实现基于内容的图像检索

提出了一种利用文本检索技术进行基于内容的图像检索的新方法。将每个图像的所有特征以变长列表的方式存储为特征文件,然后使用倒排文档来对特征文件进行索引。在查询时,系统计算出目标图像中含有的每种特征的词频,然后利用这些词频为图像库中的每个含有相同特征的图像计算权重,从而检索出相关图像。     

大规模搜索引擎检索系统框架与实现要点

随着Web规模的不断扩大，搜索引擎正成为因特网上最常用的应用之一。本文以天网搜索为实例，分析了大规模通用型中文搜索引擎检索系统的设计与实现技术。围绕检索效率和检索效果两个方面，本文介绍天网检索系统的集成框架结构和分布式架构，并分析了索引创建和索引检索中的相关实现技术。     

基于策略爬行与混合索引的医药行业垂直搜索引擎的设计与实现

随着互联网应用的深入,越来越多的用户希望通过搜索引擎获得特定行业的相关信息,通用搜索引擎无法有效地满足相应需求。文中主要介绍医药行业垂直搜索引擎的设计与实现。设计基于智能搜索引擎的架构,采用了任务驱动的聚焦搜索、隐藏搜索技术;字词混合倒排索引及优化的字倒排索引、检索技术。提供了资源收集阶段的可控策略爬行,和高效的索引、检索功能。实现了针对医药行业的高专业度、高准确率、高效率的信息垂直搜索。