XML数据索引技术

对XML数据建立有效的索引,是左右XML数据处理性能的重要因素.深入地讨论了目前XML索引技术的研究现状,将XML索引技术分为两大类:节点记录类索引(本身还可以分为3个小的类型)和结构摘要类索引.根据XML数据查询处理效率以及XML数据修改对XML索引的要求,讨论了相关XML索引方法的优点和不足,并归结出XML索引后续研究的3个方向:XML结构信息的获取,路径信息的多维处理,数据修改合法性的有效支持,以及涉及能够同时有效满足XML查询和信息获取的索引.     

面向XML文档检索的索引技术

XML文档的查询索引是当前研究的热点.该文探讨XML文档的索引技术,包括索引结构的设计等问题,给出了一个高效的XML索引方法,采用独特的编码方法,对XML文档及其遵循的DTD同时建立索引,有效支持内容和结构的双重检索;该方法结合了区间编码、倒排表和路径索引的思想,利用DTD结构信息来提高查询的效率.实验结果表明,本文提出的方法可以有效地降低建立XML数据索引的代价,能够缩短查询的响应时间.     

基于Schema的XML混合编码索引查询技术

Web中存在着越来越多的XML的文档,如何高效地从XML文档查询出有效信息已经成为当前在半结构化数据研究领域中的热点问题。针对XML文档节点进行编码和建立索引结构可以有效地提高查询速度,提出一种SBXHCI(Schema-Based XML Hybrid Coding Indexing)查询技术,该方法充分利用Schema信息对XML文档进行编码和构建索引。对创建索引所花费的时间和空间,查询响应的时间进行大量的实验分析,结果表明SBXHCI方法的编码机制降低了索引结构在时间和空间的资源消耗,并且在路径查询的响应速度有着显著的提高。     

一种基于XML结构索引的模式匹配改进算法

XML已经成为Internet上数据交换和数据集成的事实标准.随着XML的广泛应用,XML文档数量不断增多.如何高效地查询XML数据变得越来越重要.针对目前分支查询中普遍采用的基于堆栈的查询处理算法所存在的问题,提出了一种基于XML结构索引的模式匹配改进算法,通过选择合适的标签编码方式,利用XML结构索引,快速判断出元素之间的相互关系,防止大量不必要节点放入堆栈,从而提高查询处理效率.实验结果证明,文中改进的模式匹配算法Twig-Modify相比TwigStack以及TwigINLAB在查询处理的性能上有所提高     

基于F&B索引的XML查询处理算法

XML已成为信息交换和表示的标准.对XML数据的查询将返回满足特定约束的XML节点子集.对于大文件的XML数据的查询处理通常分为两步:1.为该XML数据建立一个索引;2.在索引上完成查询处理无需访问源文档.XML索引为查询处理提供了高效的帮助,其中F&B索引是已知的处理分枝查询最小的索引,但快速创建F&B索引和利用F&B索引完成查询处理的算法却很少有人研究.提出了一种素数序列标记法,这种标记法不仅有助于快速地建立F&B索引,更可以高效地完成F&B索引上的查询处理.此外,还给出了F&B索引上的区间标记法与CCPI的创建过程,这两种编码创建过程无需在建立F&B索引后二次创建,仅需与F&B索引创建过程一起对文档使用SAX解析器分析一次即可得到.这样,可以在F&B索引的区间标记法上使用TwigStack算法执行查询处理,在F&B索引的CCPI标记法上使用关联路径连接算法执行查询处理.还给出了基于素数序列标记法的查询处理算法,即素数整除匹配算法,该算法可以高效地判定某节点是否有某分枝子结构.实验表明基于素数序列标记法的F&B索引创建方法比SAM算法快,在多个数据集F&B索引上素数整除匹配算法优于关联路径连接算法和Twi...     

基于XML索引技术的有效外延连接

首先给出了XML文档树、元素外延和名字路径等的形式化定义.接着,将编码方案、路径索引和名字外延的思想相结合,提出了一种改进的XML数据的索引结构(类型索引集、名字索引集和外延索引),解决了基于传统索引技术的XML数据查询方法性能上的不足.它既可以有效地支持结构连接的计算以快速地判断任意结点之间的子孙后代关系,也可以有效地支持基于名字外延的路径连接算法以快速地判断任意结点之间的父子关系,然后还可以快速地支持对包含拥有关系的小枝查询;进而给出了基于该索引结构的外延连接算法,并着重对其处理含有父子关系和拥有关系等较复杂的XPath查询路径的不同处理过程进行了对比和分析,使得对于一条长度为n的XPath绝对路径查询,最多只需要n/2-1次外延连接,且能够根据双亲结构信息等利用外延索引尽可能跳过不需要参与连接的结点.实验结果表明,提出的新的索引结构可以有效地提高查询处理的性能.     

连续不确定XML数据索引技术研究

针对连续不确定XML数据的概率阈值查询,提出CPTI(Continuous Probabilistic Threshold Index)索引技术,包括CPTI结构索引和CPTI值索引。CPTI结构索引扩展了结构索引F-index支持连续不确定XML数据,通过CPTI结构索引查询twig小枝,并确定小枝的路径概率;CPTI值索引是一个二维表,记录cont类节点的概率信息,通过CPTI值索引过滤与查询无关的元素以减少查询中需要处理的元素数目。实验表明,此索引技术可极大地提高查询处理的性能。     

一种新的基于Dewey编码的XML路径索引

建立高效的索引来快速定位满足要求的节点是提高XML数据查询效率的一个必要手段.文中以降低复杂度和提高查询效率为目标,以基于路径的XML索引原理为基础,提出了一种新型的基于Dewey编码的索引结构RTL-Index.RTL-Index通过对文档节点编码来表示结构信息,利用前缀路径匹配操作完成结构查询,支持含通配符" 和后代轴"//"的查询以及兄弟节点无序的模式树的查询.仿真实验结果表明RTL-Index索引具有较低的时间和空间复杂度,解决了XML文档分支路径查找问题,是一种较为有效的XML索引结构.     

加密XML数据结构索引方案研究

充分利用XML数据库文档的树形结构特性,结合Dewey编码原理和B+树的索引特性,提出了一种基于B+树的加密XML结构索引和查询模型.在XML文档加密过程中,将XML加密数据与基于加密数据的B+树索引一起存储在服务器端,以便在服务器端完成对加密数据的结构索引.实验结果表明,此法提高了查询的效率,无需解密无关的加密数据,有效地实现了对加密XML数据的结构索引.     

基于PATRICIA-TRIES的XML路径索引设计

随着XML逐渐成为Internet数据表示与交换的标准，如何快速准确地访问XML文档中的数据已成为亟待解决的关键问题，建立路径索引是提高查询效率的一种重要手段．本文设计了一种基于PATRICIA-TRIES的路径索引，简称PT索引．该索引有如下特点：一、基于PATRICIA-TRIES结构，实现快速检索．二、采用压缩编码能够将路径索引放入内存，三、索引含有结构和文本信息，通过查询索引就能提供结果，无需打开原文档．其后，分析了PT索引的时间和空间复杂性，并与三种的典型的索引结构进行了对比实验，结果证明了其在路径查询方面具有更高的效率．     

倒排链表多层自索引结构的分析与设计

在大型搜索引擎的查询处理过程中,对索引文件的顺序遍历将导致响应时间过长。自索引结构能够有效解决上述问题。为了进一步缩短查询时间,通过对当前索引文件自索引结构的分析,设计了倒排链表的多层自索引结构。此结构以定长元组为单位,使用迭代的方法提取数据段同步点形成上层自索引。在此基础上,实现了索引压缩与查询系统。基于TREC GOV2数据集的测试结果表明,该系统的各项性能指标均优于不采用自索引结构的查询系统,在不影响结果精度的情况下使检索效率得到大幅提升。     

基于Lucene的分布式并行索引

索引技术是搜索引擎的核心技术之一,索引技术的好坏直接影响到搜索引擎的查准率以及对用户的响应速度。Lucene是一个优秀的全文检索引擎架构,采用高度优化的倒排索引结构并支持增量索引。但在实际应用Lucene时存在一个值得关注的问题：随着被索引文件的增多,索引时间成线性增长,导致建索引的过程会影响搜索体验;在搜索引擎应用中,当索引文件量达到一定等级时,搜索引擎就遇到性能瓶颈。在深入分析和研究Lucene索引机制的基础上,采用以内存为缓冲区建索引文件的分布式并行索引技术形成了一个可扩展的搜索引擎解决方案,极大地缓解了建索引给搜索带来的瓶颈问题。     

基于动态文档集的索引技术*

倒排文件是全文检索中广泛使用的索引结构,对静态文档集合建立倒排索引的研究已有较长时间。随着计算机技术的发展,需要存储的数据越来越大。同时特定的应用领域如新闻搜索、桌面搜索等对实时更新性能要求较高,这需要使用有效的索引更新策略,也称动态索引。描述了常用的动态索引技术,并详细分析了其使用代价。     

基于Lucene的全文检索系统模型的研究及应用

分析了Lucene的系统结构及检索原理,设计了一个基于Lucene的全文检索系统模型,并将该系统模型应用到自动答疑系统中进行实验。实验结果表明,以Lucene作为核心的检索系统不仅建立索引的效率高,而且检索速度也较快。     

一种面向商业领域的搜索引擎索引结构设计及实现

本文通过分析传统搜索引擎技术不能满足商业领域搜索要求的灵活排序、特殊单字段搜索等需求,提出用新的索引结构和查询算法构建面向商业的搜索引擎系统并予以实现。另外,文章还讨论了其中的索引结构部分,是整个搜索引擎系统的基石。     

基于Lucene的中文倒排索引技术的研究

索引是所有搜索引擎的核心概念,为了进行快速查找,就需要把数据处理成一种高效的、可交叉引用的组织格式。倒排索引是一种高效的索引组织模式,其组织模式和存储结构对检索系统的性能起着至关重要的作用,文中探讨了基于Lucene的倒排索引模式,分析了Lucene索引文件的结构、索引过程以及相关排序算法,讨论了Lucene的压缩算法,并且通过设计一个中文模块实现了基于正向减字最大匹配分词方式的中文索引。实验表明新的分词算法比Lucene自带的分词算法性能有了很大的提高。     

一种并行计算平台KD-60上的可实时更新文本搜索

实时性是影响搜索引擎性能的重要因素.针对这个因素,提出一种可实时更新的倒排索引结构并将其应用于国产万亿次高性能计算平台KD-60.该方案采用主、辅倒排索引和内容过滤索引相结合的方式,实现了搜索过程的实时性.同时,我们将其应用于高性能绿色计算平台KD-60,使之在一定的程度上实现了搜索的高效能.实验证明,基于KD-60平台的倒排索引结构有效的解决了搜索引擎的实时性问题,并可作为绿色计算的实际应用的一个典型实例.     

一种基于Lucene的高效索引建立方法

随着计算机技术和互联网技术的发展,人们也越来越多的使用电子文档记录数据,电子文档具有容量大,易存储和易转移等特点,但当数据量较大时查找电子文档的内容就需要借助索引技术加快搜索速度,索引技术的优劣直接影响用户的使用体验。主要探讨单机存储大规模文档时高效索引的建立问题,论文分析检索系统的组成和原理,最后使用Lucene工具包通过多线程建立多个索引目录的方式,加速索引的建立以及索引查询的速度。实验结果表明,该文的方法能有效提升索引的创建和搜索速度。     

支持动态负载的移动对象最近邻查询算法

提出一种基于双层网格索引的移动对象KNN查询算法,解决由移动对象速度变化引起的动态负载问题。算法采用粗细双层网格将不同速度的移动对象分开索引,在粗网格中索引运动速度快的对象,在细网格中索引运动速度慢的对象,减小了网格索引的维护代价,提高了KNN查询效率。针对真实数据集实验结果表明,与传统算法相比,该算法能更有效地解决动态负载问题。     

一种基于预先索引的关系数据库关键词搜索方法

关系数据库的关键词搜索面临的最大挑战在于满足需求的答案可能来自多个关系的元组的组合。现有主流方法通过定位每个关键词对应的元组并动态发现元组之间的关联来得到搜索结果。然而当数据库规模较大或模式复杂时,这些方法存在搜索效率低的问题;此外,这些方法因只能支持简单的关键词查询而实用性受到限制。为此,提出对元组的组合进行预先索引从而加快搜索,此外还对其索引效率及查询能力进行改进以提高系统的可用性。首先,为了提高搜索和索引效率,提出基于模式图的元组连接枚举技术,该技术利用无环模式图枚举合适的关系连接,将其转换为SQL语句在数据库中执行以得到可能的元组连接;其次,为了保证结果的紧致性,提出了1到m元组连接的预先索引与顺序搜索机制,该机制对元组连接进行由小到大的搜索,并限制所有包含已有结果的元组连接都不再参与搜索;最后,为了支持复杂查询,提出基于域的索引结构,为每个元组连接建立面向不同查询类型的域,通过查找多个域并对结果进行逻辑组合得到最终结果。实验表明,相比于已有技术,本技术具有较快的索引速度与较高的查询效率,并能提供如布尔查询、属性查询等的复杂查询能力。