NTFS索引目录B-树结构解析及其应用

针对一些有关NTFS文件系统的书籍和杂志中认为NTFS文件系统对索引目录的管理是采用B+树结构,通过对NTFS文件系统元文件$MFT文件夹记录的90H属性、A0H属性和B0H属性以及索引结点结构的分析,以实验的方式对索引文件进行查找、删除和插入运算来观察NTFS索引目录结构变化. 实验结果表明：NTFS文件系统对索引目录的管理是采用B-树结构,但并非是一棵标准的B-树.     

面向大数据流的分布式索引构建

大数据流的高效存储与索引是当今数据领域的一大难点.面向带有时间属性的数据流,根据其时间属性,将数据流划分为连续的时间窗口,提出了基于双层B+树的分布式索引结构WB-Index.下层B+树索引基于窗口内流数据构建,索引构建过程结合基于排序的批量构建技术,进一步对时间窗口分片,将数据流接收、分片数据排序以及B+树构建并行化,提高了构建性能.上层B+树索引基于各时间窗口构建,结合时间窗口时间戳的递增性和无限性,提出了避免节点分裂的构建方法,减少了B+树分裂移动开销,提高了空间利用率和更新效率.WB-Index架构中,将流数据和索引分离,同时利用内存缓存尽可能多的双层B+索引和热点数据来提高查询性能.理论和实验结果表明,该分布式索引架构能够支持高效的实时数据流写入以及流数据查询,能够很好地应用于具有时间属性的数据流场景.     

RB+树——一种列存储数据的树型索引结构

索引技术是提高海量数据查询效率的关键技术之一.传统索引如B+树等在更新事务环境中具有较好的性能,然而在面向列存储的分析型数据仓库查询环境下,时间空间代价较大.根据列存储数据仓库查询环境的特点,提出一种新型树型索引--RB+树(reduced B+-tree).该索引对传统B+树结构进行了改进,并结合自底向上创建索引树的方法,使得索引的空间利用率、创建和查找效率得到显著的提高.进一步将RB+树应用于列存储数据仓库中,建立了行号索引、列值索引,特别地为解决星型模型中多表连接问题提出连接索引,有效地提高了列存储数据仓库中元组重构与多表连接的效率.在数据仓库基准数据集SSB上的实验验证了方法的有效性.     

一种适用于汉语的索引文件结构

本文给出一种以词语为索引项的索引文件存储结构,以及基于这种结构的索引查询算法.首先分析中文索引库的分布规律,接着在此基础上设计了一种逆序存储的三层索引结构,这种结构在创建索引时能根据词语频率自动调整存储顺序,最后给出一种基于自动机和逆向最大匹配的索引查询算法.实验系统TIFS将三层索引结构与B树、哈希方法在时间和空间复杂度方面进行对比,结果表明,对于大规模的中文文本检索,三层索引结构的综合效果最好.     

H-Tree:一种面向大数据流在线监测的层次索引

随着计算机网络的迅猛发展和大数据时代的到来,数据越来越频繁地呈现出多属性异构的特点.这种包含多种不同类型属性的大数据流称为异构大数据流(Heterogeneous Big Data Streams).在面向大规模数据在线监测分析的应用中,通常需要在异构大数据流上注册大规模监测规则.因此,对于每一个数据流元组,必须用最小的计算开销满足所有的规则.同时,由于大数据流上监测规则集异常庞大,提高规则监测的性能是大规模数据流在线监测的关键.基于此,该文提出一种层次化的索引结构H-Tree及其在线规则匹配算法.具体的,H-Tree将大数据流上的属性集划分为离散型属性和连续型属性.基于不同的属性集,构建两层索引结构:在第1层,通过改进的红黑树对离散型谓词构建触发索引;在第2层,通过量化连续型谓词构建多维索引结构.H-Tree的在线规则匹配算法利用关联关系表对两层索引的监测结果进行融合过滤.实验分析表明,与经典的R+方法相比较,H-Tree通过层次化的索引结构,在不降低准确度的前提下,显著提升了大数据流的监测效率.     

加密XML数据结构索引方案研究

充分利用XML数据库文档的树形结构特性,结合Dewey编码原理和B+树的索引特性,提出了一种基于B+树的加密XML结构索引和查询模型.在XML文档加密过程中,将XML加密数据与基于加密数据的B+树索引一起存储在服务器端,以便在服务器端完成对加密数据的结构索引.实验结果表明,此法提高了查询的效率,无需解密无关的加密数据,有效地实现了对加密XML数据的结构索引.     

基于B+树的发布/订阅并行匹配算法

现有的消息匹配算法不能很好地满足大规模分布式发布/订阅系统中海量数据的有效分发。为此,提出一种高效的发布/订阅并行匹配算法。采用B+树的存储结构,订阅消息按属性-值进行空间划分,建立多级索引订阅属性树,消息匹配采用改进的B+树查询方法,结合计数的思想实现快速消息匹配。实验结果表明,该算法在大规模分布式发布/订阅系统中,消息匹配时间短,订阅匹配树生成迅速,匹配效果更好。     

结合分段位图和B 树的云数据索引机制研究

位图索引因其简单有效的优势被广泛应用于海量数据的分析处理。针对位图索引数据存储空间大,检索效率低的问题,提出了一种结合分段位图和B 树的云数据索引机制(简称BBI索引)。BBI索引在索引创建时按照一定的基数对元组数据进行分段,以段为单位建立位图索引,索引数据量的决定因子由属性值的取值范围转变为分段数与基数的乘积,大大减少了索引数据量;同时,在每个数据节点上建立B 树,避免了数据检索时对非结果数据的逐个遍历,从而显著提高了数据的检索效率。实验结果表明,BBI索引是一种性能较优的云数据索引机制。     

数据库中聚集索引的B树结构及实例分析

索引是数据库的对象之一,在关系数据库中,索引建立在一张基本表的一列或多列上,索引的逻辑结构是一张二维表,索引表由两类信息组成,一是索引关键字,即在基本表上经常查询的一列或多列属性,二是地址信息,即索引关键字在基本表中所在行的物理地址;索引的物理结构以B树形式组织。按照对基本表的组织方式,索引分为聚集索引和非聚集索引;按照索引关键字取值的唯一性,分为唯一索引和不唯一索引。文章着重探讨聚集索引及其B树结构,用实例分析二维表的B树索引的创建,在B树结构上的查询和更新操作,形象说明索引是如何提高查询效率的,以及进行更新操作时对索引的影响。     

基于NTFS大目录的文件创建方法

在已有文献中,由于不依赖Windows应用程序编程接口(API)调用的在新技术文件系统(NTFS)下的文件创建都是在小目录下实现的,因此将对在大目录下创建文件的方法进行研究。运用B+树遍历,找到索引缓冲区,通过判断所找的索引缓冲区是否存在索引节点,分别将创建好的索引项插入到指定的索引缓冲区位置,将插入索引项的索引缓冲区写入磁盘,完成在大目录下对文件的创建。通过实验,实现了在大目录下的文件创建,证明了方法在不依赖于Windows API而实现文件创建的正确性。     

D-Index: Distance Searching Index for Metric Data Sets

In order to speedup retrieval in large collections of data, index structures partition the data into subsets so that query requests can be evaluated without examining the entire collection. As the complexity of modern data types grows, metric spaces have become a popular paradigm for similarity retrieval. We propose a new index structure, called D-Index, that combines a novel clustering technique and the pivot-based distance searching strategy to speed up execution of similarity range and nearest neighbor queries for large files with objects stored in disk memories. We have qualitatively analyzed D-Index and verified its properties on actual implementation. We have also compared D-Index with other index structures and demonstrated its superiority on several real-life data sets. Contrary to tree organizations, the D-Index structure is suitable for dynamic environments with a high rate of delete/insert operations.     

基于空间和属性数据的联合索引技术

传统联合查询通常需要空间数据库对2个索引进行检索,通过集合运算得到最终结果,运算效率较低。针对该缺陷,提出基于空间和属性数据的联合索引技术,在索引目录项中加入属性数据提高联合检索速度。实验结果表明,该技术对于属性与空间位置有较高相关度的数据,具有较高查询效率。     

MySQL数据库索引的研究

数据库索引是用于提高数据检索速度的关键数据结构,该文结合常用的数据库索引结构B树,分析索引的原理,并结合外存储的原理,分析大多数数据库使用B＋树作为索引结构的原因,并结合My SQL数据库中Inno DB存储引擎中的索引实现,分析其优缺点。     

基于倒排表与B+树的联合索引技术

为提高XML文档的查询效率,提出一种基于倒排表与B+树的联合索引技术。DTD结构索引和内容索引采用倒排表作为索引单位,XML文档索引使用B+树作为索引基本组织。在DTD结构索引的结点编码中设置标识信息,便于确定需要查询的文档。通过建立DTD结构索引、XML文档索引和内容索引,实现混合型XML文档的查询。理论分析与实验结果表明,该技术具有较小的空间开销和较高的查询效率。     

基于NTFS大目录的文件创建方法

在已有文献中,由于不依赖Windows应用程序编程接口(API)调用的在新技术文件系统(NTFS)下的文件创建都是在小目录下实现的,因此将对在大目录下创建文件的方法进行研究。运用B+树遍历,找到索引缓冲区,通过判断所找的索引缓冲区是否存在索引节点,分别将创建好的索引项插入到指定的索引缓冲区位置,将插入索引项的索引缓冲区写入磁盘,完成在大目录下对文件的创建。通过实验,实现了在大目录下的文件创建,证明了方法在不依赖于Windows API而实现文件创建的正确性。     

基于可拆分倒排索引的可搜索加密方案

为快速检索云环境下的加密数据,提出了一种高效的适用于批量数据处理场合的可搜索加密方案。首先,由客户端创建两个倒排索引,分别是存储了文件-关键词映射的文件索引和用于存储关键词-文件映射的空的搜索索引;然后,将这两个索引提交给云服务器。搜索索引是在用户检索过程中由云端根据搜索凭证和文件索引逐渐更新建立的,记录了已被检索关键词的检索结果,该方法将搜索索引的构建时间有效分摊了到了每次检索过程中并节省了存储空间。索引采用基于key-value结构的集合存储方式,支持索引的同时合并和拆分,即在添加和删除文件时,由客户端根据要添加或删除的文件集生成对应的文件索引和搜索索引,然后服务器对索引进行合并和拆分,从而实现文件的快速批量添加和删除。测试结果表明,所提方案极大提高了文件更新的效率,适用于批量数据处理。通过泄露函数证明了该方案能满足自适应动态选择关键词攻击下的不可区分性安全标准。     

Efficient k-dominant skyline query over incomplete data using MapReduce

Skyline queries are extensively incorporated in various real-life applications by filtering uninteresting data objects. Sometimes, a skyline query may return so many results because it cannot control the retrieval conditions especially for highdimensional datasets. As an extension of skyline query, the kdominant skyline query reduces the control of the dimension by controlling the value of the parameter kto achieve the purpose of reducing the retrieval objects. In addition, with the continuous promotion of Bigdata applications, the data we acquired may not have the entire content that people wanted for some practically reasons of delivery failure, no power of battery, accidental loss, so that the data might be incomplete with missing values in some attributes. Obviously, the k-dominant skyline query algorithms of incomplete data depend on the user definition in some degree and the results cannot be shared. Meanwhile, the existing algorithms are unsuitable for directly used to the incomplete big data. Based on the above situations, this paper mainly studies k-dominant skyline query problem over incomplete dataset and combines this problem with the distributed structure like MapReduce environment. First, we propose an index structure over incomplete data, named incomplete data index based on dominate hierarchical tree (ID-DHT). Applying the bucket strategy, the incomplete data is divided into different buckets according to the dimensions of missing attributes. Second, we also put forward query algorithm for incomplete data in MapReduce environment, named MapReduce incomplete data based on dominant hierarchical tree algorithm (MR-ID-DHTA). The data in the bucket is allocated to the subspace according to the dominant condition by Map function. Reduce function controls the data according to the key value and returns the k-dominant skyline query result. The effective experiments demonstrate the validity and usability of our index structure and the algorithm.     

基于多哈希算法的大规模图像快速检索方法

哈希技术被视为最有潜力的相似性搜索方法,其可以用于大规模多媒体数据搜索场合。为了解决在大规模图像情况下,数据检索效率低下的问题,提出了一种基于分段哈希码的倒排索引树结构,该索引结构将哈希码进行分段处理,对每段哈希码维护一个倒排索引树结构,并结合高效的布隆过滤器构建哈希索引结构。为了进一步提高检索准确性,设计了一种准确的排序融合算法,对多个哈希算法的排序结果分别构建加权无向图,采用PageRank的思想对基于多个哈希算法的排序列表的融合技术进行了详细的说明。实验结果表明,基于分段哈希码的倒排索引树结构能极大地提升数据的检索速度。此外,相比于传统的单个哈希算法排序技术,基于多个哈希算法的排序列表融合技术的检索准确率优势显著。