结合分段位图和B 树的云数据索引机制研究

位图索引因其简单有效的优势被广泛应用于海量数据的分析处理。针对位图索引数据存储空间大,检索效率低的问题,提出了一种结合分段位图和B 树的云数据索引机制(简称BBI索引)。BBI索引在索引创建时按照一定的基数对元组数据进行分段,以段为单位建立位图索引,索引数据量的决定因子由属性值的取值范围转变为分段数与基数的乘积,大大减少了索引数据量;同时,在每个数据节点上建立B 树,避免了数据检索时对非结果数据的逐个遍历,从而显著提高了数据的检索效率。实验结果表明,BBI索引是一种性能较优的云数据索引机制。     

基于二级时空分桶的伴随轨迹查询

随着移动传感器设备的普及,人们能够采集到的位置数据越来越多,轨迹数据的规模也越来越庞大.从大规模时空数据中查找与指定轨迹最相似的前k条轨迹一直是时空大数据挖掘的重要挑战之一.现有的相似轨迹查询方法大都包括三个阶段:(1)对海量的离线轨迹数据建立索引;(2)基于索引结构从已知轨迹集中查询与指定轨迹相似的候选轨迹;(3)计算指定轨迹与候选轨迹之间的精确相似度并返回相似度最大的前k条轨迹.但大多数现有方法对轨迹进行聚类索引时不能有效利用时间和空间信息,导致时间相似度不高的轨迹也会被划分到相同的索引项上,最终影响查询的准确性和效率.此外,现有的时空轨迹相似度计算方法存在大量的无效运算,使得相似轨迹的查询效率整体较低.针对当前伴随轨迹查询方法对时间与空间信息利用不充分的问题,本文提出一种新的二级时空分桶索引结构,首先将每条轨迹数据按照时间滑动窗口划分为若干带有时间槽信息的子轨迹,在时间上对轨迹进行一级索引聚类;在此基础上对在相同时间槽内的子轨迹进行二级空间索引聚类,利用哈希算法将具有连续相同位置点的子轨迹映射到同一时空分桶中.与已有索引方法相比,该方法对不同轨迹在索引时具有更好的区分度,查询时的...     

L(k)-index:一种支持标签路径的高效k双拟结构索引

针对基于k双拟的结构索引创建和更新低效问题、查询结果重复验证问题以及标签路径不可获得性问题,提出了一种新的结构索引L(k)-index.L(k)-index通过引入标签路径,在创建时无须k次遍历原数据,并采取批量更新策略,大大提高索引创建和更新的效率,而在空间上仅有很小增加.对于长度大于k+1的路径查询,L(k)-index无须访问原数据进行验证,并支持批量节点的标签路径获得.通过大量实验表明,同A(k)-index相比,L(k)-index创建时间平均提高66.7%,查询处理时间效率平均提高68.9%,批量更新效率平均每节点提高58.8%,而空间仅增加22.5%.     

基于相点分析的移动数据索引技术

一维(有效)时间区间(VT)和二维最小限定矩形(MBR)足移动数据基本的时空单元,两者性质不同,应用中也有差异.现有移动数据查询通常足将相关数据转换为高出原空间情形"一维"的空间数据,其优势在于可充分使用现有空问数据索引技术.文中主要贡献在于研究基于过去和当前时间查询的移动数据索引模式,该索引模式能够表征时空各自特性并...     

面向大数据流的分布式索引构建

大数据流的高效存储与索引是当今数据领域的一大难点.面向带有时间属性的数据流,根据其时间属性,将数据流划分为连续的时间窗口,提出了基于双层B+树的分布式索引结构WB-Index.下层B+树索引基于窗口内流数据构建,索引构建过程结合基于排序的批量构建技术,进一步对时间窗口分片,将数据流接收、分片数据排序以及B+树构建并行化,提高了构建性能.上层B+树索引基于各时间窗口构建,结合时间窗口时间戳的递增性和无限性,提出了避免节点分裂的构建方法,减少了B+树分裂移动开销,提高了空间利用率和更新效率.WB-Index架构中,将流数据和索引分离,同时利用内存缓存尽可能多的双层B+索引和热点数据来提高查询性能.理论和实验结果表明,该分布式索引架构能够支持高效的实时数据流写入以及流数据查询,能够很好地应用于具有时间属性的数据流场景.     

RB+树——一种列存储数据的树型索引结构

索引技术是提高海量数据查询效率的关键技术之一.传统索引如B+树等在更新事务环境中具有较好的性能,然而在面向列存储的分析型数据仓库查询环境下,时间空间代价较大.根据列存储数据仓库查询环境的特点,提出一种新型树型索引--RB+树(reduced B+-tree).该索引对传统B+树结构进行了改进,并结合自底向上创建索引树的方法,使得索引的空间利用率、创建和查找效率得到显著的提高.进一步将RB+树应用于列存储数据仓库中,建立了行号索引、列值索引,特别地为解决星型模型中多表连接问题提出连接索引,有效地提高了列存储数据仓库中元组重构与多表连接的效率.在数据仓库基准数据集SSB上的实验验证了方法的有效性.     

空间索引技术研究

空间索引可以提高空间数据库的操作效率,目前人们的研究工作更多地集中在空间数据的多维索引的研究上.文中全面地总结了当前空间数据库领域中空间索引以及时空索引的研究进展,描述了R树系列索引的构建思想,节点插入与分裂操作的不同.通过实验深入分析了R树以及R树变体的磁盘访问率,插入,删除,更新的CPU时间,验证了在数据激增的情况下,R树系列索引的复杂性带来的重叠问题会指数递增.由于R树当前应用的深度和广度,研究基于 R树的高效时空高维索引技术是解决索引应用问题一个有效方法.提出了索引性能改进的方向在于多种索引技术的结合,尤其是树形结构索引和网状结构索引的结合.     

基于KDG-tree的数据库多维索引技术

针对目前网格索引(Grid index)的冗余数据及KD-tree等多维索引的维度灾难等问题,提出一种将网格索引与二叉搜索树结合起来的高效索引结构KDG-tree。KDG-tree通过纵横向指针将结点链接起来构成二叉索引树,树中的结点分为中间索引结点和叶子结点,所有数据对象只存于叶子结点。创建索引时分别从高维到低维按结点索引值顺序插入,查找对象时逐维搜索。实验分析表明,KDG-tree避免了Grid index的数据冗余,又改进了KD-tree与KDB-tree的性能,是一种适合高维海量数据的多维索引。     

面向原生XML数据库的自适应路径索引

路径索引是改善原生XML数据库(NXD)性能的一项重要技术.然而现有NXD中的路径索引缺乏动态性、白适应性,妨碍了NXD的查询性能改善.本文根据Chung C等提出的面向XML数据的自适应路径索引(APEX)[1],结合NXD的特点,提出面向NXD的自适应路径索引(NXD.APEX).NXD.APEX继承了APEX自适应性,并通过加入时间特征到APEX的常用路径挖掘算法中,使NXD-APEX能有效处理具有时间局部性的查询.同时针对NXD-APEX可能导致的大空间开销问题,提出一种基于收益的索引筛选算法.试验表明:NXD-APEX能以合理的空间开销有效地改善NXD的查询性能.     

数据库中聚集索引的B树结构及实例分析

索引是数据库的对象之一,在关系数据库中,索引建立在一张基本表的一列或多列上,索引的逻辑结构是一张二维表,索引表由两类信息组成,一是索引关键字,即在基本表上经常查询的一列或多列属性,二是地址信息,即索引关键字在基本表中所在行的物理地址;索引的物理结构以B树形式组织。按照对基本表的组织方式,索引分为聚集索引和非聚集索引;按照索引关键字取值的唯一性,分为唯一索引和不唯一索引。文章着重探讨聚集索引及其B树结构,用实例分析二维表的B树索引的创建,在B树结构上的查询和更新操作,形象说明索引是如何提高查询效率的,以及进行更新操作时对索引的影响。     

基于ETM＋的北京西部山区乔木群落结构研究

利用遥感技术结合地面调查的方法对2008年春季北京西部山区乔木群落的多样性进行了研究。提取归一化植被指数（NDVI）,并计算NDVI随时间的变化率（△NDVI）;利用地面调查数据计算研究区的健康指数、Mar-galef丰富度指数、Shannon-Wiener多样性指数和Simpson多样性指数,并分析△NDVI、健康指数和多样性指数之间的关系。结果表明：（1）健康指数和多样性指数之间存在正相关关系,群落多样性指数越高,群落的整体健康状况越好。（2）△NDVI与健康指数之间呈正相关关系,健康指数越高的群落,单位时间内NDVI的增加值越大,植被群落的生长变化越明显。（3）△NDVI的高低可以代表区域植被的健康程度,反映区域植物群落的丰富度、多样性。△NDVI的值越高,植被群落的健康程度越好,植被群落的丰富度、多样性指数越高。本文的研究较好的将遥感技术和地面调查相结合,对△NDVI与群落植被健康程度、多样性指数进行了研究和验证,为以后研究植被群落多样性提供了一定的借鉴。     

基于组合索引的语义Web服务发现算法

为提高Web服务发现的效率,将倒排索引和功能兼容性索引相结合,设计一种组合索引方法。组合索引由服务的加权简洁功能兼容图和输出概念的图节点倒排索引构成。基于组合索引,提出一种服务发现算法,与基于倒排索引和功能兼容性索引的服务发现算法的对比分析表明,该算法能够明显减少功能兼容性检查的次数和平均索引链长,具有较优的性能。     

百度指数和微指数在中国流感监测中的比较分析*

基于互联网数据做传染病监测是近年来的研究热点。针对百度指数、微指数在中国流感监测中的作用进行了比较和分析。相关性分析表明,相对于微指数,基于百度指数的关键词搜索数据与实际的流感流行的相关性更强,与流感的流行区间和峰值时间更相似,而且基于它们建立的回归模型能更准确地预测流感的流行。进一步,整合历史的流感流行数据能大大提高该回归模型的效果。因此,百度指数平台可以作为传统流感监测手段的一种有效补充。     

面向XML文档的二级索引技术及其在XML关键词检索中的应用研究

随着互联网上XML文档的大量增加,如何高效地索引、存储和检索这些XML数据成为一个非常值得深入研究的课题.目前,在XML关键词检索方面,主流的检索系统都是建立在一级索引的基础上.一级索引存在两个明显的缺点:1)索引的冗余度比较高;2)索引的可扩展性和灵活性较差.通过结合传统倒排索引和基于杜威编码的XML节点索引的优点,提出面向XML文档的二级索引模型,并把该模型应用于求解XML关键词检索中的SLCA,实现了基于二级索引的求解SLCA的栈算法.实验表明,二级索引模型能够节省约30%的空间开销,在时间效率方面,基于二级索引的栈算法在效率上比基于一级索引的栈算法要高1个数量级左右,并且随着关键词数目的增加,这种效率优势会越加明显.     

一种交通拥堵指数智能计算方法

交通拥堵与许多因素密切相关,具有强烈的随机性、偶然性,导致当前交通拥堵指数计算误差大,可靠性差等问题,为了提高交通拥堵指数计算精度,提出了基于支持向量机的交通拥堵指数智能计算方法。先分析当前交通拥堵指数智能计算的研究进展,找到引起交通拥堵指数计算效果的原因,然后采集一段时间的交通拥堵指数序列,引入支持向量机对交通拥堵指数序列进行建模与分析,找到交通拥堵指数变化规律,最后采用具体仿真实验与其它交通拥堵指数智能计算方法进行了对照实验。结果表明,这种方法降低了交通拥堵指数计算误差,为可以为交通管理者提供有价值的信息,有利于缓解交通拥堵问题,具有比较明显的优越性。     

基于倒排表与B+树的联合索引技术

为提高XML文档的查询效率,提出一种基于倒排表与B+树的联合索引技术。DTD结构索引和内容索引采用倒排表作为索引单位,XML文档索引使用B+树作为索引基本组织。在DTD结构索引的结点编码中设置标识信息,便于确定需要查询的文档。通过建立DTD结构索引、XML文档索引和内容索引,实现混合型XML文档的查询。理论分析与实验结果表明,该技术具有较小的空间开销和较高的查询效率。     

A hybrid index for temporal big data

Temporal index provides an important way to accelerate query performance in temporal big data. However, the current temporal index cannot support the variety of queries very well, and it is hard to take account of the efficiency of query execution as well as the index construction and maintenance. In this paper, we propose a novel segmentation-based hybrid index B+-Tree, called SHB+- tree, for temporal big data. First, the temporal data in temporal table deposited is separated to fragments according to the time order. In each segment, the hybrid index is constructed by integrating the temporal index and the object index, and the temporal big data is shared by them. The performance of construction and maintenance is improved by employing the segmented storage strategy and bottom-up index construction approaches for every part of the hybrid index. The experimental results on benchmark data set verify the effectiveness and efficiency of the proposed method.     

MCAI软件主成分分析法评价模型

利用系统论的方法,运用教育学、心理学原理,根据软件质量标准,对影响MCAI软件质量的因素进行分析,建立了MCAI软件评价指标体系。利用主成分分析法对MCAI软件评价体系进行数据变换,用较少的指标来代替原来的指标,由于新指标是原来的指标的线性组合,所以能充分反映原来指标的信息,使得对MCAI软件的评价模型集中在主导因素,而且大大简化MCAI软件评价指标体系,实现了对MCAI软件准确估量和评价。