基于不均匀空间划分和R树的时空索引

随着移动互联网以及物联网的发展,越来越多的移动设备都内置GPS服务,从而产生了大量的时空数据.这些数据体量大、分布不均匀且带有时间和空间经纬度等多维属性.传统的时空索引还有很多问题有待解决,例如难以处理大规模数据、无法同时处理时间和空间维度等.基于Geohash和R-Tree,提出一种2层时空索引GRIST(Geohash and R-Tree based index for spatio-temporal data),第1层是空间索引,它将空间划分为不同大小的网格并使用Geohash进行编码;第2层是时间索引,由R-Tree构成,不同R-Tree索引不同网格里的数据.GRIST索引支持面向时间和面向时空的查询.在大量随机数据和真实Uber数据上的实验表明：GRIST在索引的构建效率上较于GeoMesa和PostGIS系统可以提升10～45倍,在查询效率上可以提升2～4倍.     

云数据管理索引技术研究

数据的爆炸式增长给传统的关系型数据库带来了巨大的挑战,使其在扩展性、容错性等方面遇到了瓶颈.而云计算技术依靠其高扩展性、高可用性、容错性等特点,成为大规模数据管理的有效方案.然而现有的云数据管理系统也存在不足之处,其只能支持基于主键的快速查询,因缺乏索引、视图等机制,所以不能提供高效的多维查询、join等操作,这限制了云计算在很多方面的应用.主要对云数据管理中的索引技术的相关工作进行了深入调研,并作了对比分析,指出了其各自的优点和不足;对在云计算环境下针对海量物联网数据的多维索引技术研究工作进行了简单介绍;最后指出了在云计算环境下针对大数据索引技术的若干挑战性问题.     

多维数据索引结构回顾

一、引言最初,多维数据库主要用于计算机图形学、地理信息系统等。现在,多维数据库的应用扩展到医学图像处理、计算机视觉和多媒体数据库等领域。尤其是在多媒体数据库中,对多媒体对象的描述更加复杂,例如:对图像来说,常用颜色直方图、主色调、Tamura纹理等特征描述图像;对文本来说,常用矢量空间模型来描述文档;对视频来说,常用颜色、纹理、形状和运动等特征来描述视频镜头。但是,不管采用哪一种描述方法,都需要用多维空间中的点、线段或区域等来表示这些多媒体对象。很多实际应用需要从多维数据库中快速查找到特定数据,例如:在图像数据库中查找与给定图像最相似的图像;在地理信息系统中需要查找离某个城市最近的河流。为了支持这些快速查找操作,必须借助高效索引结构。由于传统数据索     

云计算环境下支持复杂查询的多维数据索引机制

针对云计算环境下分布式存储系统的数据索引不支持复杂查询的问题,提出了一种多维数据索引机制M-Index,采用金字塔技术(pyramid-technique)将数据的多维元数据描述成一维索引,在此基础上首次提出前缀二叉树(prefix binary tree,PBT)的概念,通过提取一维索引和PBT有效节点的前缀作为数据在存储系统中的主键.数据根据主键和一致性Hash机制发布到存储节点组成的覆盖网络.设计了基于M-Index的数据查询算法,将复杂查询请求转换成一维查询键值,有效支持多维查询和区间查询等复杂查询模式.理论分析和实验表明,M-Index在复杂查询模式下具有良好的查询效率和负载均衡.     

云存储中基于二进制向量索引的密文云数据排序查询方法

设计一种适用于公共云存储环境下的密文云数据排序查询方法,其核心思想是使用二进制向量索引,并且使用Hash函数计算向量元素为1的位置。这种方法使得建立索引向量非常方便,并且更易于建立查询向量以及进行后续数据更新操作。由用户对其文件集构建二进制向量索引,当用户要求访问包含某些关键词的文件时,首先根据查询关键词构建查询二进制向量,然后根据查询二进制向量与文件的索引二进制向量之间的内积判断该文件是否包含用户的查询关键词。根据内积计算结果可知哪些文件的相关性更强,并且内积计算效率高。实验表明,该方法的索引创建与查询效率都非常高。     

基于八叉树及KD 树的混合型点云数据存储结构

通过对现有点云数据存储结构进行综合分析及比较,提出了一种基于八叉树及KD树的混合型点云数据存储结构模型,文中对该模型的基本原理、实现步骤及快速索引的建立等进行了全面的论述,最后以一组实测数据为例,比较了KD树、八叉树和本文提出的混合结构三种不同数据组织方式的检索效率,证明了所提出存储结构的有效性及实用性。     

云计算和云数据管理技术

随着各种新技术的发展,企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间.伴随着云计算技术的发展,云计算已经成为一种全新的互联网应用模式.而在云计算对海量的数据高效管理,云端数据精确精准快速查询成为越来越重要的问题.一个新的面向云计算的数据管理研究领域正逐渐形成,在云计算技术的基础上,提出了云数据管理的概念.分析GFS,BigTable,Dynamo等当前互联网主流云数据管理系统的基本原理,并针对未来云数据管理架构进行分析,最后指出了云数据管理领域的主要研究方向.     

云数据管理系统中查询技术研究综述

作为一种全新的互联网应用模式,云计算在工业界和学术界备受关注.人们可以通过终端设备便捷地获取云端服务,并以按需使用的方式获得存储资源、计算资源以及软硬件资源.云计算的发展带来了一系列挑战性问题,而云数据的管理问题首当其冲.文中结合云数据的特点提出了一个云数据管理系统的框架,并在此基础上从索引管理、查询处理、查询优化以及在线聚集等几个方面对云数据管理系统中查询技术的研究工作进行了总结分析,指明了该领域面临的挑战和未来的研究工作.     

一种支持多维区间查询的云对等网络索引架构*

针对用户在大规模云对等网络环境下多维区间查询问题,将基于m叉平衡树的索引架构引入到云对等网络环境下,在该架构上实现集中式环境下支持多维数据索引的层次化树结构,例如R树,QR树等。多维区间查询算法保证查询从树的任意位置开始,避免了根节点引起的系统性能瓶颈问题。通过计算和实验验证,对于N个节点的网络,多维区间查询效率为O(logmN)(m>2)(m表示扇出),由此可见,查询效率和维数d无关,查询效率不会随着维数d的增加而降低。最后建立基于扇出m的代价模型,并且计算出了最优的m值。     

云数据存储与管理

云计算作为一种新兴的商业模式发展异常迅猛,数据存储与管理是云计算中非常重要也极具价值的研究领域。介绍了云存储的概念、云存储的优势及云存储的架构;结合企业的具体实例,从多层次多方位深度剖析了云数据存储技术GFS（Google File System）／HDFS（Hadoop Distributed File System）及云数据管理系统BigTable／HBase,并对它们进行了分析比较。     

基于Bin位图索引的多维查询优化算法

在属性基数（该属性可能的取值数）很高的情况下,简单位图索引需要占用太大存储空间。Bin位图索引可以很好解决这个问题。这种索引不像简单位图索引那样建立在不同的属性值上,而是建立在属性范围上,但候选检查往往占用大部分的查询时间。为了提高查询性能,提出一种排序方法来对各属性进行排序,以减少候选检查数目,并在此基础上提出动态预扫描算法。实验结果表明,排序和动态预扫描算法都取得了良好的效果。     

云环境中数据存储的安全机制研究

本文针对因网络的广泛应用而产生的数据存储的安全问题,在云计算技术的基础上,从数据及身份的保密性、完整性保护和用户身份及操作的隐私保护两个方面归纳出了在云环境下数据存储的安全机制,并总结了其安全问题的解决方法。     

云计算中数据完整性保护机制研究

随着云计算技术的发展,越来越多的用户选择把数据存储于云端,以节约存储空间。存储方式的改变带来最大的问题是,云服务提供商如何向用户证明存储数据的完整性。本文在云计算技术的基础上,分析了现有的数据完整性保护机制的不足之处,并针对这些不足提出了改进方法。     

基于云计算的数据查找与加密方案研究

云计算环境下的数据查找与加密技术是目前的研究热点。针对现有方案的不足,提出了一种改进的数据查找与加密方案。在数据查找方面,首先建立了身份管理模型,然后提出了基于权限的身份鉴别算法来实现从系统资源到身份数量之间的最优指派;在数据加密方面,提出了一种可计算加密方案CES,该方案能支持云数据的模糊检索和基本算术运算,有效地对用户的敏感数据进行隐私保护。仿真实验结果表明,方案是有效的,在加、解密性能以及存储与通信开销等方面要优于传统的方法。     

改进赋权的水体富营养化多维云模型评价

针对现有水体富营养化评价方法中存在的不确定性,以及在确定多评价指标权重过程中无法进行科学解释的问题,本文结合主观赋权法AHP和客观赋权法CRITIC的优势,提出了一种多评价指标综合赋权法,并根据水体富营养化评价标准的非线性特性,将该方法应用于多维正态云模型中。首先,采用主观赋权法AHP参考专家意见,对各水质指标的重要性给出判定,并完成定性与定量之间的转换;然后,采用客观赋权法CRITIC在对大量数据分析的基础上,利用指标的相关性和对比强度显示指标重要性。将2种方法利用综合权重确定公式结合后,用于改进多维正态云模型的权重分配,并基于云模型的期望、熵和超熵的概念对湖库水体富营养化进行评价,进而准确获取水质的富营养化级别。该方法不但解决了水质评价中的随机性和模糊性两大问题,同时还能够充分考虑各评价因素所含信息对结果的影响,将本文方法应用至全国中小型湖库进行验证,结果表明评价等级与湖库实质水质状况相符。     

一种基于同态标签的动态云存储数据完整性验证方法

在云存储服务中,为使用户可以随时验证存储在云存储服务器上数据的完整性,提出一种基于同态标签的动态数据完整性验证方法。通过引入同态标签和用户随机选择待检测数据块,可以无限次验证数据是否完好无损,并支持数据动态更新;可信第三方的引入解决了云用户与云存储服务供应商因数据完整性问题产生的纠纷,实现数据完整性的公开验证;然后给出该方法的正确性和安全性分析,以及该方法的性能分析;最后通过实验验证了该方法是高效可行的。     

P2P网络支持复杂多维数据搜索的范围查询算法

讨论了P2P网络系统中基于EIR-tree树的范围查询处理算法的改进及其在多维数据查询搜索中的应用。论述了范围查询处理算法的思路和实现方法,并对该算法在多维数据查询搜索中的应用进行了相应的实验,确定了影响其效率和速度的主要因素。