基于云计算数据查询的安全索引构建方法

云计算在实际应用的过程中具有较强的数据处理能力,能够对大容量的数据展开存储和处理,具有较高的实际应用价值.基于此,本文将分析云计算数据查询系统的建立,并研究在云计算基础上数据查询系统安全索引的构建方法,其中主要包括相似子图的查询构造、哈希索引构造以及安全索引的仿真建立三方面内容.     

MapReduce环境下支持精确查询的嵌套式数据索引技术

目前,针对嵌套式数据集上的高效查询处理已成为Web数据检索的一个重要任务.不同于传统信息检索,嵌套式数据集既要存储数据又要存储结构,导致了针对该类数据集查询的低效性,特别是对如何保证精确查询效率更是一个挑战.结合列存储结构和倒排索引技术,首先定义了表达嵌套式数据集中数据位置信息的唯一路径UPath,提出一种新的支持嵌套式数据集精确查询的索引结构——Uni Hash.在此基础上,给出了生成数据值的唯一路径UPath以及基于MapReduce框架建立Uni Hash索引的相关算法.通过将其与XPath检索进行对比,验证了Uni Hash索引结构的有效性.实验表明,将嵌套式数据集进行列式存储并建立Uni Hash索引,能够明显地提高精确查询的效率.     

多维数据索引结构回顾

一、引言最初,多维数据库主要用于计算机图形学、地理信息系统等。现在,多维数据库的应用扩展到医学图像处理、计算机视觉和多媒体数据库等领域。尤其是在多媒体数据库中,对多媒体对象的描述更加复杂,例如:对图像来说,常用颜色直方图、主色调、Tamura纹理等特征描述图像;对文本来说,常用矢量空间模型来描述文档;对视频来说,常用颜色、纹理、形状和运动等特征来描述视频镜头。但是,不管采用哪一种描述方法,都需要用多维空间中的点、线段或区域等来表示这些多媒体对象。很多实际应用需要从多维数据库中快速查找到特定数据,例如:在图像数据库中查找与给定图像最相似的图像;在地理信息系统中需要查找离某个城市最近的河流。为了支持这些快速查找操作,必须借助高效索引结构。由于传统数据索     

一种支持多维区间查询的云对等网络索引架构*

针对用户在大规模云对等网络环境下多维区间查询问题,将基于m叉平衡树的索引架构引入到云对等网络环境下,在该架构上实现集中式环境下支持多维数据索引的层次化树结构,例如R树,QR树等。多维区间查询算法保证查询从树的任意位置开始,避免了根节点引起的系统性能瓶颈问题。通过计算和实验验证,对于N个节点的网络,多维区间查询效率为O(logmN)(m>2)(m表示扇出),由此可见,查询效率和维数d无关,查询效率不会随着维数d的增加而降低。最后建立基于扇出m的代价模型,并且计算出了最优的m值。     

海量多维数据的存储与查询研究

基于数据仓库的OLAP系统是当前海量多维数据分析的主要工具。随着信息技术的发展,海量多维数据的规模急剧增长,结构日益复杂,OLAP系统的性能严重下降,已经无法满足人们的数据分析需求。基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法。设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和MapReduce进行聚集计算的方法。通过和Hive的对比实验,表明了数据存储方案和查询方法能够有效提高海量多维数据分析的性能。     

P2P网络支持复杂多维数据搜索的范围查询算法

讨论了P2P网络系统中基于EIR-tree树的范围查询处理算法的改进及其在多维数据查询搜索中的应用。论述了范围查询处理算法的思路和实现方法,并对该算法在多维数据查询搜索中的应用进行了相应的实验,确定了影响其效率和速度的主要因素。     

一种支持多维数据范围查询的对等计算索引框架

如何有效地支持多维数据范围查询是传统数据管理领域的研究热点之一.但是,在大规模分布式系统中,这仍然是一个具有挑战性的研究工作.VBI-tree是一个对等计算环境下基于平衡树的索引架构,在该架构上可以实现集中式环境下的多种支持多维数据索引的层次化树结构,例如R-tree,X-tree和M-tree等.VBI-tree设计的查询算法保证查询可以从树的任意位置开始,而不是像集中式环境下层次化树结构那样采用从树的根节点开始查询的方法,从而成功地避免了根节点引起的系统性能瓶颈问题.对于有N个节点的网络,索引方法可以保证查询效率是O(log N).VBI-tree提出了基于AVL-tree旋转的网络重构负载均衡策略可以有效地均衡负栽.另外,在数据操作频繁的情况下,为了提高索引的性能,在VBI-tree上建立特殊的祖先-子孙链接形成VBI-tree的结构.通过使用祖先-子孙链接,可保证对于相关查询区域的探索尽量发生在同层节点之间,而不是一直往根节点方向发送,从而减轻上层节点的查询负担,并且显著地降低了更新代价.模拟实验验证了提出的方法的有效性.     

基于KD树和R树的多维云数据索引

针对云存储系统大多基于键值对模型存储数据,多维查询需要对整个数据集进行完全扫描,查询效率较低的问题,提出了一种基于KD树和R树的多维索引结构(简称KD-R索引)。KD-R索引采用双层索引模式,在全局服务器建立基于KD树的多维全局索引,在局部数据节点构建R树多维本地索引。基于性能损耗模型,选取索引代价较小的R树节点发布到全局KD树,从而优化多维查询性能。实验结果表明：与全局分布式R树索引相比,KD-R索引能够有效提高多维范围查询性能,并且在出现服务器节点失效的情况下,KD-R索引同样具有高可用性。     

基于空间索引的WSN数据查询机制

针对当前无线传感器网络中数据查询通信开销大而带宽资源有限的问题,提出了一种基于局部聚类的数据存储模型.该模型通过将整个网络按地理位置划分区域,采用局部数据聚集存储,避免了将同种数据发送至一个存储点存储所造成的巨大通信开销,从而均衡通信带宽.在数据存储模型之上,提出了一种基于空间索引的数据查询方法(SIQ).在SIQ中只利用存储节点构建成索引的叶子节点,与利用所有节点建成的索引相比,其维护的节点数量少,索引的构建成本降低.同时SIQ采用数据属性为空间索引内容,有效地对监测数据进行多维属性的范围查询.仿真结果表明,与较成熟的DD算法和GHT算法相比,SIQ方法能克服泛洪查询所引起的高通信复杂度.     

基于Bin位图索引的多维查询优化算法

在属性基数（该属性可能的取值数）很高的情况下,简单位图索引需要占用太大存储空间。Bin位图索引可以很好解决这个问题。这种索引不像简单位图索引那样建立在不同的属性值上,而是建立在属性范围上,但候选检查往往占用大部分的查询时间。为了提高查询性能,提出一种排序方法来对各属性进行排序,以减少候选检查数目,并在此基础上提出动态预扫描算法。实验结果表明,排序和动态预扫描算法都取得了良好的效果。     

云计算中面向隐私保护的查询处理技术研究

在云计算环境中既能同时保护数据隐私和用户查询隐私,又能提供给用户满足需求的查询结果是云计算中面向隐私保护的查询处理的关键问题。对云计算中面向隐私保护的查询处理技术的若干关键问题进行了全面的调研,包括数据库索引技术与查询优化、基于加密的隐私保护技术、基于安全多方计算的隐私保护技术以及查询结果完整性验证技术。分析了云计算中面向隐私保护的查询处理技术的挑战性问题,指明了未来研究方向。     

云数据管理索引技术研究

数据的爆炸式增长给传统的关系型数据库带来了巨大的挑战,使其在扩展性、容错性等方面遇到了瓶颈.而云计算技术依靠其高扩展性、高可用性、容错性等特点,成为大规模数据管理的有效方案.然而现有的云数据管理系统也存在不足之处,其只能支持基于主键的快速查询,因缺乏索引、视图等机制,所以不能提供高效的多维查询、join等操作,这限制了云计算在很多方面的应用.主要对云数据管理中的索引技术的相关工作进行了深入调研,并作了对比分析,指出了其各自的优点和不足;对在云计算环境下针对海量物联网数据的多维索引技术研究工作进行了简单介绍;最后指出了在云计算环境下针对大数据索引技术的若干挑战性问题.     

基于云计算的多重查询优化系统

在常规海量数据分析作业中,CPU/IO密集型的查询语句通常复杂、耗时并存在大量可复用的公共部分。如何检测、共享和复用回归查询集中语句间的公共部分成为亟需解决的问题。为此,提出特征值索引方法,并构建适用于云计算场景的LSShare多重查询优化系统。基于查询语句的抽象语法树将语句划分为不同的查询层次,针对每个查询层次抽取特征向量并计算特征值。建立简单高效的特征值索引表以识别多重查询语句间的公共部分,并结合SQL重写技术来复用其中的公共部分。随着运行迭代次数的增加,LSShare系统将逐步优化云计算场景中的回归查询集。实验结果表明,该系统在运行效率上优于传统查询语句系统,可节约近1/3的执行时间。     

医疗应用服务中云计算的数据查询方法研究

针对医疗应用服务中的数据查询问题,提出了一种基于云计算的数据查询方法。该方法首先基于Random Walk方法找到查询请求的目标节点,然后通过定义服务节点的相似节点集和等价节点集来进行二次搜索,返回具有最大评价值和最低负载的节点和数据作为所需的目标节点及数据。通过两种查询方法的目标数据质量对比,发现随着服务节点数目的增加,文中方法对于提高查询质量的作用比Random Walk方法更好;通过两种方法查询目标节点的负载情况,文中的查询算法在大量服务节点间的负载情况比Random Walk方法更均衡;通过两种方法的查询路径长短比较,显示两种方法的结果较接近,但文中方法比Random Walk方法稍有优势。实验结果显示文中方法在查询之数据质量、服务节点之负载能力和查询之效率方法均好于传统策略。     

面向查询式实体解析的多属性数据索引技术

实体解析是数据集成的关键方面,也是大数据分析与挖掘的必要预处理步骤.大数据时代,随着查询驱动的数据应用需求的不断增长,查询式实体解析成为热点问题.为了提升查询-解析效率,研究了面向实体缓存的多属性数据索引技术.涉及两个核心问题:(1)如何设计多属性数据索引?设计了基于R-树的多属性索引结构.为了满足实体缓存在线生成需求,提出了基于空间聚类的在线索引构建方法.提出了基于“过滤-验证”的多维查询方法,利用多属性索引有效地过滤掉不可能命中的记录,然后采用相似性函数或距离函数逐一验证候选记录.(2)如何将不同的字符串属性插入到树形索引中?解决思路是,将字符串映射到数值空间.针对Jaccard相似性和编辑相似性,提出了基于q-gram的映射方法,并提出了基于向量降维的优化和基于z-order的优化,实现高质量的“字符串→数值”映射.最后,在两个数据集上进行实验评估,验证多属性索引的有效性,并测试其各个方面.     

云环境下的突发关键字查询算法

基于Spark Streaming计算框架下的分布式突发关键字查询是监测流数据中关键字突发时间的热点研究问题。多数研究方法存储统计所有的关键字,并未考虑热点关键字。在数据呈爆炸式增长的背景下,获取热点关键字的突发时间更具有价值。针对这个问题,提出一种分布式突发关键字查询算法,该算法采用动态的更新策略,通过设置检查点的方法提取热点关键字,并在线性的时间内查询突发的时间范围。实验结果表明,该算法的性能比现有算法更优。     

云计算环境下的容错并行Skyline查询算法研究

云计算为分布并行Skyline查询提供强大存储能力和计算能力的同时,其大规模数据中心固有的故障频发特性给可靠Skyline查询处理带来极大挑战。现有研究致力于提高Skyline算法的响应时间、渐进性、负载均衡等各项性能,不能保证故障情况下查询继续正确执行。为此,提出一种容错并行Skyline查询算法(fault-tolerant parallel Skyline,FTPS)。该算法通过故障监测和任务迁移,使得能够在查询过程中及时发现故障,并将故障节点的计算任务迁移到副本节点,保证查询的正确执行。理论分析和实验证明,FTPS算法能够在不影响正常Skyline查询处理性能的情况下获取较好的容错处理性能。     

云计算和云数据管理技术

随着各种新技术的发展,企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间.伴随着云计算技术的发展,云计算已经成为一种全新的互联网应用模式.而在云计算对海量的数据高效管理,云端数据精确精准快速查询成为越来越重要的问题.一个新的面向云计算的数据管理研究领域正逐渐形成,在云计算技术的基础上,提出了云数据管理的概念.分析GFS,BigTable,Dynamo等当前互联网主流云数据管理系统的基本原理,并针对未来云数据管理架构进行分析,最后指出了云数据管理领域的主要研究方向.