大数据存储结构及查询优化

随着经济和科技的进一步发展,我国的数据量在不断增加,这对于存储系统提出更高的要求,要进一步提高数据加载的速度等,需要优化大数据的存储结构。基于此,将对大数据的影响、大数据在分布式处理中的资源消耗、大数据处理的要求以及改进的措施进行介绍,从而进一步促进大数据的发展。     

基于HBase的交通大数据存储查询平台的设计及实现

在交通数据量持续增长的影响下,传统的交通数据处理方法已经无法满足其需求,在云计算技术日渐成熟的影响下,基于交通大数据基础上,将其与Hadoop结合起来,通过对其非关系型数据库HBase进行合理运用,即可较好的实现对交通数据的存储和查询处理。     

基于HBASE的时空大数据关联查询优化

随着数字采集和存储技术的快速发展,视频监测系统得到快速普及,以此带来了海量的监测视频数据。与文本数据不同的是,监测数据具有时空特征,如何在规模庞大且动态增长的数据量下进行高效的查询成为许多时空数据应用所关心的问题。针对云存储体系结构中监测视频大数据高效的时空联合查询需求,充分利用时空特征值和属性特征值在应用中的关联关系,以及HBase数据库在海量查询方面的优良性能,提出了基于HBase Bloomfilter的时空大数据多重过滤机制,创新性地利用视频文件特征值之间的依赖与关联关系来安排rowkey索引键。在此基础上设计出两种时空关联查询算法。最后通过实验证明了算法在时空大数据查询方面的可行性、灵活性和高效性,对其他大数据关联查询应用有较好的指导意义。     

大数据环境下基于Hbase的分布式查询优化研究

大数据环境下数据库所存储的数据量呈爆炸式增长,如何保持高吞吐率并让客户得到满意的数据查询和处理结果,已经成为一个急需解决的问题。金融、电信以及互联网等行业要求企业的统计分析平台能支持分布式、高可用性和可扩展性的分布式查询环境,以便能及时高效的完成查询分析任务,做出更合理的业务决策。目前已经有很多公司在一定范围内将应用从关系数据库向Hbase进行迁移,但是大多数都是和Hadoop MapReduce或Hive结合使用,导致数据量增加后的分布式查询耗时过长,性能也随之下降。此外Hbase也有其自身的局限性,不能兼容传统数据库上的SQL应用。本文在分析了现有分布式数据库系统平台并深入研究Hbase的实现原理及高级特性的基础上,提出了基于Hbase的可扩展性查询优化方案(Hbase DSPE),即把Hbase的优点和SQL的易用性结合。这样做有助于对复杂SQL查询的优化,可以充分利用Hbase的诸多高级特性进行查询性能调优,对企业在大数据环境下从传统关系数据库向大数据平台的迁移具有现实的指导意义。     

HBase中基于时空特征的监测视频大数据关联查询研究

针对传统的时空索引构建、维护困难且实时查询效率低等问题,首先提出基于HBase的时空索引构造方法。该方法采用HBase作为监测视频大数据时空特征索引结构,通过Z填充曲线对空间特征进行降维存储,并利用时间、空间和属性特征之间的关联及依赖规则来安排rowkey索引键,可有效解决传统的时空索引构建、维护困难的缺陷。此外,针对传统的时空索引实时查询效率低的问题,进一步提出了基于Z曲线的时空关联查询算法,该算法对查询空间计算Z值范围和建立空间划分子集,利用划分后的时空特征进行列索引查询得到候选数据集并反查HBase索引表完成关联查询。实验结果表明,与传统的R树索引算法相比,提出的基于HBase的时空索引构造方法索引插入效率更高,提出的基于Z曲线的时空关联查询算法能够快速高效地处理时空关联查询。     

Web数据引擎的查询表达

当前Web的发展越来越快,Web上的信息也越来越丰富。如何能够快速准确地查找到有价值的信息成为一个人们普遍关心的问题,虽然目前有一些工具,例如各种搜索引擎,可以解决这个问题,但是结果都不太令人满意。另外,在数据库领域中,数据库技术可以支持复杂的查询请求,并且能够返回精确的查询结果。可否将数据库技术应用到Web上呢?从模型化的观点来看,在Web的某个局部的特定领域当中,数据库技术与搜索引擎技术有望结合起来实现更加精确的查询。为此,作者展开了相关的研究,设计并实现了一个原型系统WebView。论文主要介绍了该系统的查询表达部分的设计方法,通过采用三层模式框架和概念复合技术,使得用户可以很方便地表达比较复杂的查询请求。     

一种面向非公经济的数据查询优化方法研究

全国工商联在进行相关业务数据处理时,需要处理来自不同地域、不同领域的非公企业金融、信用等经济数据,目的是横向统筹单一或多个组织在一个或多个领域相关的指标数据,为后续非公经济发展提供决策依据；此外,需判断全国工商联接入各省市工商联数据资源的情况,以对全国非公经济数据进行分析研判。本文提出一种数据虚拟化应用方法,并基于此方法连接使用跨域数据资源。将工商联接入的多源异构非公经济数据进行逻辑虚拟化,构造数据的逻辑空间,通过分簇算法优化元数据查询,并提出了基于SparkSQL分布式查询的优化方法,实施Catalyst自动缓存策略、使用中间数据结构等方式提高数据查询效率与读取性能,在保证数据准确性的同时提高工商联数据资源的利用率,促进工商联数据资产有效利用。     

IDMEF的XML数据存储和查询研究

越来越多的应用使用XML作为一种通用数据交换格式，IDS也使用XML来定义入侵警报信息规范－IDMEF（Intrusion Detection Message Exchange Format).IDMEF是一种结构比较简单的XML，如果使用通用XML的存储和查询技术，系统会变得比较复杂，分析IDMEF的DTD，发现使用栈结构来存储的查询是十分方便的，把DTD文件经过语法分析，转化成栈结构的数据，再把栈结构的数据保存到关系数据库中，在此基础上可以很容易地实现入侵警报信息的存取，检索，这种方案只需要使用两个表，描述简单，容易实现。很容易把这种方案推广到其他格式简单的XML的存储和查询中，具有一定的通用性。     

基于TEZ引擎和LLAP技术的Hive数据查询能力研究

分布式计算框架（HadoopMapReduce）解决了大数据分布式计算和并发计算问题,具有良好的扩展性和容错性,非常适合超大规模数据处理和分析。Hive基于HadoopMapReduce构建数据仓库分析系统,提供丰富的结构化查询语言（Structured Query Language,SQL）查询能力,可将SQL语句转变成MapReduce任务执行分析数据。但是,MapReduce本身的特点（Map阶段和Reduce阶段）使得其在多表关联和复杂SQL场景时运行较慢。因此,基于真实场景打造了一套通过TEZ引擎和LLAP(Live Long and Process)技术结合来提升Hive查询能力的系统,面对复杂的多表关联查询、使用频率较高的复杂查询时能够快速高效率执行,缩短了用户等待时间。     

XML数据查询的存储实现

XML正在迅速成为WWW上采用的信息交换、表示和存储手段之一，首先，本文基于OEM数据模型提出了离散的XML数据模式概念，并在此思想上发展出基于模式匹配的数据查询概念；接着探讨了保证高效查询的XML数据的存储方法；最后，给出了实验分析。本文的内容是我们的基于离散模式的XML数据库系(DISXDBS)的研发工作的查询存储部分。     

天玑大数据引擎及其应用

大数据计算面对的是传统IT技术无法处理的数据量超大规模、服务请求高吞吐量和数据类型异质多样的挑战。得益于国内外各大互联网公司的实际应用和开源代码贡献,Apache Hadoop软件已成为PB量级大数据处理的成熟技术和事实标准,并且围绕不同类型大数据处理需求的软件生态环境已经建立起来。文章介绍了大数据计算系统中存储、索引和压缩解压缩的硬件加速三项研究工作,即RCFile、CCIndex和SwiftFS,有效解决了大数据计算系统的存储空间问题和查询性能等问题。这些研究成果已形成关键技术并集成在天玑大数据引擎软件栈中,直接支持了淘宝和腾讯公司的多个生产性应用。     

大数据上函数查询解答的复杂度分析

函数查询是大数据应用中重要的操作,查询解答问题一直是数据库理论中的核心问题。为了分析大数据上函数查询解答问题的复杂度,首先,使用映射归约方法将函数查询语言归约到已知的可判定语言,证明了函数查询解答问题的可计算性;其次,使用一阶语言描述函数查询,并分析了一阶语言的复杂度;在此基础上,使用NC-factor归约方法将函数查询类归约到已知的\mathrm{\Pi }{\mathrm{{\rm T}}}_Q-complete类中。证明函数查询解答问题经过PTIME（多项式时间）预处理后,可以在NC（并行多项式-对数）时间内求解。通过以上证明可以推出,函数查询解答问题在大数据上是可处理的。     

RDF 数据查询处理技术综述

随着语义网以及信息抽取技术等研究的发展,Web上涌现出越来越多的RDF数据,海量RDF数据的管理,已经成为学术界和工业界研究的热点之一。从RDF数据集形态及RDF数据组织存储两个维度以及查询表述、查询处理、查询优化等方面,深入地分析和比较了RDF数据查询处理方法,并在此基础上提出了未来研究的方向和挑战。     

利用DDE实现实时生产数据的存储和通用查询

DDE是Windows应用程序间数据通讯的一种方式。本文讨论了利用PowerBuilder的DDE功能设计基于数据库的实时监控系统的实现思路,以及实时数据被存储到SQL Server中用户前端分析、查询界面的设计方法。文中主要讨论了实时数据存储时,防止数据冲突及SQL Server中用户通用查询的解决方法。     

利用PowerBuilder实现灵活数据查询和处理

介绍了如何利用PowerBuilder的动态数据窗口技术结合数据存储来开发动态的极其灵活的查询语句。分析了使用这种方法比传统的嵌入式SQL语句在功能和效率上的优点。     

试飞数据查询引擎设计

试飞数据是飞行试验的核心产品,具有参数量多,数据体量大,信息复杂程度高,查询响应快等特征,支撑飞机设计、制造、试飞、运营等阶段任务；试飞数据查询引擎旨在提供PB级多维度试飞数据快速查询服务,对试飞数据特征深度分析,采用大数据交互式查询关键技术,基于试飞数据处理与分析平台,研究了存算分离技术和异构计算技术,设计试飞数据查询引擎,具备多源数据汇聚,多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成,多类指标数据自适应输出等功能,创新试飞数据查询与可视化方式,并成功应用在某型国产民机的飞行试验数据管理与分析中,服务于试飞工程师、飞机设计人员、课题工程师,提高了试飞数据管理效率与试飞数据应用价值。     

大规模数据密集型系统中的去重查询优化

针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据写入时保证数据均衡,并在数据量发生倾斜时自动调整数据的分布;后者充分发掘了去重查询处理中的粗粒度流水级并行,并消除了多节点同步等待的开销,尽早地返回结果.在生产系统DBroker上的测试表明,数据分布策略极大地改善相关属性的去重查询性能,而异步式并行查询引擎能够充分发掘并行性,对不相关属性的去重查询具有显著的性能提升.     

基于不确定数据的查询处理综述

不确定数据在一些重要应用领域中是固有存在的,如传感器网络和移动物体追踪。在不确定数据上使用传统的查询方法会使查询结果出现偏差,不能满足用户的需求。因此,基于不确定数据的查询处理受到了越来越多的关注。与在确定数据上查询不同,不确定数据上的研究工作将概率引入到数据模型中来衡量不确定对象成为结果集中元素的可能性。由于问题定义和数据模型的不同,不确定数据上的查询类型也多种多样。从问题定义、数据模型、剪枝策略和算法等角度,对基于不确定数据的范围查询、top-k查询以及skyline查询进行了介绍。     

XML查询语言XQuery的研究与实现

XQuery是一种对XML结构的文档和数据进行查询的语言.在对该查询语言规范体系分析、理解和研究的基础上,提出了支持W3C的XQuery语言的查询处理引擎的体系结构.针对各个输入输出和处理模块按数据流的方式逐一进行分析,对整个系统的运行状态做了一个总体的介绍.按照这个体系结构,-个XQuery查询处理引擎已经被实现.