基于HBase的交通大数据存储查询平台的设计及实现

在交通数据量持续增长的影响下,传统的交通数据处理方法已经无法满足其需求,在云计算技术日渐成熟的影响下,基于交通大数据基础上,将其与Hadoop结合起来,通过对其非关系型数据库HBase进行合理运用,即可较好的实现对交通数据的存储和查询处理。     

基于HBase的遥感数据分布式存储与查询方法研究

遥感影像的存储与查询是地理信息处理中重要的内容,在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题,提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分,并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。另外,采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明,与MySQL和MapFile相比,该方法可以有效地提高数据的写入和查询速度,且具有较好的可扩展性。     

基于HBase的海量地形数据存储

随着遥感技术的发展,遥感数据的类型和量级发生了巨大变化,对于传统的存储方法产生了挑战。针对HBase中海量地形数据管理效率不高的问题,提出一种四叉树-Hilbert相结合的索引设计方法。首先,对传统地形数据管理方式和基于HBase的数据存储国内外研究现状进行了综述;然后,在基于四叉树对全球数据进行组织的基础上,提出了四叉树和Hilbert编码相结合的设计思想;其次,设计了根据经纬度求地形数据的行列号和根据行列号计算Hilbert编码的算法;最后,对设计的索引的物理存储结构进行了设计。实验结果表明,利用设计的索引进行海量地形数据入库,数据入库速度与单机情况相比,提高了63.79%~78.45%;在地形数据的范围查询中,设计的索引与传统的行序索引相比,查询时间降低了16.13%~39.68%。查询速度最低为14.71 MB/s,可以满足地形数据显示的要求。     

基于HBase的污染源监控数据存储系统实现方法研究

污染源监控系统中需要存储大规模监测数据,现有基于关系的数据库存储系统在数据存储和检索效率上不能很好地满足要求。为提高污染源监控数据存储系统使用性能,提出一个基于HBase的分布式三层数据存储架构,给出该存储架构下数据通信机制和实现方法。深入讨论HBase下数据存储表的设计过程和数据写入技术,并给出相应的实验分析。实验结果验证了基于HBase的污染监控数据存储系统的有效性。     

基于HBase和GeoTools的矢量空间数据存储模型研究

针对非结构化数据库HBase存储技术的研究,提出一种矢量空间数据存储模型,对现有的矢量空间数据格式进行转换存储,以解决云存储技术缺乏空间数据拓扑关系描述及不能直接存储矢量空间数据的问题。该模型利用了列模式和key/value映射的稀疏存储机制,并采用基于GeoTools中间件的思想对矢量空间数据展示其空间拓扑关系。在HBase集群上的实验表明,该模型克服了HBase存储技术在矢量空间数据存储方面的瓶颈,在其体现空间拓扑关系的前提下,对矢量空间数据可以直接存取和展示,提高了空间数据存储效率。     

基于HBase的本体存储模型

本体是对某一特定领域的重要概念的形式化描述。合理地存储本体数据是发挥其共享性的重要前提,尤其是在当前分布式系统下其作用更为突出。通过分析 目前的各种存储方式,并结合当前语义网、Hadoop的特点,提出了基于HBase的本体存储模型HBase-OntSM,该模型将本体的三元组数据集作为一个图,把图作为一条记录存储到数据库中;并给出了与该图相关的一系列基本定义和索引定义。最后以西藏文化本体中的一个片段为例,解释了该本体存储模型及其存储过程。     

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中，大量工业设备产生的时序性日志数据量呈爆炸式增长，业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据，但由于未考虑特定业务场景中数据与访问行为特征的关联，现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题，基于分布式存储系统HBase，利用工业场景中数据与访问行为特征的关联性，提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题，提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型（LR）对数据进行冷热分类，并将热数据分散存储在不同节点；同时，为进一步降低存储集群中跨节点的通信开销，以提升工业时序数据高维索引的查询效率，提出索引主数据同Region化策略，设计索引RowKey字段及拼接规则，将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明，引入优化策略后的数据负载分布倾斜度降低28.5%，查询效率提升27.7%，验证了所提优化策略能够有效地挖掘特定时序数据的访问模式，合理地分配负载，降低数据访问开销，有能力满足对特...     

基于行键的HBase大数据文件存储转换与快速检索研究

针对传统关系型数据库很难满足数据的快速存储与检索的问题,研究了基于数据文件字段映射表、文件对象字段、HBase列映射表和存储转换执行方案映射表解决文件对象的异构性和存储转换的通用性问题。提出了自定义RowKey行键的规则与生成算法;给出了基于映射表与行键的数据转换与存储流程及算法;最后基于行键前缀匹配或关键字匹配方式实现了不同需求的数据快速访问与检索,且具有较强的通用性。     

基于数据仓库的QAR数据分析

针对现有各航空公司分析QAR数据的平台不统一、QAR数据量大、分析和处理数据能力不足、导致海量的数据变成了信息垃圾,在对QAR数据和数据仓库技术研究基础上,结合航空公司关心的问题,设计了QAR数据仓库,给出了数据仓库模型的设计,详细阐述了QAR数据分析主题的提取方法,提出QAR数据仓库的星型模型.通过ETL设计了多维数据集,以超限事件为例展现了对QAR数据的安全分析,为航空公司改进飞行品质、提高安全系数提供依据.     

基于HBase的领域本体存储方法及其应用研究

在分析民航突发事件应急管理领域本体及其存储特点的基础上,提出了一种基于HBase的领域本体存储方法,采用将领域本体元数据与RDF实例数据分开存储的方式,给出了描述领域本体类及属性信息的元数据和RDF实例数据的存储模型,及其基于MapReduce的领域本体RDF数据并行加载过程。结合应用实现了领域本体基于HBase API的基本图模式查询,并在Hadoop环境下进行了实验与效果分析,为民航应急管理领域本体的海量数据存储提供了理论与方法支撑。     

面向海量交通数据的HBase时空索引

针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引。首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合;然后根据组合顺序的不同,提出了四种结构模型,分别讨论了模型的具体构成以及交通数据查询中的适应面;最后提出了相应的时空索引管理算法及基于Hbase时空索引的交通数据查询方法。通过实验验证了提出的HBase时空索引结构能有效提升海量交通数据的区域查询性能,并比较了四种时空索引结构在不同数据规模、不同查询半径以及不同时间范围的查询性能,量化验证了不同索引结构在交通数据查询中的适应场景。     

基于K-EROS的QAR数据集的相似性分析

叙述了传统的PCA方法在处理QAR数据相似性问题的不足,提出基于EROS的KPCA方法处理QAR数据之间的相似性问题。通过引入EROS方法而不需要对数据进行向量化,引入核矩阵对QAR数据进行主成分分析,可以有效降低数据的维数。选取两组QAR数据集,采用支持向量积方法,选用不同数目的主成分进行分类实验,同SPCA方法和GPCA方法进行比较,实验结果显示把该方法运用到QAR数据集,具有较好的分类结果。     

基于面向对象XML的存储模式的设计与实现

通过扩展DTD和XML文档的解析建立面向对象的XML存储模式中的数据仓支持XML数据之间的继承关系和基于XML的面向对象的数据查询方式。文章阐述了解析器的系统设计与实现算法,并给出进一步的研究方向。     

基于HBase的列存储压缩策略的选择优化

大数据时代背景下,列存储数据库使用场景愈加增多,推动了列存储相关领域的研究进展。为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大,分类粒度小,配套分类算法缺陷导致的学习成本高,压缩效率难以保证的问题,本文提出了一种基于排序的列区混合压缩策略,首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较,实验结果显示本文方法在压缩率、压缩/解压时间方面均有优异的表现,从而证明了本文方法的有效性。     

基于小波尺度系数的民航QAR数据约简及其性能分析

民航班机的快速存取记录仪(QAR)记录了大量的飞行和性能参数,QAR数据的约简是对这些数据进行数据挖掘的一个重要环节.针对民航QAR数据的特点及为数据约简后应用数据挖掘算法的需要,在小波变换相关理论分析的基础上,提出了利用小波尺度系数进行QAR时间序列数据约简的方法及其性能分析方法,确定了相应的性能评价指标.实验结果表明了该方法对QAR数据约简的正确性及时域、频域数据特征兼顾,数据的主要特征失真小等优点.     

基于QAR数据的民航客机设计理念分析

中国国内运行着大量国外先进民用飞机。这些飞机全部装有飞行数据快速存取记录器,以采集飞行数据开展飞行品质监控工作;民机日常飞行数据除了能够在航空公司运行中发挥作用,还能够通过技术手段分析得出先进型号的设计经验与运行特点,相关技术成果对国产民机制造业的发展也具有一定的借鉴意义;在分析国内外相关研究基础上,以两款国外民机巡航段飞行数据的分析为例,解析了两型飞机的高度保持控制律设计逻辑,实际案例分析表明,基于QAR数据的分析能够有效地反应在自动飞行阶段高度保持控制律中体现的设计逻辑,从而有助于对国产民机的设计和优化。