基于HBase的瓦片索引和读取方法设计

地理信息瓦片数据规模庞大，传统的关系型数据库不足以满足对瓦片数据容量、速度的支持。针对这种情况，选取HBase存储瓦片数据，在以四叉树编码作为索引进行数据存储的基础上，提出一种多层级瓦片数据索引设计方法，该算法通过“异层级再编码”的方式，使在地图中空间相邻的瓦片数据在物理存储中也尽可能相邻，以达到瓦片数据的空间连续性在物理存储中得以保持的目的；提出一种邻域预读取方法，该方法配合索引设计，以批量读取的方式预先将邻域瓦片读取至缓存。实验表明，在用户连续读取相关联的地图数据的情况下，该方法比传统的缓存算法具有更高的命中率，且比传统的数据索引设计响应更快。     

面向轨迹流数据的索引构建与存储方法研究

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性,提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率。在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。     

基于固态硬盘的云存储分布式缓存策略

为满足海量数据存储的需求,提出一种基于低功耗、高性能固态硬盘的云存储系统分布式缓存策略.该策略对不同存储介质的硬盘虚拟化,将热点访问数据的缓存与存储相结合,实现在不同存储介质之间的热点数据迁移,解决热点元数据的访问一致性与存储服务器的动态负载均衡问题.工作负载压力测试结果表明,该策略可使云存储系统的读峰值速率最高提升约86％,并且能提高存储服务器的吞吐量.     

基于HBase和Hive的航班延误平台的存储方法

针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具LeafLet为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法（MD5）重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于SolrCloud的关联查询算法,利用SolrCloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于Hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。     

基于HBase的污染源监控数据存储系统实现方法研究

污染源监控系统中需要存储大规模监测数据,现有基于关系的数据库存储系统在数据存储和检索效率上不能很好地满足要求。为提高污染源监控数据存储系统使用性能,提出一个基于HBase的分布式三层数据存储架构,给出该存储架构下数据通信机制和实现方法。深入讨论HBase下数据存储表的设计过程和数据写入技术,并给出相应的实验分析。实验结果验证了基于HBase的污染监控数据存储系统的有效性。     

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中，大量工业设备产生的时序性日志数据量呈爆炸式增长，业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据，但由于未考虑特定业务场景中数据与访问行为特征的关联，现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题，基于分布式存储系统HBase，利用工业场景中数据与访问行为特征的关联性，提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题，提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型（LR）对数据进行冷热分类，并将热数据分散存储在不同节点；同时，为进一步降低存储集群中跨节点的通信开销，以提升工业时序数据高维索引的查询效率，提出索引主数据同Region化策略，设计索引RowKey字段及拼接规则，将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明，引入优化策略后的数据负载分布倾斜度降低28.5%，查询效率提升27.7%，验证了所提优化策略能够有效地挖掘特定时序数据的访问模式，合理地分配负载，降低数据访问开销，有能力满足对特...     

面向HBase的大规模数据加载研究

分布式数据库HBase在大规模数据加载中较传统关系型数据库有较大的优势但也存在很大的优化空间.基于Hadoop分布式平台搭建HBase环境,并优化自定义数据加载算法.首先,分析HBase底层数据存储,实验得出HBase自带数据加载方式在效率和灵活性方面存在不足;进而,提出了自定义并行数据加载算法,并针对集群进行优化.实验结果表明,优化后的自定义并行数据加载方式能充分发挥集群性能,具有较好的加载效率和数据操作能力.     

基于HBase的交通流数据实时存储系统

交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题.针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统.该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中.实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能.     

基于HBase的海量地形数据存储

随着遥感技术的发展,遥感数据的类型和量级发生了巨大变化,对于传统的存储方法产生了挑战。针对HBase中海量地形数据管理效率不高的问题,提出一种四叉树-Hilbert相结合的索引设计方法。首先,对传统地形数据管理方式和基于HBase的数据存储国内外研究现状进行了综述;然后,在基于四叉树对全球数据进行组织的基础上,提出了四叉树和Hilbert编码相结合的设计思想;其次,设计了根据经纬度求地形数据的行列号和根据行列号计算Hilbert编码的算法;最后,对设计的索引的物理存储结构进行了设计。实验结果表明,利用设计的索引进行海量地形数据入库,数据入库速度与单机情况相比,提高了63.79%~78.45%;在地形数据的范围查询中,设计的索引与传统的行序索引相比,查询时间降低了16.13%~39.68%。查询速度最低为14.71 MB/s,可以满足地形数据显示的要求。     

基于HBase的遥感数据分布式存储与查询方法研究

遥感影像的存储与查询是地理信息处理中重要的内容,在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题,提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分,并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。另外,采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明,与MySQL和MapFile相比,该方法可以有效地提高数据的写入和查询速度,且具有较好的可扩展性。     

遥感数据异地备份中数据一致性方法研究与实现

近年来,遥感数据的备份与容灾是数据存储与安全领域内备受关注的问题。异地备份的目的是实现数据的互备份和互检索,实现遥感数据动态备份与快速恢复。本文根据遥感数据异地备份自身的特点,在借鉴分布式数据库系统中维护数据一致性方法的基础上,提出了基于消息队列机制的异步复制控制法、差错控制法和同步文件比对法3种维护遥感数据一致性的方法,同时对这3种方法的区别和联系进行了初步分析。     

海量RDF数据的分布式存储研究

介绍海量KDF数据分布式存储的一种解决方案.R39F数据是按照主题-谓词-对象三元组进行存储的,重要的RDF数据还存储了额外的信息,例如版本信息、临时查询信息等.学习和研究当前流行的几种分布式存储框架,依托于开源框架HBase,在Linux集群上实现高效、协作地存储海量RDF数据.     

高空间分辨率遥感数据在离子吸附型稀土矿山调查中的应用

为更好地监测离子吸附型稀土矿山的开采现状,选取赣南离子吸附型稀土矿区,采用最新高分辨率遥感数据,开展离子吸附型稀土矿矿山非法开采监测、环境破坏监测、矿山动态变化监测等示范研究。运用IKONOS数据结合矿权资料在赣南寻乌地区开展稀土矿山非法开采监测;在赣南寻乌地区提取土地荒漠化及水体污染等环境信息;利用两期QuickBird数据在赣南定南某矿区开展动态变化监测。研究表明高空间分辨率遥感数据处理与分析为离子吸附性稀土矿矿山快速、准确、动态监测提供了良好的技术手段。     

基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

支持访问控制的P2P大规模遥感数据分发系统

遥感数据日益增长,大规模遥感数据分发对集中分发服务器构成了巨大压力。充分利用参与下载节点的网络资源,提出并实现了一种支持访问控制的P2P大规模遥感数据分发系统。遥感数据分发系统分为遥感数据管理平台和遥感数据客户端两部分,遥感数据管理平台包含共享分发平台网站、云存储、种子资源服务器和跟踪服务器4个组件,遥感数据各客户端和种子资源服务器构成P2P网络。设计了包括共享分片、分片选择、跟踪器通信等的P2P协议,实现的遥感数据分发系统能够上传遥感数据并自动做种,支持对用户的访问控制。根据用户权限进行下载,各下载节点共享分片,然后基于类Bittorrent协议来加速遥感数据的分发。实验结果表明,实现的大规模遥感数据分发系统的功能完善,在多节点下载时具备良好的并发性能,能够满足大规模遥感数据分发的需要。     

可程控遥感数据动态采集下临空高速目标探测系统设计

为实现对临空高速目标数据的跨域存储与调度,解决与目标节点探测相关的实际应用问题,设计可程控遥感数据动态采集下的临空高速目标探测系统;同时连接物理设备层、数据聚化层与应用接口层,完成可程控遥感数据动态采集下的目标探测系统应用框架搭建;利用MongoDB数据库架构与MysQL数据库表,建立必要的目标数据存储模型,实现临空高速目标数据存储模块的指向性连接;计算最大探测距离实值,根据目标探测参数的设计原理,定义与脉冲函数相关的应用表达式,实现对待探测临空高速目标信号源的分析与处理,完成可程控遥感数据动态采集下临空高速目标探测系统设计;实验结果表明,可程控遥感探测系统中已存储目标数据的跨域调度速率可达10.0×10⁷ T/s,单位时间内的最小信息存储值也接近4.2×10⁷ T,可在解决相关节点探测应用问题的同时,实现对临空高速目标数据的合理化存储与调度。