基于负载均衡的多源流数据实时存储系统

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。     

基于HBase的污染源监控数据存储系统实现方法研究

污染源监控系统中需要存储大规模监测数据,现有基于关系的数据库存储系统在数据存储和检索效率上不能很好地满足要求。为提高污染源监控数据存储系统使用性能,提出一个基于HBase的分布式三层数据存储架构,给出该存储架构下数据通信机制和实现方法。深入讨论HBase下数据存储表的设计过程和数据写入技术,并给出相应的实验分析。实验结果验证了基于HBase的污染监控数据存储系统的有效性。     

突发水污染事件中遥感瓦片大数据存储系统

突发水污染事件频发,利用GIS平台、遥感技术及水质模型对突发水污染事件进行模拟研究逐渐成为一种发展趋势.针对目前海量、异构、动态遥感数据难以快速处置和高效存储的问题,基于HBase设计和实现了突发水污染事件的遥感瓦片大数据存储系统.该系统以数字地球平台为支撑,结合遥感瓦片金字塔模型和MapReduce框架,考虑实时、动态观察事件发展态势引起的瓦片数据频繁加载特点,对遥感瓦片数据的线性四叉树编码索引进行了改进,将其同水污染数据一并存储到HBase数据库中,并通过增加缓存区来提升遥感瓦片数据的访问效率.将此系统应用于渭河陕西段突发水污染事件中,实验结果表明:改进后的索引可在200个毫秒时间内提取到水污染区域的遥感数据,引入的缓存机制使得水污染区域遥感数据的加载时间节省了近2/3.因此,该存储系统访问效率高,能够满足突发水污染事件快速应急模拟的需求.     

基于SSD SMR混合存储的LSM树键值存储系统的性能优化

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recor-ding,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能。同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cassandra和HBase等。因此,如何基于新型的SSD-SMR混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题。首先建立基于SSD-SMR混合存储的LSM树键值系统的性能模型,然后针对SSD和SMR的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统。在仅仅使用0.4%～2%空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20%,随机读性能提高5倍。     

基于融合数据库的海量传感器信息存储架构

在物联网、工业监控等系统中,庞大规模的传感器每时每刻都在产生大量的数据。实时数据库在处理高时效性数据方面具有较强的优势,但是在处理大规模传感器数据方面存在着存储量低、不便于扩展的弊端。而HBase在处理海量数据方面具有高读写性能、高扩展性、高可靠性和高存储量的优势。通过将实时数据库与HBase相结合,设计并实现了基于融合数据库的传感器信息存储架构。该架构采用多租户机制,对HBase写入进行了优化,将原来分散的传感器数据集中式存储,并把传感器元数据与历史数据分离存储,同时维持了实时数据库原有的查询、数据组织结构的特点。经过实验验证,该架构具有较高的读写性能以及良好的可扩展性,有效避免了Region写入热点,实现了集群负载均衡。     

面向轨迹流数据的索引构建与存储方法研究

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性,提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率。在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。     

基于Storm的大容量实时人脸检索系统

针对公共安全领域能够获取的人脸图像数据急速增长,传统的人工方式辨别人物身份工作量大、实时性差、准确度低,本文设计了一种大容量实时人脸检索系统.该系统通过Storm分布式平台实现人脸抓拍图像的实时存储与检索,通过HBase分布式存储系统实现大容量非结构化人脸数据的存储与维护.多组实验结果表明,该系统具有良好的加速比,在大容量人脸图像数据检索场景下具有良好的可扩展性和实时性.     

基于私有云的海洋观测数据同步存储策略研究

研究发现海洋实时观测数据存储系统在运行中常出现延迟甚至内存溢出等问题,针对该问题提出一种基于私有云存储的同步策略,该策略能解决上述因存储海量实时数据而带来的性能问题并节约存储成本。     

基于HBase的高能物理数据存储及分析平台

高能物理对撞机产生数百亿计的物理事例,而物理分析则是从中选取几千个有意义的事例,该分析过程是一个典型的大数据处理及数据挖掘应用。由此,设计高效的数据结构、存储及访问机制,快速挑选出有意义的物理事例十分重要。介绍事例的数据结构、存储和处理技术,分析高能物理数据的特点,提出一种以HBase,ROOT,BEAN及MapReduce为基础的新型高能物理数据存储及处理技术系统。利用HBase存储数据、MapReduce实现并行处理,选择ROOT和BEAN作为高能物理分析框架,并给出具体设计与实现方案。测试结果表明,与传统高能物理数据存储系统相比,该系统具有更快的数据处理速度,当预筛选服务生效时能够更加有效地利用I/O和CPU资源。     

一种面向高性能计算的分布式对象存储系统

现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。     

基于HBase的QAR数据存储设计与实现

为解决传统关系数据库存储QAR数据可扩展性低、可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法。根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储。真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能。     

基于Hadoop和HBase的输变电设备数据聚合平台

输变电设备在运行中将产生大量的多态、异构数据，导致在数据集成和利用过程中出现信息孤岛问题，无法实现不同数据源内的数据信息共享互换。如何可靠获取、同步处理并对这些数据信息充分挖掘给电力系统中信息系统的建设及运行维护带来巨大压力。采用本体技术对多源异构数据进行聚合，可以向用户提供更具针对性的信息。针对电网中输变电设备全景信息数据的多源性、多态性、异构性，本文提出了基于Hadoop和HBase的输变电设备大数据聚合平台方案，搭载改进混合本体聚合方法，并设计了Map/Reduce分布式查询和推理流程。该平台采用标准化和开放性建模语言，屏蔽底层异构数据源，具有良好的可扩展性，可用于解决输变电设备数据信息的非结构化、共享性差、难以处理等问题。     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

基于预分区策略的装备数据分布式存储方法

随着传感器技术和计算机技术的发展,装备在研制生产过程中会产生大量的数据,这些数据是海量的、多源的和异构的,企业需要考虑如何将数据进行快速处理和存储管理,进而利用加工后的数据提升装备生产制造能力。对卫星、飞机等典型装备数据进行了研究,提出了一种基于预分区策略的分布式数据存储方法。该方法研究HBase的预分区机制和装备数据模型特点,研究装备数据快速存储的影响因子,并给出了数据快速存储算法,使海量装备数据可以负载均衡地、快速地存储在HBase数据库里。最后,对模型的数据存储性能、负载均衡性、各类装备的适用性进行了评估试验。试验结果表明,该方法可以覆盖多种类型的装备数据,并在数据存储效率上有良好的表现。     

基于HBase的大规模无线传感网络数据存储系统

无线传感网络(WSN)存在分布的跨区域性,随着无线传感网络的扩张,传感器数目增多,将产生大规模的传感数据。针对存储大规模无线传感网络数据的问题,提出了一个两层分布式存储架构,使用分布式数据库HBase存储跨区域的无线传感网络数据和全局数据存储管理目录,实现一个近实时的存储系统。实验结果证明,该系统有良好的扩展性、存储和查询效率。     

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。