基于HBase的污染源监控数据存储系统实现方法研究

污染源监控系统中需要存储大规模监测数据,现有基于关系的数据库存储系统在数据存储和检索效率上不能很好地满足要求。为提高污染源监控数据存储系统使用性能,提出一个基于HBase的分布式三层数据存储架构,给出该存储架构下数据通信机制和实现方法。深入讨论HBase下数据存储表的设计过程和数据写入技术,并给出相应的实验分析。实验结果验证了基于HBase的污染监控数据存储系统的有效性。     

基于HBase的气象地面分钟数据分布式存储系统

针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。     

基于负载均衡的多源流数据实时存储系统

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。     

基于HBase的大规模无线传感网络数据存储系统

无线传感网络(WSN)存在分布的跨区域性,随着无线传感网络的扩张,传感器数目增多,将产生大规模的传感数据。针对存储大规模无线传感网络数据的问题,提出了一个两层分布式存储架构,使用分布式数据库HBase存储跨区域的无线传感网络数据和全局数据存储管理目录,实现一个近实时的存储系统。实验结果证明,该系统有良好的扩展性、存储和查询效率。     

基于HBase的气象结构化数据查询优化

海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上,提出了一个基于索引的气象结构化数据查询优化架构HBase4M（HBase for Meteorology）。首先,根据HBase存储特性设计表结构;然后,利用协处理器建立和维护辅助索引,将字段查询转化为对索引表的行键查询,使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明,HBase4M的性能可以基本满足气象服务的业务需要。     

基于HBase的遥感数据分布式存储与查询方法研究

遥感影像的存储与查询是地理信息处理中重要的内容,在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题,提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分,并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。另外,采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明,与MySQL和MapFile相比,该方法可以有效地提高数据的写入和查询速度,且具有较好的可扩展性。     

数据高速实时存储系统技术

介绍了一种采用高速实时存储技术的数据存储系统,给出了该数据存储系统的主要组成及工作原理,并且详细论述了实现高速存储系统的高速处理通道的设计,主要包括硬件架构的搭建和软件流程的描述。在实际的工程应用中,该系统通过高速处理通道完成了对数据的高速存储和数据回放等功能,实际的数据存储速率达到了设计的要求,并且较好地降低了整个系统的资源占有率。最后,给出了基于 PCI 和 PCI-X 总线通道的实验结果。     

基于HBase的大数据架构下负载平衡技术

随着气象数据规模和种类的不断增长,气象数据已经逐渐进入海量服务阶段,而基于大数据背景提供更敏捷的数据服务已经成为业务发展的迫切需求.本文针对气象中的半/非结构化数据,提出基于HBase系统的负载平衡算法和策略.在实际测试对比中发现,系统可以满足200多万个格点,100个并发的场景,查询速度在2 s以内,与未曾增加负载平...     

海量存储系统的数据分布策略研究

针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用“二分”的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现O（1）时间内直接路由。该算法还采用了“微分逼近”的思想,实现数据的均匀分布性。实验结果证明, TTD算法具备数据分布无关性的特点,且当物理节点逼近2^N （N〉0）时,数据分布就会越均匀。反之,可以通过虚拟节点的引入,确保数据的均匀分布。算法改进了海量存储系统中数据分布的均匀程度,有效优化了系统的整体性能。     

实时控制系统中数据的实时分片存储

为了在不影响实时控制系统响应时间的前提下实时地保存数据,提出了一种基于分片的数据实时存储方式.通过在实时控制系统中添加存储节点,在实时控制的过程中,实时节点将数据按时间分片,传给存储节点,存储节点采用分片存储的方式保存到存储系统中.这种方式只需要占用实时控制节点很少的控制周期时间,结合新增的存储节点完成对实时数据的存储,能在控制过程中实时读取分析数据.该方式应用于东方超环(EAST)等离子体控制系统上,能够较好的实现对长脉冲放电和未来的稳态放电实验数据进行实时的存储和读取分析,也能为其他实时控制系统的数据的实时存储提供借鉴.     

改进的云存储系统数据分布策略

针对当前云存储系统海量数据应用环境中数据分布策略可扩展性以及灵活性的不足,提出一种高效的数据分布策略。一方面,该策略基于一致性哈希数据分布算法,引入了虚拟化的设计思路,采用虚拟节点进行存储资源分配;另一方面,该策略采用了一种基于节点容量感知的负载均衡方法,有效地优化了系统性能,提高了系统可扩展性。通过实验分析,不管在同构还是异构的云存储架构中,该策略改善了存储资源负载均衡程度,有效优化了系统整体性能。     

一种基于信息分散算法的分布式数据存储方案

针对分布式数据存储方案中,基于复制的方法和基于秘密共享的方法存在存储开销过大的问题,提出了分布式系统中一种基于IDA码的客户-服务器工作模式的数据存储方案。该方案在数据写入过程中通过构造编码后数据分块的Hash值级连,即所谓的数字指纹,可实现Byzantine环境数据的完整性保护。     

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。     

实时数据流管理技术研究

数据流技术是一种正在兴起的新型数据管理技术,在传感器网络、实时监控、实时监测分析等众多关键任务领域具有广泛的用途。本文讨论了实时数据流的特点和关键技术,综述了三个典型数据流系统,介绍了RealStream数据流管理系统的设计思想。     

A spark-based big data analysis framework for real-time sentiment prediction on streaming data

There are many data sources that produce large volumes of data. The Big Data nature requires new distributed processing approaches to extract the valuable information. Real-time sentiment analysis is one of the most demanding research areas that requires powerful Big Data analytics tools such as Spark. Prior literature survey work has shown that, though there are many conventional sentiment analysis researches, there are only few works realizing sentiment analysis in real time. One major point that affects the quality of real-time sentiment analysis is the confidence of the generated data. In more clear terms, it is a valuable research question to determine whether the owner that generates sentiment is genuine or not. Since data generated by fake personalities may decrease accuracy of the outcome, a smart/intelligent service that can identify the source of data is one of the key points in the analysis. In this context, we include a fake account detection service to the proposed framework. Both sentiment analysis and fake account detection systems are trained and tested using Naïve Bayes model from Apache Spark's machine learning library. The developed system consists of four integrated software components, ie, (i) machine learning and streaming service for sentiment prediction, (ii) a Twitter streaming service to retrieve tweets, (iii) a Twitter fake account detection service to assess the owner of the retrieved tweet, and (iv) a real-time reporting and dashboard component to visualize the results of sentiment analysis. The sentiment classification performances of the system for offline and real-time modes are 86.77% and 80.93%, respectively.