铁路通信数据HBase分布式查询系统设计

目前设计的铁路通信数据分布式查询系统响应时间存在较大延迟,不具备实时性。为了解决上述问题,基于HBase设计了一种新的铁路通信数据分布式查询系统。配备三台主机,构建分布式查询模式,通过Linux组件和HDFS目录构建集群,同时建立数据存储模块和数据查询模块。利用HBase存储算法设定存储模型,得到逻辑片段集合,通过分析逻辑关系实现存储调度。实验结果表明,设计的基于HBase的铁路通信数据分布式查询系统数据写入性能响应延迟时间低于0.2 ms,缓冲性能写入延迟时间低于0.1 ms,能够很好地保证查询实时性。     

基于HBase的交通数据时空分块索引

智能交通领域快速发展带来的海量交通数据已难以通过传统关系型数据库及时处理。针对交通数据的分布特点与查询需求,提出了一种基于分布式数据库HBase的时空分块索引框架(STB-HBase),利用HBase行键设计结合二级索引的方式,解决数据在时空维度分布不均引起的热点问题,并设计出STB-HBase下的移动对象轨迹查询和时空范围查询算法。实验结果表明,STB-HBase对交通数据有良好的存储性能和查询效率。     

基于HBase的数值预报产品存储检索应用

数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于HBase设计了分布式的数据存储模型,应用Map Reduce将数值预报产品解码信息存入HBase,并将解码得到的要素GRIB文件写入HDFS。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr,实现了HBase的二级索引。测试结果表明,最快入库速度可达每秒16145条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。     

海量图书检索信息的快速查询系统优化设计研究

以往依据关键词的检索方法,在对海量图书检索信息进行查询过程中,无法满足海量信息的大批量检索需求,存在查询效率低和误差高的缺陷。因此,设计基于分布式架构的海量图书检索信息的快速查询系统,系统中的各组件通过并行数据库和分布式存储实现交互。该系统的功能模块包括用户管理模块、数据抽取模块、索引创建模块、文本查询模块及索引检索模块。分析了系统各功能模块的设计和实现过程,这些功能模块共同对外提供图书信息的快速查询服务。实验结果表明,所设计系统可实现海量图书检索信息的快速、精确查询,并且具有较高的索引创建和索引检索性能。     

基于HBase的配用电海量时序数据存取研究

针对配用电海量时间序列数据,目前南方电网普遍采用关系型数据库进行存储,在技术上使用分库、分区、分表、联合索引等方式进行优化,灵活性、可扩展性、存储量等方面都存在问题。为满足配用电海量时间序列数据的存储要求,分析了关系型数据库优缺点,提出采用分布式数据库HBase构建电力系统数据中心以提高系统性能,并重点分析了HBase数据存储机制及实现方法,最后通过仿真实验进行对比。实验结果表明,基于HBase的配用电海量时间序列数据存取技术在存储及查询操作上具有较大的性能优势。     

一种新型分布式代理缓存系统—双层集群缓存

为了提高代理系统的整体性能,基于内部网络用户访问时间的局部性和相似性,并结合现有的分布式缓存系统,本文提出了一种新型的分布式代理缓存系统——双层缓存集群.双层缓存集群系统分为网内集群缓存层和代理集群缓存层,采用双层代理缓存结构,充分利用现有内部网络资源,分散了代理的负担.降低了代理之间的通信开销,还增强了缓存资源的利用...     

分布式列存储数据库性能测试方法研究

针对分布式列存储数据库的性能测试标准尚不成熟、测试数据量大、产品选型困难的问题,提出了一种列存储数据库的性能测试方法,详细介绍了两款分布式列存储数据库HBase和Cassandra,根据业务场景选择适合的读写操作比例和测试环境、测试数据的准备工作,并记录了HBase、Cassandra的性能测试结果。测试结果表明,HBase在读写混合场景时读性能较好,Cassandra写性能和只读操作性能方面相比于HBase均占优势。     

基于HBase的后勤保障监控数据实时检索方案设计

后勤综合保障监控数据有着实时性、流速快、海量以及多维度的特征,对于监控数据的多维度检索、分析和预警都有较高的实时性要求。鉴于此,文中基于HBase设计了一种分布式监控数据实时存取系统。通过Kafka Streams进行流数据清洗解码,并利用ElasticSearch构建二级索引优化查询。实验表明该系统对PB级数据多维度检索性能提高10～30倍,方案可行且高效。     

面向空间数据的LSM树索引研究综述

空间数据在城市规划、天气预报、资产管理以及路线导航上有着广泛的应用.传统的关系型数据库不能满足空间数据高频存取的需求,面向空间数据的LSM树索引能够提高空间数据的写入和查询性能.但在索引设计中,需要面临索引结构设计、提升查询性能和降低更新开销三方面问题.对此,本文分别对基于空间填充曲线的LSM树索引结构和基于树状结构的...     

一种新的空间数据服务发现模型及其在P2P网络上的实现

针对集中式机制的空间数据服务发现的各种弊端,如单点失效、扩展性差等,提出一种分布式空间数据服务发现机制.基于信息检索模型来实现分布式的空间数据服务发现,将空间数据服务元数据分别表达为索引词汇和地理范围,其中,索引词汇表示服务的非空间属性;地理范围表示服务的空间属性,并提出索引词汇相似性和地理范围相似性来计算查询请求与服务对象间的匹配程度.最后给出了该发现模型在P2P网络的设计与实现,提出一种节点相关模型来将空间数据服务聚簇成不同的地理语义组,查询协议在组间采用有偏漫步试探性查询,在组内则采用泛洪机制查询.实验表明,上述分布式空间数据服务发现模型具备良好的可行性;基于该模型在P2P网络上的实现系统性能较好,是有效克服集中式空间数据服务发现机制各种弊端的途径之一.