共查询到10条相似文献,搜索用时 31 毫秒
1.
《电子技术与软件工程》2017,(10)
数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于HBase设计了分布式的数据存储模型,应用Map Reduce将数值预报产品解码信息存入HBase,并将解码得到的要素GRIB文件写入HDFS。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr,实现了HBase的二级索引。测试结果表明,最快入库速度可达每秒16145条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。 相似文献
2.
《信息技术》2017,(10)
随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。 相似文献
3.
目前设计的铁路通信数据分布式查询系统响应时间存在较大延迟,不具备实时性。为了解决上述问题,基于HBase设计了一种新的铁路通信数据分布式查询系统。配备三台主机,构建分布式查询模式,通过Linux组件和HDFS目录构建集群,同时建立数据存储模块和数据查询模块。利用HBase存储算法设定存储模型,得到逻辑片段集合,通过分析逻辑关系实现存储调度。实验结果表明,设计的基于HBase的铁路通信数据分布式查询系统数据写入性能响应延迟时间低于0.2 ms,缓冲性能写入延迟时间低于0.1 ms,能够很好地保证查询实时性。 相似文献
4.
5.
6.
7.
文中基于分布式系统构建了一种集存储、管理和计算为一体的多源异构遥感数据管理系统,系统使用Apache HBase存储标准化后的遥感瓦片对象;使用MongoDB存储瓦片元数据,并根据Z曲线编码进行范围分区,实现负载均衡;使用Apache Spark+GDAL进行栅格计算;利用改进的Z曲线编码进行空间查询。经过原型系统性能测试实验表明,文中查询方法在百万级数据量的窗口查询下是PostgreSQL的空间索引查询性能的4.25倍,计算时使用惰性加载图像数据的策略,计算效率相比GeoTrellis提高了18%。 相似文献
8.
9.
索引是一种用于提高数据库查询效率的数据结构,良好执行计划的生成和选择很大程度上取决于数据表上是否存在合适的索引。然而,面对复杂的时空数据场景,现有的索引选择方法存在很多不足,如无法高效处理大量范围查询、容易造成索引冗余、无法有效应对动态的工作负载等问题。针对上述问题,提出一种新型基于深度确定策略梯度(Deep Deterministic Policy Gradient,DDPG)模型和索引效益评估网络的索引选择框架:ST-IS(Index Selection method tailored for Spatio-Temporal data scenarios)。ST-IS集成了对SQL语句和索引集的新型编码方法,有效避免索引冗余或索引缺失。ST-IS使用索引效益评估网络来优化强化学习的奖励机制,同时支持动态的工作负载。大量实验结果表明,在真实时空数据集和TPC-DS标准数据集上,ST-IS的性能优于现有的索引选择方法。 相似文献