基于HBase的后勤保障监控数据实时检索方案设计 |
| |
作者单位: | ;1.中国电子科技集团第十五研究所系统七部 |
| |
摘 要: | 后勤综合保障监控数据有着实时性、流速快、海量以及多维度的特征,对于监控数据的多维度检索、分析和预警都有较高的实时性要求。鉴于此,文中基于HBase设计了一种分布式监控数据实时存取系统。通过Kafka Streams进行流数据清洗解码,并利用ElasticSearch构建二级索引优化查询。实验表明该系统对PB级数据多维度检索性能提高10~30倍,方案可行且高效。
|
关 键 词: | 分布式系统 实时存取 HBase 二级索引 ElasticSearch |
Design of real-time retrieval scheme for logistics support monitoring data based on HBase |
| |
Abstract: | |
| |
Keywords: | |
|
|