|
|||||
|
|
| 基于Spark的时态查询扩展与时态索引优化研究 | |
| 作者单位： | ;1.上海交通大学计算机科学与工程系;2.安徽工业大学计算机科学与技术学院 |
| 摘 要： | 时空数据库和基于集群计算的时间分析工具大多基于外存,将其应用在大数据处理场景下系统性能将迅速降低。为此,基于Spark构建一个易用且高可扩展的时态大数据查询分析系统。通过扩展Spark SQL解析器,使其能够支持类SQL形式的时态操作,运用SIMBA开源项目的方法,引入全局过滤和局部时态索引2种优化策略,使得系统能以高吞吐量及低延迟执行时态查询操作。基于时态查询效率的评估实验结果表明,在不同影响参数下,该系统的时态查询性能优于原生的Spark SQL查询处理方案。 |
| 关 键 词： | 时态大数据 Spark系统 Spark SQL组件 时态查询 时态索引 高吞吐量 低延迟 |
Research on Temporal Query Expansion and Temporal Index Optimization Based on Spark |
|
| Abstract: | |
| Keywords: | |