基于TEZ引擎和LLAP技术的Hive数据查询能力研究

分布式计算框架（HadoopMapReduce）解决了大数据分布式计算和并发计算问题，具有良好的扩展性和容错性，非常适合超大规模数据处理和分析。Hive基于HadoopMapReduce构建数据仓库分析系统，提供丰富的结构化查询语言（Structured Query Language,SQL）查询能力，可将SQL语句转变成MapReduce任务执行分析数据。但是，MapReduce本身的特点（Map阶段和Reduce阶段）使得其在多表关联和复杂SQL场景时运行较慢。因此，基于真实场景打造了一套通过TEZ引擎和LLAP(Live Long and Process)技术结合来提升Hive查询能力的系统，面对复杂的多表关联查询、使用频率较高的复杂查询时能够快速高效率执行，缩短了用户等待时间。