一种基于HBase的高效半结构化数据查询策略

本文用以Dremel系统为基础解决在HBase系统下如何查询大量的半结构化数据。基本原理是进行先进行数据预处理将半结构化数据进行拆分,将记录拆分成列使用表存储,拆分之后保持原有之间的半结构化数据的树之间的上下层关系,然后再查询的时候只查询条件相关的列,然后做集合计算,即可得到数据需要查询的结果,从而节省了很多时间。