MapReduce中连接负载均衡优化研究

数据分析和处理是大规模分布式数据处理应用中的重要任务。由于简单易用和具有灵活性, MapReduce编程模型逐渐成为大规模分布式数据处理系统（如Hadoop系统）的核心模型。由于所处理的数据可能不是均匀分布的,MapReduce编程模型在处理连接操作时,会出现数据倾斜问题。数据倾斜问题严重降低了MapReduce执行连接操作的效率。针对MapReduce中连接操作的数据倾斜问题,分析了造成MapReduce连接性能瓶颈的原因并建立负载均衡代价模型,提出了用范围分割方法控制连接过程中的数据倾斜问题实现负载均衡的策略。实验结果表明,所提方法明显提高了连接的效率。     

k-匿名数据上的聚集查询及其性质

k-匿名数据中存在大量的有用信息,如何从k-匿名数据中得到有用的知识是目前亟待解决的问题。OLAP是知识发现的主要手段,聚集查询是OLAP的关键操作。为了解决k-匿名数据聚集查询问题,首先,给出了描述k-匿名数据的数据模型。其次,将聚集查询分为两个阶段,在第一阶段,给出k-匿名数据满足的性质和独立属性集的概念,利用k-匿名的性质和独立属性集给出求解满足查询约束的值和概率集合的算法,并将该集合作为第二阶段的输入。在第二阶段,给出聚集查询的语义。为了满足用户不同的查询需求,给出WITH子句约束及不同WITH子句约束的语义,作为聚集查询的第一阶段的补充。最后,讨论了聚集查询的性质,并用实验验证了查询的有效性。     

Top-k查询结果的有界多样化方法

查询结果重复率高是top-k查询处理过程中亟待解决的问题,已有的解决方法需要遍历初始结果集中所有的对象,因此,查询处理的效率较低.为了提高查询处理的效率,把初始结果集映射到欧氏空间中,根据拉式策略,可选用基于得分或基于距离两种方法之一从该空间选出差异最优子空间,在基于距离的方法中,对欧氏子空间进行分割并且利用探测位置和Voronoi图的几何特性减少二次查询对象的数目.在此基础上,提出了top-k查询结果有界多样化算法,并证明了算法的正确性.实验结果表明,所提出的算法提高了top-k查询处理效率.