数据倾斜情况下基于MapReduce模型的连接算法研究

基于MapReduce的连接算法的研究是海量数据研究领域的一个重要内容,但都集中在数据分布均匀的情况下进行算法优化,而在实际应用中数据分布往往是不均匀的。本文基于此背景,提出一种适合在数据严重倾斜时使用基于MapReduce编程模型的连接算法Skew Control Join,算法通过采样获取数据集的整体分布,通过全局分区将数据集进行分割,使倾斜数据的处理平均分配到所有的Reduce任务上。实验表明在数据倾斜时,本文提出的算法具有良好的性能,达到研究目标。     

基于Graphics View的组态仿真框架的设计

设计一种基于Qt Graphics View的组态仿真框架。按照Graphics View模块化的设计思路,首先介绍其每个模块的特性,并在此基础上提出组态仿真的设计要素。最后提出控制策略和数据库的设计思路。     

基于共享的MapReduce多查询优化技术

为解决MapReduce处理多个查询时效率低下的问题, 提出了一种基于查询共享的MapReduce查询优化方法——ShareOpt优化。通过分析所有查询的操作模式, 找出其中共享的子查询部分, 并根据子查询的执行顺序构造执行计划有向图（DAG）, 最终确定一组查询的整体执行计划。通过与Hive和Pig的对比, 验证了该方法能够在保证准确性的情况下有效地减少执行步数, 提高查询执行的效率。