基于关键阶段分析的Spark性能预测模型

Spark作为目前大数据处理领域广泛使用的计算平台,合理分配集群资源对Spark作业性能优化有着重要的作用.性能预测是集群资源分配优化的基础和关键,本文正是基于此提出了一种Spark性能预测模型.文中选取作业执行时间作为Spark性能衡量指标,提出了Spark作业关键阶段的概念,通过运行小批量数据集来获取关键阶段的运行时间和作业输入数据量之间关系,从而构建了Spark性能预测模型.实验结果表明该模型较为有效.     

利用灰色系统理论关联度分析方法确定某市地面沉降的主要影响因素

本文利用灰色系统理论关联度分析方法对沧州市地面沉降和与之有关的因素求关联度,利用关联度的大小确定其对地面沉降的影响大小,从而找出引起地面沉降的主要影响因素。