一种Spark作业配置参数智能优化方法

Spark的配置参数对作业运行性能有较大影响,针对配置参数种类多、参数搜索空间大、参数间相互影响导致人工配置参数调优效率低下的问题,提出了一种Spark作业配置参数智能优化方法。本文首先在Spark众多配置参数中选择对作业运行性能影响较大的关键配置参数,建立典型Spark作业的运行数据集,利用支持向量回归算法,构建作业性能预测模型,通过改变数据集的规模,对比分析了模型预测值和作业的真实运行时间,模型评估指标证明了作业性能预测模型的有效性和准确性。其次基于作业性能预测模型,设计并实现了基于爬山算法、模拟退火算法、递归随机搜索算法以及粒子群算法的配置参数优化算法,并对几种算法的求解质量进行对比分析,实验表明递归随机搜索算法在几种不同类型的作业上收敛结果较优且标准差较小,证明该算法对不同类型作业的适应性较强、稳定性较好。将本文的智能优化配置与传统经验优化配置相比,实验结果表明,智能优化配置为典型Spark作业分别带来了4%、15%、22%的平均性能提升,证明智能优化配置能够高效地获取到具备较好作业适应性的配置,提升作业运行性能。     

一种Spark平台下的作业性能评估方法

为了解决Spark作业运行过程中性能评估和性能优化问题,文章提出一种基于层次分析的Spark作业性能评估和分析方法。首先,针对由于特征选取影响传统作业类型划分准确性的问题,文章选取更加真实的CPU、I/O特征,并结合K-Means聚类算法构建作业分类器,提升划分准确率;其次,文章通过消除作业运行过程中数据排序、磁盘溢写、文件合并等操作来优化作业工作流,并将优化后的作业性能指标作为评估基准,使得作业运行性能评估更具客观性和通用性;然后,对各性能指标进行量化、分层,利用层次分析法计算各层级间专家经验的指标权重,结合作业分类器和评估基准构建性能评估模型;最后,在作业类型划分、工作流优化方法和性能评估3方面进行实验验证。实验结果证明了文章提出的作业类型划分和工作流优化方法的有效性以及评估模型的准确性。     

隔离开关动作位置测量装置设计

隔离开关是变电站中最常见的开关设备之一,近年来,隔离开关故障频发,其中又以机械故障占比最大,严重威胁电力系统的安全稳定。本文总结隔离开关机械故障特征,设计了一种以姿态传感器为基础,搭配无线传输和高压取能技术的隔离开关动作测量装置。分析采集信号与故障关系,提出了一种依据触头姿态角、转动速度、温度及磁场来综合判别隔离开关故障的方法,能够及时发现隔离开关的故障,对于维护电网安全稳定具有重要意义。