基于SVM分类的云集群失败作业主动预测方法

提出了一种使用支持向量机（SVM）模型预测作业终止状态的方法.以Google数据集为研究对象,首先分析作业终止状态的影响因素,提出使用作业的静态特征和动态特征作为终止状态分类的特征向量,选择SVM模型主动预测终止状态;然后从特征向量和分类模型2个层面对准确率、假负率、精确度指标进行验证.特征向量实验结果表明,基于静态和动态特征的SVM预测模型比单独使用静态特征和动态特征,分别提高0.94%、-0.01%、1.35%和9.08%、-1.36%、10.91%.分类模型的比较结果显示,SVM分类预测方法比传统的神经网络模型、朴素贝叶斯模型、逻辑回归模型的预测效果好.     

Hadoop中Reduce作业动态调度算法

Hadoop平台中的MapReduce并行分布式编程模型通过将廉价节点组合成集群提供存储和计算服务,可以降低集群成本。Hadoop可以通过配置使Reduce任务在Map任务完成固定百分比时启动,但是过早地启动Reduce任务会造成Reduce资源长期处于等待状态。提出一种Reduce动态调度的DRS算法,通过作业中Map任务数量和大小计算Reduce启动时间,并在作业运行中根据Map任务的调度情况修正启动时间,以节约Reduce资源的使用效率。实验表明,DRS算法与固定百分比参数的方法相比,shuffle阶段时间缩短了7.3%。与系统默认参数相比shuffle阶段时间缩短了43.6%。     

基于权值的Hadoop调度算法改进与实现

针对当前Hadoop集群自带的任务级调度分配方法在实际处理作业时存在资源分配不均的问题,提出了一种基于权值的任务调度分配算法。该算法结合节点当前的负载状态、节点物理性能和任务优先级等作为依据,通过权值排序当前的作业队列并将空闲资源优先分配给权值高的任务,从而实现运行过程中作业任务的自适应动态调度。实验结果表明,改进算法相比原来的FIFO算法有30％的性能提升。     

基于任务转移概率的感知节点异常运行状态检测方法

针对无线传感器网络中感知节点异常状态检测困难问题,提出了一种基于感知节点任务转移概率的节点状态特征描述方式,利用该特征判断感知节点的运行状态,实现节点异常检测.基于任务转移概率的异常检测方法（T2PAD）,根据感知节点运行任务的一步转移概率特征,对节点的运行状态进行分析,通过对转移概率向量相似性进行异常检测,识别出导致异常的任务,缩小并定位异常范围,为修正异常提供依据.传感器网络开源代码库中的缺陷实例验证了T2PAD对于异常检测的有效性.     

动态预测的网格调度算法

针对网格环境下计算节点的自治性、异构性、动态性、分布性等特征,提出了一种基于动态修正预测的调度算法.该调度方法依据历史教据和最近访问过的计算节点的性能,网络通信延迟等信息,形成经验规则并根据其进行计算,预测计算节点的将采性能,并通过使用动态修正有效降低预测误差,将任务提交给轻负载或性能较优的计算节点完成.实验结果表明,该方法不但可以有效减少不必要的延迟,而且在任务响应时间、任务的吞吐率及任务在调度器内等待被调度的时间方面比随机调度等传统算法要优.     

Hadoop作业执行时间在线计算方法

在Hadoop MapReduce环境中,如果能预知作业的执行时间,就可在资源分配、任务调度以及负载均衡过程中作出更合理的决策,改善系统性能.在分析Hadoop MapReduce作业执行模式后,提出了一种作业执行时间在线预测方法.该方法在结合历史信息的基础上,可根据作业在不同阶段的执行进度在线预测执行时间.该方法已在Hadoop-0.20.2中实现,并在一个包含19个节点的Linux集群中进行了验证.实验结果表明,在最好情况下,根据该方法预测的执行时间和真实执行时间的误差约2%.     

基于SLPP和CHMM的轴承健康评估与预测研究

为了更加有效地评估和预测轴承健康状态,更早地发现轴承异常,提出了一种基于有监督局部保持投影(SLPP)和耦合隐马尔可夫模型(CHMM)的轴承健康评估与预测方法.首先,针对轴承信号特点,选择11个时域和频域特征进行提取;其次,利用SLPP方法对提取的高维特征进行高质量特征约减;最后,结合CHMM获取性能指标并对轴承健康状态进行评估和预测.通过轴承全寿命加速疲劳实验分析表明,该方法能够对轴承健康状态进行准确而有效的评估预测;在特征约减效果上,与PCA相比,SLPP刻画轴承状态变化过程的能力明显更强;在评估效果上,与HMM相比,CHMM能更早地发现轴承异常.     

一种改进博弈学习的无人机集群协同围捕方法

针对无人机集群对单智能化目标协同围捕问题,文中提出一种改进博弈学习的无人机集群协同围捕方法。根据集群和目标的运动学关系,建立了一种结合博弈论与阿波罗尼斯圆的协同围捕模型;依据集群之间的相互合作关系和追逃双方的博弈关系,基于Q-Learning算法和学习到的奖赏均值动态调整贪婪因子以构建和完善状态-动作矩阵;根据状态-动作矩阵求解支付矩阵的纳什均衡解,完成集群对单目标的协同围捕。研究结果表明：通过该协同围捕方法各围捕无人机获得的平均奖赏值较传统Q-Learning算法分别提高了48%,32.4%,50.8%,完成围捕任务所需的平均行走步数减少了58.7%,能够有效对单目标进行围捕,且围捕时效性更强。     

随机选择处理器的排队系统模型的研究

动态分布式系统中有效使用资源的问题是:在这种状态下新来的任务是否利用已有的负载信息,根据处理器的队列长度随机选择处理器,使任务在系统中以最小的指定时间完成.利用排队系统模型分析怎样利用已有的信息来排队,从而达到平衡结点之间的负载,缩短作业的运行时间,改善系统的使用率的目的.     

集群Web服务器的预测最小连接请求调度算法设计

讨论了集群Web服务器的几种请求调度策略,针对现有的请求调度策略都是基于队列当前状态的调度,提出"预测最小连接优先"请求调度策略.通过请求速率、服务器负载及队列的历史信息来预测未来队列的状态,然后根据预测队列的状态分配请求连接,从而有效地解决服务器间的负载不平衡.     

基于关联规则的网格资源分域管理

为有效优化网格资源管理和任务调度方案,提出了一种基于关联规则模型进行子任务分组的网格资源分域管理机制。该方法对业已切分的用户任务根据切分后的子任务间的关联性,对所有子任务予以分组,以达到增强子任务组内的关联性及组间的独立性。分组完成后,管理机制将以子任务组作为运行单元,从而使得子任务组在运行过程中减少相互间的频繁通信,达到提高系统运行效率的目的。然后,在事先分好类的网格资源中根据需求临时为子任务组的运行划分“资源域”并以“域”为单位进行管理。最后,通过仿真实验分析,在调度性能上将本机制与传统多队列Backfilling、FCFS等调度方案的性能差异进行比较,证明了该机制的优越性与实用性。     

基于数据筛选的无人机测绘数据异常检测

为降低无人机测绘数据异常检测的误检率、漏检率,缩短检测时间,文章提出一种基于数据筛选的无人机测绘数据异常检测方法。采用支持向量机对无人机测绘数据进行数据流分块、竖向规范化处理及时间切片处理等预处理;基于卷积神经网络分析数据确定数据潜在规律;采用无监督聚类算法对数据进行聚类,利用滑动窗口处理得到数据流簇心因子并进行聚类;根据判断标准对异常数据分块处理,确定是否存在异常因子;采用重叠累加值计算方法对异常数据点进行筛选,完成无人机测绘数据异常检测。实验结果表明:与传统卷积神经网络方法相比,采用该方法对异常数据检测,其误检率降低了约11%、漏检率降低约8.1%,并且检测时间缩短了11.3 min。     

基于关系转移和增强学习的时空大数据动态预测

为了解决较大时空范围内的动态预测无法获得精确解的问题,采用支持较复杂工作流模式的群智计算方式,提出一种基于关系转移和增强学习的动态预测算法,解决时空数据中的优化问题.设计一个关系转移块,通过对时空数据进行特征提取来学习关系转移概率.建立一个预测增强学习块,随时间序列并行处理转移关系概率,根据特征偏好对时空数据进行优先排...     

基于灰盒模型的Hadoop MapReduce job参数性能分析与预测

针对传统使用统计机器学习对Hadoop MapReduce job参数性能预测时完全基于黑盒模型,预测精度不高且不具有扩展性等问题,提出一种结合黑盒和白盒的灰盒预测方法。定性分析了MapReduce job配置参数对job性能的影响;基于局部加权线性回归分别对job的map task和reduce task性能进行预测;实现Hadoop调度器模拟器,并利用调度器模拟器对预测的job map task和reduce task进行调度,计算job执行时间,达到预测job性能目的。实验通过对比传统基于黑盒方法的预测效果,表明灰盒模型有更好地预测精度,并且可以完成集群规模变化后的job性能预测。     

基于微震成像的采煤工作面应力异常监测

为了实现对深井采煤工作面的冲击地压灾害预防,采用微震走时成像技术,监测采煤工作面的应力异常.根据系统要求布置传感器台网,实现工作面全覆盖;采用层状模型分析地震波传播路径,计算地震波传播速度,利用子空间分阶段求解的方法进行反演,实现对监测区域的地震波走时层析成像;结合地震波速度和岩石所受应力的关系,达到研究采煤工作面应力异常的动态分布及变化特征的目的.试验结果表明：工作面推进时,煤层顶板高应力异常达到最大,工作面前方的高应力异常区动态变化范围较大,工作面后方存在较稳定的地震波低速异常,利用微震成像技术可以有效地监测地震波速度异常区域的范围及变化特征.     

基于信息熵的异常检测算法

针对K-means异常检测算法检测性能低的问题,提出了一种结合信息熵与改进K-means算法的异常检测算法。该算法均匀地选出密度大于数据集平均密度的数据对象作为初始聚类中心,避免了初始中心的随机选择。在此基础上,引入了信息熵确定属性权重的方法来计算簇中数据点与该簇聚类中心的加权欧氏距离,通过对比簇中数据点的加权欧氏距离与该簇中所有数据点的平均加权欧氏距离来进行异常检测。实验表明,改进算法具有更高的检测率和更低的误检率,应用于电力负荷数据时检测率达到了90. 5%,能够有效地检测出异常的负荷数据。     

投影寻踪动态聚类模型及其应用

结合动态聚类思想,对投影寻踪聚类模型进行改进,建立了投影寻踪动态聚类模型.针对多因素聚类问题的高维复杂性,利用线性投影技术将其转换为关于投影特征值的线性聚类问题;根据动态聚类思想构建新的投影指标,对投影特征值序列进行动态聚类,进而在低维空间实现高维数据样本的聚类分析;实证分析验证了投影寻踪动态聚类模型的可行性与有效性.结果表明,投影寻踪动态聚类模型实现了投影寻踪与动态聚类理论的有机结合,操作简便,无人为干扰,为多因素样本聚类分析提供了一种新方法.     

西藏多龙矿集区遥感异常提取与成矿预测

以西藏多龙斑岩型铜矿区为例,根据已知矿床,分别利用比值法和主成分分析法对ETM＋和ASTER数据提取铁染与羟基异常信息,分析研究已知矿体遥感异常特征;通过波谱特征拟合的方法,对研究区进行波谱分类。利用两方面的成果来对多龙矿集区作成矿预测,划定远景成矿区,其中一级预测区6个,二级预测区12个。多种异常对比组合,能够发现更好的指示成矿线索的信息。