共查询到20条相似文献,搜索用时 305 毫秒
1.
针对Hadoop和Spark等大数据分析系统中无先验知识任务的高效执行问题,设计了基于累计工作量(CRW)的任务调度器CRWScheduler。该调度器根据CRW将任务在低权重队列与高权重队列间切换;在为作业分配资源时,同时考虑到作业所在的队列和其瞬时占用资源量,无需作业先验知识即显著提升系统性能。基于Apache Hadoop YARN实现了CRWScheduler原型,在28个节点的基准测试集群上的实验表明,与YARN的公平调度机制相比,作业流时间(JFT)平均降低21%,其中95百分位的作业流时间(JFT)最多降低了35%,并且在与任务级调度程序协作时可获得进一步的性能提升。 相似文献
2.
本文给出了网格计算资源的三层调度方案,并利用层次颜色Petri网对这一调度方案进行了建模与分析。对不同层次的资源调度建立了相应的颜色时延Petri网模型,不同层次的颜色时延Petri网模型可以有不同的行为表现,体现了网格计算资源的异构、自治等特点。给出了层次颜色Petri网的可迭任务图的概念及构造算法,并利用可达任务图,对网格计算资源调度系统的运行状态进行了分析。 相似文献
3.
复杂系统的形式化描述对新系统的设计以及现有系统的改进与评价都具有十分重要的作用;针对处理机系统容错实时混合任务调度,提出采用确定与随机Petri网进行建模与性能分析;首先,根据任务执行的优先级、周期性、容错性和实时性,将任务分为四类;然后,采用DSPN对任务调度执行过程,不同优先级任务抢占式调度,处理机故障及故障恢复过程进行建模,由此构成处理机系统容错实时任务调度过程的DSPN模型;最后,仿真实验结果表明,在负载相同情况下,处理机利用率基本相同,且具有容错的实时任务调度算法可以有效地降低任务错失率;容错实时任务调度DSPN模型可以为复杂任务调度系统的Petri网建模与分析奠定了基础,并为实际工程应用提供了理论指导。 相似文献
4.
该文研究了近似自相似业务的马尔可夫模型,提出了该模型的相位型表达式并据此将模型从离散时间域转换到连续时间域,笔者对一个处理自相似业务到达的简单队列系统进行了研究,比较了系统在实际跟踪的仿真情况下和模型数值分析情况下的性能,模型数值分析用无穷状态随机Petri网实现,研究表明:马尔可夫模型虽能较好地近似自相似性,但仍需进行改进。 相似文献
5.
在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。本文针对Hadoop架构中Reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的Reduce任务调度优化算法,通过提高Reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的Early Shuffle阶段,使用多级延迟调度策略来提高Reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析,实验结果表明该算法明显减少了作业执行时间,提高了集群的作业吞吐量。 相似文献
6.
针对Hadoop平台下默认调度算法FIFO、计算能力调度算法以及公平调度算法在调度过程中遵守严格的队列顺序,导致一些任务被调度到不满足数据本地性节点上的问题,提出一个基于本地性的调度算法——延时调度。该算法在维护公平性原则的同时,当一个被调度的作业无法启动一个本地的任务时,让这个任务等待一小段时间,调度其他作业先执行。实验结果表明,此调度算法缩短了作业平均响应时间,有效增加了集群系统的吞吐量,提高了集群资源利用率。 相似文献
7.
随机Petri网是一种系统设计和分析工具,它可以对系统进行定性分析和定量分析。为了有效利用随机Petri网进行性能的定量分析,根据随机Petri网模型转换为马尔可夫链的算法,总结并实现了它们之间的转换规则。该转换规则在变迁实施的过程中引入演变规则和合并规则,将随机Petri网模型转换为马尔可夫链。可以利用产生的马尔可夫链对随机Petri网模型的多项性能指标进行定量分析。实验结果表明,转换规则是正确、可行的。 相似文献
8.
计算机系统与计算机网络中的动态优化:模型、求解与应用 总被引:1,自引:1,他引:0
动态优化是计算机系统与计算机网络中进行资源分配与任务调度等方面研究所采用的主要理论工具之一.目前,国内外已开展大量研究,致力于深化动态优化的理论研究与工程应用.文中从模型、求解与应用3个角度,对马尔可夫决策过程动态优化理论模型进行了综述,并重点介绍了将动态优化理论与随机Petri网理论相结合的马尔可夫决策Petri网和随机博弈网模型,详细讨论了这些模型的建模方法、求解算法与一些应用实例.最后,对全文进行了总结,并对未来可能的研究方向进行了展望. 相似文献
9.
在均衡集群中请求的分配和选择服务是影响服务器集群性能的关键。本文基于随机高级Petri网(SHLPN)模型提出了动态反馈请求负载分配算法和加权队列选择的综合均衡调度方案。根据集群中各服务器实体的实时负载状况动态分配请求并结合请求权值实施服务,提高了系统的负载均衡能力。 相似文献
10.
11.
12.
13.
14.
15.
16.
17.
18.
针对自相似业务流的影响,给出具有自相似特性的网络业务流传输过程的随机Petri网模型,使用Petri网分别建立了无限缓冲区的IP层网络模型和有限缓冲区的以太网模型,采用一种马尔可夫随机Petri网的方法对模型进行分析,然后通过实例证明了网络中确实存在着自相似现象,最后利用随机Petri网性能分析工具SPNP对所建立的模型进行了模拟和验证,研究了网络业务流的自相似特性对网络性能的影响.提出的模型在一定程度上能够很好地拟合不同网络的流量特性,为网络构建、网络特性分析和网络性能评估提供了重要的理论基础. 相似文献
19.
A model-to-model transformation from Dynamic Fault Trees to Stochastic Petri Nets, by means of graph transformation rules, is presented in this paper. Dynamic Fault Trees (DFT) are used for the reliability analysis of complex and large systems and represent by means of gates, how combinations or sequences of component failure events, lead to the failure of the system. DFTs need the state space solution which can be obtained by converting a DFT to a Stochastic Petri Net: this task is expressed by means of graph transformation rules, and is applied to a case of system. 相似文献
20.
传统的分布式死锁解决方案不适合于实体在网络中自由移动的MAS系统.本文描述了一种移动Agent系统的分布式死锁算法,使用专职Agent从事死锁检测和解决.该方案的特点是地点参考、拓扑独立、容错、异步操作.文中建立了StochasticPetri Net模型,并使用仿真试验给出它和Diffusion Computation算法的性能比较. 相似文献