共查询到18条相似文献,搜索用时 187 毫秒
1.
开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用。Storm默认采用轮询的调度策略,且依赖用户对Topology任务的并行度配置,当配置不合理时依然会造成Topology处理时延增大、吞吐量降低等问题。针对该问题,提出了一种Storm下基于最佳并行度的贪心调度算法,调度时先求解Topology任务中各组件的最佳并行度,再采用贪心策略进行调度,以最小化节点间的网络通信开销。通过与默认调度算法、线上调度算法和热边调度算法进行实验比较,结果表明算法能够有效降低Storm处理时延,提高系统吞吐量和资源利用率。 相似文献
2.
3.
4.
针对Storm流式计算平台中默认轮询调度策略存在通信开销大、负载不均衡的问题,提出基于拓扑结构的任务调度策略(TS2)。首先,选取CPU资源充足且可用的工作节点并各分配一个进程,消除节点内进程间通信开销,优化进程部署;然后,分析拓扑结构,找出拓扑中度最大的组件,优先分配该组件的线程;最后,在满足节点可承载最大线程数的条件下,尽可能将关联任务部署到同一个节点来减少节点间通信开销,改善集群负载均衡,优化线程部署。实验结果表明:在系统延迟方面,与Storm默认调度策略和离线调度策略相比,TS2的平均优化率分别为16.91%和5.69%,有效提高了系统的实时性;在节点间通信开销方面,TS2相比于Storm默认调度策略平均降低了15.75%;在平均吞吐量方面,TS2相比于Storm默认调度策略平均提升了14.21%。 相似文献
5.
边缘计算有高实时性和大数据交互处理的需求,边缘异构节点间的调度时耗长、通信时延高以及负载不均衡是影响边缘计算性能的核心问题,传统的云计算平台难以满足新的要求。文中研究了在边缘计算环境下Storm边缘节点的调度优化方法,建立了面向边缘计算的Storm任务卸载调度模型。针对拓扑任务在边缘异构节点间的实时动态分配问题,提出了一种启发式动态规划算法(Inspire Dynamic Programming,IDP),通过改变Storm的Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系实现全局的优化调度;同时,针对拓扑任务的并发度受限于JVM栈深度的缺陷,提出了一种基于蝙蝠算法的调度策略。实验结果表明,与Storm调度算法相比,所提算法在边缘节点CPU利用率指标上平均提升了约60%,在集群的吞吐量指标上平均提升了约8.2%,因此能够满足边缘节点之间的高实时性处理要求。 相似文献
6.
Storm集群提供了强大的实时处理能力,Storm上下游处理节点由于任务差异而导致数据流元组Tuple处理超时从而影响系统吞吐量及其性能。针对该问题,提出了一种能够灵活调节Topology中各环节数据负载的反压机制,该机制采用可变队列,并根据当前Tuple负载动态调整队列大小,以适应数据负载的动态变化,并提升系统吞吐量。实验结果表明,该反压机制能够避免反压过程中出现数据流的震荡,同时提高系统性能和稳定性。 相似文献
7.
8.
随着大数据技术的发展,流式处理系统渐渐成为了研究的热点。相对于Hadoop等传统的批处理系统,流式处理系统具有更好的实时性特点。在已有的流式处理系统中,Storm系统具有良好的稳定性、高可扩展性以及高容错性等特点,使它在流式数据处理系统中脱颖而出。但是在任务调度方面,Storm系统并没有做过多的考虑,默认采用相对简单的轮询调度法,导致系统在性能上存在瓶颈。近年来针对Storm系统的调度问题,研究提出了各种优化方案。本文从实时流处理系统Storm的调度优化出发,将这些优化方法分为四类,并详细阐述各类中具有一定代表性的方法,分析其优缺点以及适用的场景。最后,讨论了在日益发展的新环境下,Storm系统的调度优化相关研究未来可能存在的方向。 相似文献
9.
10.
网络控制系统时延分布研究 总被引:1,自引:0,他引:1
时延是控制网络性能分析中最重要的一个因素.针对网络控制系统中最常用的拓扑结构和数据特性,基于统计网络演算,得出了系统在不同调度策略下的时延模型.利用该模型计算了控制网络中实时数据的时延分布和统计上界,并与确定性网络演算得出的时延上确界进行了比较,评价了该上确界的悲观程度. 相似文献
11.
Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。 相似文献
12.
陈磊松 《计算机工程与设计》2007,28(8):1845-1847
对于高速网络中大容量数据流的实时查询处理,由于数据流的突发性,要求调度策略能够适应这一特点,在不降低处理系统性能的情况下进行较合适地处理.以链式调度为基础,综合先进先出和贪心策略的优点,采用一种低延迟的分段调度策略来处理数据流,可以尽量避免这些调度策略的缺陷,既能在一定程度上降低运行期间系统的存储需求,同时保持较低的输出延迟. 相似文献
13.
本文对具有高通讯延迟的多处理机系统(机群系统)上的任务调度算法进行了研究,与以往算法主要考虑任务图的关键路径不同,本文给出了任务图的调度与其偶图匹配的对应关系,并由此提出了一种新的启发式算法,通过模拟试验显示本算法具有较好的调度效果。 相似文献
14.
本文针对数据流系统中的查询处理机制进行了深入的研究,从内存使用量、系统的响应时间和查询的实时性三个方面进行综合考虑,提出了一种基于多因素的动态调度策略MultiFactor.该策略根据单位时间查询内各操作符消耗的元组数动态调整操作符调度次序,按系统截止时间确定各操作符调度时间.本文还给出了MultiFactor策略的相应算法,并通过实验证明了其性能优势. 相似文献
15.
本文针对数据流系统中的查询处理机制进行了深入的研究,从内存使用量、系统的响应时间和查询的实时性三个方面进行综合考虑,提出了一种基于多因素的动态调度策略MultiFactor.该策略根据单位时间查询内各操作符消耗的元组数动态调整操作符调度次序,按系统截止时间确定各操作符调度时间.本文还给出了MultiFactor策略的相应算法,并通过实验证明了其性能优势. 相似文献
16.
高速网络环境中的数据是以数据流的形式存在,数据到达可能是突发性的,数据到达速率是随着时间变化的,对数据流的实时查询处理要能适应数据流的特性和网络的波动环境,该文对数据流查询计划中调度策略的适应性进行了分析,应用闭环控制理论和合适的调度算法,实现在降低运行时系统存储需求的同时保持较低的输出延迟,提高了适应性和查询的精度。 相似文献
17.
供应链中的物流过程可作为一个调度问题进行研究,物流过程的调度是一个组合优化问题.首先对物流过程进行分析,建立物流调度的数学模型,提出了基于自适应蚁群优化的物件调度算法,实现供应链物流过程中物件的动态分配.最后试验结果表明,使用自适应蚁群优化策略测试不同的订单组合,得到一个优化解决方案,该方案能使尽可能多的定单按时交付,同时也能将订单的延迟减小. 相似文献
18.
无线组播面临的最大问题是各个用户信道状态的不均匀性和波动性,无法同时满足所有用户的服务质量需求。无线蜂窝通信系统中,为实现可靠组播,数据包不可避免地需要被重传多次,组播的时延也因此增加。本文我们首先分析了协同组播调度CMS策略的时延,并且推导了基于信道信息全知条件下的最小时延。另外,我们在部分信道信息未知条件下提出了一种机会协同组播策略来优化组播时延。仿真数据显示,我们提出的机会协同组播调度OCMS策略在时延性能上几乎达到了我们所分析的CMS策略的最小值而且明显优于其他调度策略。 相似文献