Storm下基于最佳并行度的贪心调度算法

开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用。Storm默认采用轮询的调度策略,且依赖用户对Topology任务的并行度配置,当配置不合理时依然会造成Topology处理时延增大、吞吐量降低等问题。针对该问题,提出了一种Storm下基于最佳并行度的贪心调度算法,调度时先求解Topology任务中各组件的最佳并行度,再采用贪心策略进行调度,以最小化节点间的网络通信开销。通过与默认调度算法、线上调度算法和热边调度算法进行实验比较,结果表明算法能够有效降低Storm处理时延,提高系统吞吐量和资源利用率。     

基于Storm拓扑结构热边的调度算法

Storm分布式实时计算系统采用轮询调度算法达到任务均衡分配的目的,但Storm默认调度算法未考虑计算节点间的网络通信开销,可能造成topology处理时延高、集群吞吐量低等问题。为此,引入Storm topology热边的概念,通过减少网络传输的tuple数量,将热边关联的源executor和目标executor调度到同一工作节点执行,提升Storm集群的计算性能。实验结果表明,该调度算法能够有效降低Storm处理时延及集群节点间的通信量,提高系统吞吐量,并且有利于集群的负载均衡。     

Storm集群下基于性能感知的负载均衡策略

Storm计算框架具有为多源异构大数据提供高效、快速、实时处理的能力.然而因Storm默认的调度策略使用了简单的轮询方法,无法根据集群动态的负载状态调整其任务的分配.针对该问题,提出了基于性能感知的负载均衡策略,根据节点的处理效率计算其性能感知值,并通过贪心调度保证节点的任务量与节点处理能力相匹配,以达到负载均衡的目的.通过与默认调度算法实验比较,结果表明该算法能够有效降低Storm处理时延,提高吞吐量和实现集群负载均衡.     

Storm环境下基于拓扑结构的任务调度策略

针对Storm流式计算平台中默认轮询调度策略存在通信开销大、负载不均衡的问题,提出基于拓扑结构的任务调度策略（TS²）。首先,选取CPU资源充足且可用的工作节点并各分配一个进程,消除节点内进程间通信开销,优化进程部署;然后,分析拓扑结构,找出拓扑中度最大的组件,优先分配该组件的线程;最后,在满足节点可承载最大线程数的条件下,尽可能将关联任务部署到同一个节点来减少节点间通信开销,改善集群负载均衡,优化线程部署。实验结果表明：在系统延迟方面,与Storm默认调度策略和离线调度策略相比,TS²的平均优化率分别为16.91%和5.69%,有效提高了系统的实时性;在节点间通信开销方面,TS²相比于Storm默认调度策略平均降低了15.75%;在平均吞吐量方面,TS²相比于Storm默认调度策略平均提升了14.21%。     

面向边缘计算的Storm边缘节点调度优化方法

边缘计算有高实时性和大数据交互处理的需求,边缘异构节点间的调度时耗长、通信时延高以及负载不均衡是影响边缘计算性能的核心问题,传统的云计算平台难以满足新的要求。文中研究了在边缘计算环境下Storm边缘节点的调度优化方法,建立了面向边缘计算的Storm任务卸载调度模型。针对拓扑任务在边缘异构节点间的实时动态分配问题,提出了一种启发式动态规划算法(Inspire Dynamic Programming,IDP),通过改变Storm的Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系实现全局的优化调度;同时,针对拓扑任务的并发度受限于JVM栈深度的缺陷,提出了一种基于蝙蝠算法的调度策略。实验结果表明,与Storm调度算法相比,所提算法在边缘节点CPU利用率指标上平均提升了约60%,在集群的吞吐量指标上平均提升了约8.2%,因此能够满足边缘节点之间的高实时性处理要求。     

Storm流式计算框架反压机制研究

Storm集群提供了强大的实时处理能力,Storm上下游处理节点由于任务差异而导致数据流元组Tuple处理超时从而影响系统吞吐量及其性能。针对该问题,提出了一种能够灵活调节Topology中各环节数据负载的反压机制,该机制采用可变队列,并根据当前Tuple负载动态调整队列大小,以适应数据负载的动态变化,并提升系统吞吐量。实验结果表明,该反压机制能够避免反压过程中出现数据流的震荡,同时提高系统性能和稳定性。     

NP控制平面OS中基于分组属性的进程调度技术

在基于NP的网络处理系统中，存在各种各样的控制平面和数据平面交互信息。不同的信息分组具有不同的重要性，某些重要分组若得不到及时处理会导致系统和网络行为的紊乱，因此需要降低分组经历的时延，且越重要的分组经历的时延应该越小。从控制层面操作系统的角度来看，这要求分组处理进程的调度属性应该与所处理分组的属性关联起来。该文提出了一种基于分组属性的进程调度策略，给出了有关设计与实现。实验结果表明，该策略较好地达到了预期的目标。     

实时流处理系统Storm的调度优化综述

随着大数据技术的发展,流式处理系统渐渐成为了研究的热点。相对于Hadoop等传统的批处理系统,流式处理系统具有更好的实时性特点。在已有的流式处理系统中,Storm系统具有良好的稳定性、高可扩展性以及高容错性等特点,使它在流式数据处理系统中脱颖而出。但是在任务调度方面,Storm系统并没有做过多的考虑,默认采用相对简单的轮询调度法,导致系统在性能上存在瓶颈。近年来针对Storm系统的调度问题,研究提出了各种优化方案。本文从实时流处理系统Storm的调度优化出发,将这些优化方法分为四类,并详细阐述各类中具有一定代表性的方法,分析其优缺点以及适用的场景。最后,讨论了在日益发展的新环境下,Storm系统的调度优化相关研究未来可能存在的方向。     

基于AFDX自适应优先调度算法的实时性分析

通过分析AFDX终端系统关键技术,在AFDX网络虚拟链路的调度策略中提出采用自适应优先调度算法;并分析数据包在终端系统中的处理过程,进行网络演算建模,进而确定出AFDX网络针对不同类型数据的传输速率和服务时延.结果证明该算法较好地满足了航空电子网络数据传输实时性需求,并为AFDX智能网络管理模型中的参数模型和调度策略提...     

网络控制系统时延分布研究

时延是控制网络性能分析中最重要的一个因素.针对网络控制系统中最常用的拓扑结构和数据特性,基于统计网络演算,得出了系统在不同调度策略下的时延模型.利用该模型计算了控制网络中实时数据的时延分布和统计上界,并与确定性网络演算得出的时延上确界进行了比较,评价了该上确界的悲观程度.     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

数据流处理系统的调度策略研究

对于高速网络中大容量数据流的实时查询处理,由于数据流的突发性,要求调度策略能够适应这一特点,在不降低处理系统性能的情况下进行较合适地处理.以链式调度为基础,综合先进先出和贪心策略的优点,采用一种低延迟的分段调度策略来处理数据流,可以尽量避免这些调度策略的缺陷,既能在一定程度上降低运行期间系统的存储需求,同时保持较低的输出延迟.     

基于图匹配的多处理机调度算法

本文对具有高通讯延迟的多处理机系统（机群系统）上的任务调度算法进行了研究，与以往算法主要考虑任务图的关键路径不同，本文给出了任务图的调度与其偶图匹配的对应关系，并由此提出了一种新的启发式算法，通过模拟试验显示本算法具有较好的调度效果。     

数据流上的一种适应性调度策略 MultiFactor

本文针对数据流系统中的查询处理机制进行了深入的研究,从内存使用量、系统的响应时间和查询的实时性三个方面进行综合考虑,提出了一种基于多因素的动态调度策略MultiFactor.该策略根据单位时间查询内各操作符消耗的元组数动态调整操作符调度次序,按系统截止时间确定各操作符调度时间.本文还给出了MultiFactor策略的相应算法,并通过实验证明了其性能优势.     

数据流上的一种适应性调度策略MultiFactor

本文针对数据流系统中的查询处理机制进行了深入的研究,从内存使用量、系统的响应时间和查询的实时性三个方面进行综合考虑,提出了一种基于多因素的动态调度策略MultiFactor.该策略根据单位时间查询内各操作符消耗的元组数动态调整操作符调度次序,按系统截止时间确定各操作符调度时间.本文还给出了MultiFactor策略的相应算法,并通过实验证明了其性能优势.     

高速网络中数据流处理系统的适应性机制

高速网络环境中的数据是以数据流的形式存在，数据到达可能是突发性的，数据到达速率是随着时间变化的，对数据流的实时查询处理要能适应数据流的特性和网络的波动环境，该文对数据流查询计划中调度策略的适应性进行了分析，应用闭环控制理论和合适的调度算法，实现在降低运行时系统存储需求的同时保持较低的输出延迟，提高了适应性和查询的精度。     

自适应蚁群优化算法在物流调度中的应用研究

供应链中的物流过程可作为一个调度问题进行研究,物流过程的调度是一个组合优化问题.首先对物流过程进行分析,建立物流调度的数学模型,提出了基于自适应蚁群优化的物件调度算法,实现供应链物流过程中物件的动态分配.最后试验结果表明,使用自适应蚁群优化策略测试不同的订单组合,得到一个优化解决方案,该方案能使尽可能多的定单按时交付,同时也能将订单的延迟减小.     

一种优化时延的机会协同组播调度策略

无线组播面临的最大问题是各个用户信道状态的不均匀性和波动性,无法同时满足所有用户的服务质量需求。无线蜂窝通信系统中,为实现可靠组播,数据包不可避免地需要被重传多次,组播的时延也因此增加。本文我们首先分析了协同组播调度CMS策略的时延,并且推导了基于信道信息全知条件下的最小时延。另外,我们在部分信道信息未知条件下提出了一种机会协同组播策略来优化组播时延。仿真数据显示,我们提出的机会协同组播调度OCMS策略在时延性能上几乎达到了我们所分析的CMS策略的最小值而且明显优于其他调度策略。