Storm下基于最佳并行度的贪心调度算法

开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用。Storm默认采用轮询的调度策略,且依赖用户对Topology任务的并行度配置,当配置不合理时依然会造成Topology处理时延增大、吞吐量降低等问题。针对该问题,提出了一种Storm下基于最佳并行度的贪心调度算法,调度时先求解Topology任务中各组件的最佳并行度,再采用贪心策略进行调度,以最小化节点间的网络通信开销。通过与默认调度算法、线上调度算法和热边调度算法进行实验比较,结果表明算法能够有效降低Storm处理时延,提高系统吞吐量和资源利用率。     

Storm集群下基于性能感知的负载均衡策略

Storm计算框架具有为多源异构大数据提供高效、快速、实时处理的能力.然而因Storm默认的调度策略使用了简单的轮询方法,无法根据集群动态的负载状态调整其任务的分配.针对该问题,提出了基于性能感知的负载均衡策略,根据节点的处理效率计算其性能感知值,并通过贪心调度保证节点的任务量与节点处理能力相匹配,以达到负载均衡的目的.通过与默认调度算法实验比较,结果表明该算法能够有效降低Storm处理时延,提高吞吐量和实现集群负载均衡.     

面向边缘计算的Storm边缘节点调度优化方法

边缘计算有高实时性和大数据交互处理的需求,边缘异构节点间的调度时耗长、通信时延高以及负载不均衡是影响边缘计算性能的核心问题,传统的云计算平台难以满足新的要求。文中研究了在边缘计算环境下Storm边缘节点的调度优化方法,建立了面向边缘计算的Storm任务卸载调度模型。针对拓扑任务在边缘异构节点间的实时动态分配问题,提出了一种启发式动态规划算法(Inspire Dynamic Programming,IDP),通过改变Storm的Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系实现全局的优化调度;同时,针对拓扑任务的并发度受限于JVM栈深度的缺陷,提出了一种基于蝙蝠算法的调度策略。实验结果表明,与Storm调度算法相比,所提算法在边缘节点CPU利用率指标上平均提升了约60%,在集群的吞吐量指标上平均提升了约8.2%,因此能够满足边缘节点之间的高实时性处理要求。     

Storm环境下基于权重的任务调度算法

大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法（TSAW-Storm）。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。     

Storm环境下基于拓扑结构的任务调度策略

针对Storm流式计算平台中默认轮询调度策略存在通信开销大、负载不均衡的问题,提出基于拓扑结构的任务调度策略（TS²）。首先,选取CPU资源充足且可用的工作节点并各分配一个进程,消除节点内进程间通信开销,优化进程部署;然后,分析拓扑结构,找出拓扑中度最大的组件,优先分配该组件的线程;最后,在满足节点可承载最大线程数的条件下,尽可能将关联任务部署到同一个节点来减少节点间通信开销,改善集群负载均衡,优化线程部署。实验结果表明：在系统延迟方面,与Storm默认调度策略和离线调度策略相比,TS²的平均优化率分别为16.91%和5.69%,有效提高了系统的实时性;在节点间通信开销方面,TS²相比于Storm默认调度策略平均降低了15.75%;在平均吞吐量方面,TS²相比于Storm默认调度策略平均提升了14.21%。     

Storm平台下的线程重分配与数据迁移节能策略

作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略（energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM）,包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.     

基于Storm平台的数据恢复节能策略

作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制约着平台的发展.针对这一问题,分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型,并进一步提出了基于Storm平台的数据恢复节能策略(energy-efficient strategy based on data recovery in Storm,DR-Storm),包括吞吐量检测算法与数据恢复算法.其中吞吐量检测算法根据拓扑信息监控模型反馈的拓扑信息计算集群吞吐量,并通过信息反馈判断是否终止整个集群内拓扑的任务.数据恢复算法根据数据恢复模型选择备份节点用于数据存储,并通过拓扑信息监控模型反馈的信息判断集群拓扑是否进行数据恢复.此外,DR-Storm通过备份节点内存恢复集群拓扑内的数据,并根据大数据流式计算的系统延迟与能效评估DR-Storm.实验结果表明:与现有研究成果相比,DR-Storm在减少系统计算延迟、降低集群功率的同时,有效节约了能耗.     

改进蚁群算法的Storm任务调度优化

Apache Storm 默认任务调度机制是采用Round-Robin（轮询）的方法对各个节点平均分配任务,由于默认调度无法获取集群整体的运行状态,导致节点间资源分配不合理。针对该问题,利用蚁群算法在NP-hard问题上的优势结合Storm本身拓扑特点,提出了改进蚁群算法在Storm任务调度中的优化方案。通过大量实验找到了启发因子α与β的最佳取值,并测得改进后蚁群算法在Storm任务调度中的最佳迭代次数;引入Sigmoid函数改进了挥发因子ρ,使其可以随着程序运行自适应调节。从而降低了各个节点CPU的负载,同时提高了各节点之间负载均衡,加快了任务调度效率。实验结果表明改进后的蚁群算法和Storm默认的轮询调度算法在平均CPU负载上降低了26%,同时CPU使用标准差降低了3.5%,在算法效率上比Storm默认的轮询调度算法提高了21.6%。     

基于协商处理的集群防火墙负载均衡算法

通过分析集群防火墙系统结构和数据包协商处理过程,提出一种基于协商处理的集群防火墙系统负载均衡算法。使用基于权值的Hash算法实现并行过滤。当某一防火墙重载时将任务转移给轻载的伙伴节点,出故障时采用备份防火墙进行快速切换。该算法能实现防火墙节点负载均衡,并且防火墙个数越多,吞吐量越大,时延越低,从而获得了高性能、高可靠性和高可用性。     

分布式WLAN全双工链路加权调度算法

针对分布式无线局域网络带内全双工接入过程的链路调度公平性问题,提出一种基于节点调度权重的全双工链路调度算法(W-FD).通过节点调度权重实现链路负载均衡,从而提升全双工链路的吞吐量,减小节点接入时延.算法基于分布式网络结构,节点按自组织方式获取网络拓扑及邻居节点状态信息,依据节点间数据量、互扰关系和链路调度间隔等参数计...