面向云环境的Flink负载均衡策略

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。     

基于异构Flink集群的节点优先级调度策略

Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡。研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数。基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配。实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6%,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高。     

基于负载感知的数据流动态负载均衡策略

针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题,提出基于负载感知算法的动态负载均衡策略,并将算法应用于Flink数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节点性能的依据,并制定负载均衡策略;然后基于数据分块管理策略实现流式数据的节点间负载迁移技术,通过反馈实现全局和局部的负载调优;最后通过实验评估时空代价论证算法的可行性,并讨论重要参数对算法执行效果的影响。经实验验证算法通过优化流式计算任务的负载分配提高了任务的执行效率,与采用Flink平台现有的负载均衡策略相比,任务执行时间平均缩短6.51%。     

服务器集群负载均衡策略的研究

针对服务器集群负载均衡的问题,兼顾任务调度跨度和负载均衡度,提出一种遗传模拟退火算法。实验结果表明,该算法降低了任务调度跨度,提高了集群系统的资源利用率和负载均衡度。     

面向容器环境的Flink的任务调度优化研究

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择 空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。     

基于Storm平台的多任务分组调度策略与实现

随着大数据与人工智能技术的飞速发展,高性能,实时性的流式计算系统逐渐取代传统基于数据仓库的批量计算系统.Apache storm作为一款开源,高容错,实时处理的分布式大数据流式计算平台,支持任务平均分配策略,单机任务指定策略等多种任务分配方案.当任务拓扑结构中存在多个任务时,且集群中只有某些机器支持某一任务执行时,传统的任务调度方法只能实现将单一的任务分配给单一指定的机器,使得整个集群的资源没有充分的利用.通过调整任务调度策略,获得满足条件的机器队列,查看机器队列中可用工作节点,将指定任务均匀分配给可用工作节点,其他任务仍通过默认策略分配给集群中的剩余机器,实现多任务的分组调度策略.     

基于禁忌搜索的流式计算平台负载均衡策略

针对大数据流式计算平台原生的调度机制存在计算负载分配不均衡、资源利用率低的问题,提出异构环境下基于禁忌搜索算法的负载均衡策略,并将其应用于Apache Flink平台。首先,通过构建作业拓扑模型将流式计算作业的拓扑结构抽象为有向无环图（directed acyclic graph,DAG）,并将每个任务槽（task slot）抽象为节点,为计算节点的性能评估奠定基础;其次,通过建立性能评估模型将有向无环图中带性能权值的节点导入性能评估模型,进行归一化处理得到节点性能的优劣;再将评估参数传入禁忌调度算法（tabu search for schedule,TBS）进行作业路径优化,从而得出最优作业路径;最后,使用Flink平台提供的CustomPatitionerWrapper接口将数据分配到最优作业路径包含的节点中,完成计算负载的均衡分配,从而提升Flink平台的整体性能。实验结果表明：通过禁忌调度算法优化后的负载均衡策略与原生的Flink平台相比,平均计算延迟降低了10~20 ms,资源利用率显著提高,平均吞吐量提升约15%,有效证明了负载均衡策略的有效性和优化效果。     

基于CPU/GPU异构资源协同调度的改进H-Storm平台

为满足计算密集型大数据应用的实时处理需求,在Apache Storm基础上,研究开发H-Storm异构计算平台。通过多进程服务特性设计图形处理器(GPU)资源的量化和分布式调用机制,进而提出H-Storm异构集群的任务调度策略,实现GPU性能及负载的任务调度算法与协同计算下自适应的流分发决策机制。实验结果表明,在512×512矩阵乘法用例下,与原生Storm平台相比,H-Storm异构计算平台吞吐量提升54.9倍,响应延时下降77倍。     

基于Flink的任务调度策略

针对大数据流式计算平台拓扑中因各关键节点上任务间不同类型的通信方式导致的通信开销较大问题,提出一种Flink环境下的任务调度策略。通过各任务间数据流大小确定拓扑边权重,将有向无环图转化为拓扑关键路径模型,在保证关键路径上节点负载差异较小的同时,最小化关键任务的节点间通信开销。实验结果表明,该算法与Flink平台现有的任务调度策略相比,在WordCount和TwitterSentiment作业执行过程中计算平均时延降低了13.09%,有效提升了系统性能。     

基于动态负载均衡策略的网格任务调度优化模型和算法

任务调度是一个NP-hard问题,而且是并行与分布式计算中一个必不可少的组成部分,特别是在网格计算环境中任务调度更加复杂。结合免疫克隆算法和模拟退火算法的优点,提出了一种网格任务调度优化模型和算法。仿真实验结果表明,这种调度算法有效地实现了资源的负载均衡,克服了遗传算法容易陷入局部最优的缺点,可以成功地应用于网格任务调度中。     

基于混合优化算法的云计算资源调度

由于云计算的动态性、异构性和不可预测性等特点,使得资源调度策略面临很大的挑战。目前解决资源调度的方法主要是一些启发式算法,如模拟退火算法、人工神经网络算法、粒子群算法、蚁群算法和遗传算法等,由于优缺点分明,不能单独实现云计算任务的最优分配。因此,提出了使用混合优化算法解决云计算资源分配问题。在算法前期,借助粒子群全局广泛搜索能力,快速寻找到较优解;在算法后期,借助蚁群算法的正反馈性和高效性,寻找最优解。实验表明该算法有较短的任务执行时间和实现各个物理主机间的负载均衡。     

Hadoop平台公平调度算法研究与优化

Hadoop Map Reduce框架的公平调度算法以统一的固定配置文件管理计算节点上计算槽的数量,这不能保障集群负载均衡,亦不能满足不同用户的资源需求。针对公平调度算法配置方式的不足,提出一种动态反馈的调度算法。该算法结合公平调度算法预先分配的特性,能够对计算节点上的计算槽进行动态调整。实验结果表明,基于动态反馈的改进算法有效地提高了集群的执行效率。     

分布式计算中基于资源分级的自适应Min-Min算法*

Min-Min任务调度算法的思路总是优先调度执行时间较短的小任务,无法得到理想的最优跨度及资源负载平衡．针对该问题,提出基于资源分级的自适应Min-Min算法．分配任务前,先参考现有资源的属性进行分级处理,再与任务在资源中的最小完成时间作乘积得到的最小任务资源组合进行调度;在任务调度过程中,引入自适应阈值,调节长任务的调度等级,从而达到优化效果．通过模拟仿真实验,表明该算法在时间跨度和负载平衡上均有较好性能．     

基于Wi-Fi与Web的云计算资源调度算法研究

为缩短云计算执行时间,改善云计算性能,在一定程度上加强云计算资源节点完成任务成功率,需要对云计算资源进行调度;当前的云计算资源调度算法在进行调度时,通过选择合适的调度参数并利用CloudSim仿真工具,完成对云计算资源的调度;该算法在运行时无法有效地进行平衡负载,导致云计算资源调度的均衡性能较差,存在云计算资源调度结果误差大的问题;为此,提出一种基于Wi-Fi与Web的云计算资源调度算法;该算法首先利用自适应级联滤波算法对云计算资源数据流进行滤波降噪,然后以降噪结果为基础,采用本体论对云计算资源进行预处理操作,最后通过人工蜂群算法完成对云计算资源的调度;实验结果证明,所提算法可以良好地应用于云计算资源调度中,有效提高了云计算资源利用率,具有实用性以及可实践性,为该领域的后续研究发展提供了可靠支撑。     

云计算中基于预先分类的调度优化算法

针对云计算中现有调度算法为追求最短完成时间而不能很好兼顾负载平衡的问题,提出基于预先分类的Min-Min调度算法,该算法先利用能衡量资源计算和通信能力的属性信息对资源进行划分等级,再求出每个调度任务在资源中的最小执行时间,计算任务对应资源等级与最小执行时间的乘积,使用该乘积最小的任务-资源对进行调度.解决了原始Min-Min调度算法负载不均衡的问题,兼顾了执行时间最小和负载均衡.模拟的云仿真系统实验结果表明,该算法在平均任务响应时间、平均任务执行速度下降比和系统利用率等方面优于原始的Min-Min调度算法.