面向Flink的负载均衡任务调度算法的研究与实现

Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。     

面向云计算的移动终端应用健壮性增强研究

移动设备已经逐步成为对外服务平台的一种常用接入和分发途径,然而移动终端如何安全分发多媒体服务却一直受到移动终端本身的处理能力限制;自从移动设备诞生以来,其计算处理能力一直抑制着其使用轻量级应用和复杂的安全性算法,因此提出一种以减轻移动设备负担为目的的云计算架构,其可以通过订阅发布的移动健壮性服务,以执行轻量级多媒体应用及复杂的安全算法来完成;该架构使用了云计算协议管理模式,试图从提供多媒体传感信号处理及移动安全服务的应用方面,来实现和验证如何超越已存在的移动设备的局限性。     

基于云计算的Apriori挖掘算法

MapReduce是云计算技术主流的分布式计算模型,它充分利用计算机集群的处理能力;能对大规模数据进行高效的挖掘分析;在研究MapReduce模型架构的基础上,将云计算技术与数据挖掘技术结合在一起,提出了基于MapReduce模型的Apriori算法;该算法对事务集和项集进行双重二进制编码,只需"与"运算和"或"运算,提高了模式匹配和连接的效率;试验结果表明,该算法执行效率比传统集中式Apriori算法有很大幅度的提高。     

基于云计算的软件测试系统框架研究

针对传统的软件测试方法中存在的效率低、成本高等问题,将云测试技术应用到了软件测试中;介绍了云测试中的相关技术,并详细阐述了系统总体框架,使用了一种基于动态优先权的高优先权先调度算法,设计并实现了系统的调度子模块;Matlab仿真实验结果为在执行相同任务调度时,该调度算法比传统FCFS调度算法总周转时间短;当任务增加时,该调度算法总周转时间增加的慢,证明该算法可以显著地提高测试效率,提高资源利用率,缩减测试成本,实现软件测试的自动化。     

基于多尺度量子谐振子算法的云计算任务调度

合理地分配虚拟计算资源以进行有效的任务调度是云计算中的一个核心问题。为了更好地利用虚拟计算资源,高效地完成服务需求,提出了一种基于多尺度量子谐振子算法（MQHOA）的任务调度算法。首先,该算法将每一个调度方案当成一个采样位置,利用高斯采样的随机性在当前尺度下搜索局部最优解;其次,判断算法是否处于能级稳定状态,如果稳定,则进入能级降低过程,最坏的调度方案将被替换;最后,算法进入尺度下降的过程,算法由全局搜索过渡到局部搜索,迭代多次之后,算法停止并输出找到的最优结果。通过在CloudSim平台上进行仿真实验,与现有的先来先服务（FCFS）算法和粒子群优化（PSO） 算法对比,MQHOA总任务完成时间减少10%以上,负载不均值下降0.4以上。实验结果表明,基于MQHOA的任务调度算法能够快速收敛,有良好的全局收敛性和自适应能力,在云计算任务调度过程中,能够起到减少总任务完成时间和均衡负载的作用。     

独立任务调度的启发式算法

任务调度是一个NP-hard问题,而且是并行与分布式计算中一个必不可少的组成部分,特别是在网格计算环境下任务调度更加复杂。该文提出了满足负载均衡的一个启发式任务调度算法。给出了选择处理机和任务的方法,以提高算法的效率。实验表明该算法是一个高效率的调度算法,并且几乎总是找到了最优调度方案。     

分布式计算平台中任务调度的模拟器研究

提出与描述一个分布式计算平台中任务调度的模拟器,该模拟器可以用来仿真与评测网络计算平台上的主-从模式的并行分布式应用.它采用任务跟踪的方式,周期性的收集任务相关的收据来实现.该模拟器支持多种运行场景、根据应用的需求来控制输入参数;能够完成不同任务调度策略分析与检查点文件共享策略分析.分析了两种类型的任务调度算法在模拟器上的仿真:FCFS(First Come First Served)策略和MinMax(unassigned min-max)策略.模拟与性能结果表明:该模拟器可以仿真因特网上的大规模分布式计算平台的调度策略与检查点策略对通信轮回时间的影响,是一种接近真实世界的仿真结果,方便了程序员的操作.     

基于MapReduce的Web日志挖掘

针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。     

一种基于蚁群算法的任务调度方法

任务调度是一个NP-hard问题,而且是并行与分布式计算中一个必不可少的组成部分,特别是在网格计算环境中任务调度更加复杂。文中结合蚁群算法的优点,提出了一种基于蚁群算法的任务调度方法,将算法应用于网格计算任务调度问题的求解之中。最后,实验结果这种算法优于普通算法。     

基于移动雾计算的线上订单任务资源优化分配

在物联网环境下,线上订单处理的可移动设备存在计算能力有限、内存限制和计算延迟等缺点。通过引入移动雾计算（Mobile Fog Computing）优化线上订单任务,运用模糊聚类算法对雾节点进行聚类,运用贪心算法对聚类后的任务资源进行优化调度,使用Visual Studio工具对贪心算法进行调节和运行,得出任务调度匹配结果,提高平台运营效率。结合丹尼斯某超市线上订单的实际数据,对雾节点任务资源调度执行时间进行分析,结果表明该算法具有可行性和实用性。     

基于ILS-PSO算法的移动云计算DAG图的任务调度研究与应用

移动云计算已经深入到人们工作和生活的各个方面,同时也对移动设备的续航时间、计算能力,存储容量和安全性提出了更高的要求。移动云计算网络中的移动设备由于资源有限、通信受限,无法满足复杂应用的要求。为了解决移动云计算环境下复杂应用的有效使用问题,对移动设备网络和DAG任务图进行深入研究,将复杂应用分解成多个不相交的集合分配给移动设备并行执行,满足移动设备电池容量的约束下,提出了粒子群优化(PSO)算法求解最优调度方案的方法,并且应用迭代局部搜索(ILS)策略,保证了全局和局部搜索的平衡。     

移动边缘计算中基于改进拍卖模型的计算卸载策略

随着移动互联网业务的快速发展,增强现实、虚拟现实、超清视频等手机应用逐渐普及、IoT应用不断涌现,计算能力和续航能力的不足成为限制智能终端设备成功支撑这些应用的主要瓶颈。针对这一现状,采用计算卸载的方式解决该问题,在多用户多移动边缘服务器的场景下,综合考虑智能设备性能和服务器资源提出了一种基于改进拍卖算法的计算卸载策略。该策略主要包括两个阶段,在卸载决策阶段,通过综合考虑计算任务自身大小、计算需求和服务器计算能力、网络带宽等因素提出了卸载决策的依据;在任务调度阶段,通过综合考虑计算任务的时间需求和MEC服务器计算性能提出了基于改进拍卖算法的任务调度模型。实验证明,提出的计算卸载策略能够有效地降低服务时延,减少智能设备能耗,改善用户体验。     

面向移动机器人分布式计算的任务调度方法

针对移动机器人导航控制中信息处理量大、任务多的情况,提出了一个适用于移动机器人的分布式计算框架,并在此框架的基础上设计了一种任务调度方法——GMBSA,该方法以资源代理为基础,首先对任务执行时间进行预测,然后运用遗传算法结合多队列Backfilling方法进行任务调度,达到最小化任务执行时间的要求,最终实现资源的优化分配,满足了机器人导航控制中的实时性要求。该文采用实验室构建的分布式计算环境对GMBSA的性能进行了测试,并比较了轻重负载情况下GMBSA,多队列Backfilling和FCFS 3种调度方案的性能差异。     

Adaptive group scheduling mechanism using mobile agents in peer-to-peer grid computing environment

Peer-to-peer grid computing is an attractive computing paradigm for high throughput applications. However, both volatility due to the autonomy of volunteers (i.e., resource providers) and the heterogeneous properties of volunteers are challenging problems in the scheduling procedure. Therefore, it is necessary to develop a scheduling mechanism that adapts to a dynamic peer-to-peer grid computing environment. In this paper, we propose a Mobile Agent based Adaptive Group Scheduling Mechanism (MAAGSM). The MAAGSM classifies and constructs volunteer groups to perform a scheduling mechanism according to the properties of volunteers such as volunteer autonomy failures, volunteer availability, and volunteering service time. In addition, the MAAGSM exploits a mobile agent technology to adaptively conduct various scheduling, fault tolerance, and replication algorithms suitable for each volunteer group. Furthermore, we demonstrate that the MAAGSM improves performance by evaluating the scheduling mechanism in Korea@Home. SungJin Choi is a Ph.D. student in the Department of Computer Science and Engineering at Korea University. His research interests include mobile agent, peer-to-peer computing, grid computing, and distributed systems. Mr. Choi received a M.S. in computer science from Korea University. He is a student member of the IEEE. MaengSoon Baik is a senior research member at the SAMSUNG SDS Research & Develop Center. His research interests include mobile agent, grid computing, server virtualization, storage virtualization, and utility computing. Dr. Baik received a Ph.D. in computer science from Korea University. JoonMin Gil is a professor in the Department of Computer Science Education at Catholic University of Daegu, Korea. His recent research interests include grid computing, distributed and parallel computing, Internet computing, P2P networks, and wireless networks. Dr. Gil received his Ph.D. in computer science from Korea University. He is a member of the IEEE and the IEICE. SoonYoung Jung is a professor in the Department of Computer Science Education at Korea University. His research interests include grid computing, web-based education systems, database systems, knowledge management systems, and mobile computing. Dr. Jung received his Ph.D. in computer science from Korea University. ChongSun Hwang is a professor in the Department of Computer Science and Engineering at Korea University. His research interests include distributed systems, distributed algorithms, and mobile computing. Dr. Hwang received a Ph.D. in statistics and computer science from the University of Georgia.     

Efficient application scheduling in mobile cloud computing based on MAX–MIN ant system

Combining the advantages of mobile computing and cloud computing, Mobile Cloud Computing (MCC) greatly enriches the types of applications on mobile devices and enhances the quality of service of the applications. Under various circumstances, researchers have put forward several MCC architectures. However, it still remains a challenging task of how to design a reasonable mobile cloud model with efficient application processing structure for some particular environment. This paper firstly presents a Hybrid Local Mobile Cloud Model (HLMCM) with detailed application scheduling structure. Secondly, a scheduling algorithm for HLMCM based on MAX–MIN Ant System is put forward. Finally, the effectiveness and suitability of our proposed algorithms are evaluated through a series of simulation experiments.     

Fair Scheduling Algorithms in Grids

In this paper, we propose a new algorithm for fair scheduling, and we compare it to other scheduling schemes such as the earliest deadline first (EDF) and the first come first served (FCFS) schemes. Our algorithm uses a max-min fair sharing approach for providing fair access to users. When there is no shortage of resources, the algorithm assigns to each task enough computational power for it to finish within its deadline. When there is congestion, the main idea is to fairly reduce the CPU rates assigned to the tasks so that the share of resources that each user gets is proportional to the users weight. The weight of a user may be defined as the users contribution to the infrastructure or the price he is willing to pay for services or any other socioeconomic consideration. In our algorithms, all tasks whose requirements are lower than their fair share CPU rate are served at their demanded CPU rates. However, the CPU rates of tasks whose requirements are larger than their fair share CPU rate are reduced to fit the total available computational capacity in a fair manner. Three different versions of fair scheduling are adopted in this paper: the simple fair task order (SFTO), which schedules the tasks according to their respective fair completion times, the adjusted fair task order (AFTO), which refines the SFTO policy by ordering the tasks using the adjusted fair completion time, and the max-min fair share (MMFS) scheduling policy, which simultaneously addresses the problem of finding a fair task order and assigning a processor to each task based on a max-min fair sharing policy. Experimental results and comparisons with traditional scheduling schemes such as the EDF and the FCFS are presented using three different error criteria. Validation of the simulations using real experiments of tasks generated from 3D image- rendering processes is also provided. The three proposed scheduling schemes can be integrated into existing grid computing architectures.     

分布式并行计算环境下混合遗传算法的研究

为提高混合遗传算法的计算效率和求解质量,提出一个并行混合遗传算法框架。该框架主要由遗传算法、小生境操作和单纯形3部分组成,遗传算法和小生境操作采用串行执行方式,单纯形采用分布式并行执行方式。分布式并行计算环境由4台计算机通过交换机连接构成,并设计了一个动态任务调度方案。一个典型工程算例验证了新算法的有效性,并且在分布式并行环境下取得了较好的加速比和并行效率。     

移动云计算中基于延时传输的多目标工作流调度

云计算和移动互联网的不断融合,促进了移动云计算的产生与发展.在移动云计算环境下,用户可将工作流的任务迁移到云端执行,这样不但能够提升移动设备的计算能力,而且可以减少电池能源消耗.但是不合理的任务迁移会引起大量的数据传输,这不仅损害工作流的服务质量,而且会增加移动设备的能耗.基于此,本文提出了基于延时传输机制的多目标工作流调度算法MOWS-DTM.该算法基于遗传算法,结合工作流的调度过程,在编码策略中考虑了工作流任务的调度位置和执行排序.由于用户在不断移动的过程中,移动设备的无线网络信号也在不断变化.当传输一定大小的数据时,网络信号越强则需要的时间越少,从而移动设备的能耗也越少.而且工作流结构中存在许多非关键任务,延长非关键任务的执行时间并不会对工作流的完工时间造成影响.因此,本文在工作流调度过程中融入了延时传输机制DTM,该机制能够同时有效地优化移动设备的能耗和工作流的完工时间.仿真结果表明,相比MOHEFT算法和RANDOM算法,MOWS-DTM算法在多目标性能上更优.     

面向边缘设备的高能效深度学习任务调度策略

近年来,深度学习在图像和自然语言处理等诸多领域表现出色,与深度学习相关的各类移动应用发展迅速,但由于移动网络状态的不稳定性及网络带宽的限制,基于云计算的深度模型任务可能出现较大响应延迟,严重影响用户体验.与此同时,深度模型对设备的计算及存储能力有较高的要求,无法直接在资源受限的移动设备中进行部署.因此,亟须设计一种新的计算模式,使得基于深度模型的移动应用能够满足用户对快速响应、低能耗及高准确率的期望.本文提出一种面向边缘设备的深度模型分类任务调度策略,该策略通过协同移动设备与边缘服务器,充分利用智能移动终端的便捷性和边缘服务器强大的计算能力,综合考虑分类任务的复杂度和用户期望,完成深度模型在移动设备和边缘服务器中的动态部署,并对推理任务进行动态调度,从而提升任务执行效率,降低深度学习模型推理开销.本文以基于卷积神经网络的图像识别应用为例,实验结果表明,在移动环境中,相比于准确率最高的深度模型,本文提出的高能效调度策略的推理能耗可降低93.2%、推理时间降低91.6%,同时准确率提升3.88%.     

一种基于综合匹配度的边缘计算系统任务调度方法

边缘计算模式满足数据的实时和低功耗处理需求,是缓解当前网络数据洪流实时处理问题的有效方法之一.但边缘设备资源的异构与多样性给任务的调度与迁移带来极大的困难与挑战.目前,边缘计算任务调度研究主要集中在调度算法的设计与仿真,这些算法和模型通常忽略了边缘设备的异构性和边缘任务的多样性,不能使多样化的边缘任务与异构的资源能力深...