基于YARN的分布式资源动态调度与协同分配系统

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟。     

车辆边缘计算环境下任务卸载研究综述

计算密集和延迟敏感型车辆应用的出现对车辆设备有限的计算能力提出了严峻的挑战,将任务卸载到传统的云平台会有较大的传输延迟,而移动边缘计算专注于将计算资源转移到网络的边缘,为移动设备提供高性能、低延迟的服务,因此可作为处理计算密集和延迟敏感的任务的一种有效方法.同时,鉴于城市地区拥有大量智能网联车辆,将闲置的车辆计算资源充分利用起来可以提供巨大的资源和价值,因此在车联网场景下,结合移动边缘计算产生了新的计算模式——车辆边缘计算.近年来,智能网联车辆数量的增长和新兴车辆应用的出现促进了对车辆边缘计算环境下任务卸载的研究,本文对现有车辆边缘计算环境下任务卸载研究进展进行综述,首先,从计算模型、任务模型和通信模型三个方面对系统模型进行梳理、比较和分析.然后介绍了最小化卸载延迟、最小化能量消耗和应用结果质量三种常见的优化目标,并按照集中式和分布式两种不同的决策方式对现有的研究进行了详细的归类和比较.此外,本文还介绍了几种常用的实验工具,包括SUMO、Veins和VeinsLTE.最后,本文围绕卸载决策算法复杂度、安全与隐私保护和车辆移动性等方面对车辆边缘计算任务卸载目前面临的挑战进行了总结,并展望了车辆边缘计算环境下任务卸载未来的发展方向与前景.     

一种基于综合匹配度的边缘计算系统任务调度方法

边缘计算模式满足数据的实时和低功耗处理需求,是缓解当前网络数据洪流实时处理问题的有效方法之一.但边缘设备资源的异构与多样性给任务的调度与迁移带来极大的困难与挑战.目前,边缘计算任务调度研究主要集中在调度算法的设计与仿真,这些算法和模型通常忽略了边缘设备的异构性和边缘任务的多样性,不能使多样化的边缘任务与异构的资源能力深...     

功能分发网络:基于容器的智能边缘计算平台

随着大数据、机器学习等技术的发展,网络流量与任务的计算量也随之快速增长.研究人员提出了内容分发网络（CDN）、边缘计算等平台技术,但CDN只能解决数据存储,而边缘计算存在着难以管理和不能跨集群进行资源调度等问题.容器化技术广泛应用在边缘计算场景中,但目前,边缘计算采取的容器编排策略普遍比较低效,导致任务的计算延迟仍然过长.提出了功能分发网络FDN （function delivery network）,一方面为用户提供了访问边缘计算资源的统一接口和容器化的计算平台,无需进行繁琐的计算资源配置;另一方面,FDN平台优化系统的资源利用和任务的计算延迟,能将任务所需的容器编排到合适的边缘计算集群.开发了一种基于启发式的容器编排策略,实现了跨集群的容器编排功能,进一步优化了执行的计算延迟.基于Openwhisk软件实现了FDN,并在中国移动的网络中部署了该系统,而且对FDN和容器编排策略进行测试.实验结果表明,FDN计算平台能够降低任务的计算延迟;同时,启发式容器编排策略的性能相比传统的算法有了较大的提升.     

多用户动态节能资源竞争计算卸载策略

针对移动边缘计算环境下,移动设备的计算、续航、存储能力的不足,导致其响应延迟、电池寿命降低等问题,设计了一种动态节能资源竞争计算卸载（DERCO）策略。该策略综合考虑了信道容量以及设备间的相互干扰等情况,以一种贪婪算法的思想,让所有边缘设备通过迭代竞争信道资源,节能效果最好的设备将获得卸载机会,再利用一次性卸载方法,根据实时的信道状况和卸载速率进行动态的细粒度子任务卸载决策。实验结果表明,该策略优于一种近似协同计算卸载方案,有效降低了设备的能耗与时延。     

异构边缘资源的任务卸载和协同调度

边缘计算广泛应用于物联网、车联网和在线游戏等新兴领域,通过网络边缘部署计算资源为终端设备提供低延迟计算服务.针对如何进行任务卸载以权衡任务执行时间与传输时间、如何调度多个不同截止期任务以最小化总延迟时间等挑战性问题,提出1种异构边缘协同的任务卸载和调度框架,包括边缘网络拓扑节点排序、边缘节点内任务排序、任务卸载策略、任务调度和结果调优等算法组件;设计多种任务卸载策略和任务调度策略;借助多因素方差分析（multi-factor analysis of variance,ANOVA）技术在大规模随机实例上校正算法算子和参数,得到统计意义上的最佳调度算法.基于EdgeCloudSim仿真平台,将所提出调度算法与其3个变种算法从边缘节点数量、任务数量、任务分布、截止期取值区间等角度进行性能比较.实验结果表明,所提出调度算法在各种情形下性能都优于对比算法.     

边缘环境下计算密集型任务调度研究综述

随着移动设备数量的急剧增长及计算密集型应用如人脸识别、车联网以及虚拟现实等的广泛使用,为了实现满足用户QoS请求的任务和协同资源的最优匹配,使用合理的计算密集型应用的任务调度方案,从而解决边缘云中心时延长、成本高、负载不均衡和资源利用率低等问题。阐述了边缘计算环境下计算密集型应用的任务调度框架、执行过程、应用场景及性能指标。从时间和成本、能耗和资源利用率以及负载均衡和吞吐量为优化目标的边缘计算环境下计算密集型应用的任务调度策略进行了对比和分析,并归纳出目前这些策略的优缺点及适用场景。通过分析5G环境下基于SDN的边缘计算架构,提出了基于SDN环境下的边缘计算密集型数据包任务调度策略、基于深度强化学习的计算密集型应用的任务调度策略和5G IoV网络中多目标跨层任务调度策略。从容错调度、动态微服务调度、人群感知调度以及安全和隐私等几个方面总结和归纳了目前边缘计算环境中任务调度所面临的挑战。     

面向延迟敏感型物联网应用的计算迁移策略

针对云计算网络延迟较长、能耗过高和边缘服务器计算资源有限的问题,提出了一种提高延迟敏感型物联网（IoT）应用服务质量（QoS）的边缘-云合作的漂移加惩罚计算迁移策略（DPCO）。首先,建立物联网-边缘-云系统模型,对业务模式、计算任务所经历的传输延迟和计算延迟、系统产生的计算能耗和传输能耗等进行数学建模;然后,以系统能耗和任务平均延迟为优化目标,以边缘服务器的队列稳定性为限制条件构建边缘-云合作的计算迁移优化模型;接着,以优化目标为惩罚函数,基于李雅普诺夫稳定性理论推导出计算迁移优化模型的漂移加惩罚函数特性。最后,基于推导结果提出了DPCO计算迁移算法,通过每时隙选择使当前漂移加惩罚函数最小化的计算迁移策略来降低长期的单位时间能耗和缩短系统平均延迟。与轻流雾处理（LFP）、基准边缘计算（EC）、基准云计算（CC）策略相比,DPCO的系统能耗最低,约是CC策略的2/3;任务平均延迟也最小,可减少为CC的1/5。实验结果表明,DPCO能够有效降低边缘-云计算系统的能量消耗,减少计算任务的端到端延迟,满足延迟敏感型IoT应用的QoS要求。     

高速公路中的移动边缘计算研究

中国高速公路的建设使得目前在公路侧出现了大量计算设备,为在高速公路场景中使用移动边缘计算技术提供了可能.移动边缘计算能够在高速为车辆提供低延时、高带宽和可靠的计算服务,是实现交通智能化的重要手段.考虑到高速公路的特殊环境,文中研究了任务卸载和资源调度等关键技术并结合5 G,建立了面向高速公路行车任务的移动边缘计算模型.针对不同种类的计算任务,设计了有效的任务卸载策略,提出一种动态融合的调度策略以实现高效的合理的资源调度,该策略结合了遗传算法和蚁群算法.为验证该模型的有效性,使用负载均衡度作为性能指标对其进行仿真实验.实验结果表明,该算法与同类算法相比能够有效减小负载差异,降低计算成本.     

边缘计算中基于能耗感知的容错协同任务执行算法

边缘计算已被设想成为增强资源贫乏的智能设备计算能力的有效解决方案.通过任务卸载用户可以将计算复杂的任务卸载到边缘云端执行来满足其对资源的需求.然而,其仍然需要解决能量消耗、可靠性和延时的问题.文中提出了一种基于能耗感知的容错协同任务执行算法,以在减少设备能耗的同时保证卸载到边缘云上的任务成功执行.具体地,首先设计了一种具有容错能力的能耗感知协同任务执行模型,该模型通过将计算卸载模型和容错模型相结合,从而在应用程序的截止完成时间内减少设备能耗.然后,提出了一种基于能耗感知的容错协同任务执行调度算法,该算法包括协同任务执行、初始化调度和在线调度.协同任务执行是通过部分关键路径分析和one-climb策略来确定任务的执行决策;初始化调度是从副本和重新提交中为在边缘端执行的任务选择容错策略,以在发生故障时可针对任务采取相应容错措施;在线调度是在发生故障时实时调整容错策略以确保任务成功处理.最后,在3种具有代表性的任务拓扑上进行了广泛的仿真实验,评估了3种不同方案在任务完成率、能耗比方面的性能差异.结果表明,无论是截止完成时间、传输速率还是容错率的变化,该方法都可以保证任务在截止时间内顺利完成,相比协同任务执行更可靠,而且相比本地执行设备消耗的能量可至少减少30％.     

A fault‐tolerant dynamic scheduling method on hierarchical mobile edge cloud computing

Mobile edge cloud computing has been a promising computing paradigm, where mobile users could offload their application workloads to low‐latency local edge cloud resources. However, compared with remote public cloud resources, conventional local edge cloud resources are limited in computation capacity, especially when serve large number of mobile applications. To deal with this problem, we present a hierarchical edge cloud architecture to integrate the local edge clouds and public clouds so as to improve the performance and scalability of scheduling problem for mobile applications. Besides, to achieve a trade‐off between the cost and system delay, a fault‐tolerant dynamic resource scheduling method is proposed to address the scheduling problem in mobile edge cloud computing. The optimization problem could be formulated to minimize the application cost with the user‐defined deadline satisfied. Specifically, firstly, a game‐theoretic scheduling mechanism is adopted for resource provisioning and scheduling for multiprovider mobile applications. Then, a mobility‐aware dynamic scheduling strategy is presented to update the scheduling with the consideration of mobility of mobile users. Moreover, a failure recovery mechanism is proposed to deal with the uncertainties during the execution of mobile applications. Finally, experiments are designed and conducted to validate the effectiveness of our proposal. The experimental results show that our method could achieve a trade‐off between the cost and system delay.     

移动边缘计算中基于改进拍卖模型的计算卸载策略

随着移动互联网业务的快速发展,增强现实、虚拟现实、超清视频等手机应用逐渐普及、IoT应用不断涌现,计算能力和续航能力的不足成为限制智能终端设备成功支撑这些应用的主要瓶颈。针对这一现状,采用计算卸载的方式解决该问题,在多用户多移动边缘服务器的场景下,综合考虑智能设备性能和服务器资源提出了一种基于改进拍卖算法的计算卸载策略。该策略主要包括两个阶段,在卸载决策阶段,通过综合考虑计算任务自身大小、计算需求和服务器计算能力、网络带宽等因素提出了卸载决策的依据;在任务调度阶段,通过综合考虑计算任务的时间需求和MEC服务器计算性能提出了基于改进拍卖算法的任务调度模型。实验证明,提出的计算卸载策略能够有效地降低服务时延,减少智能设备能耗,改善用户体验。     

基于延迟接受的多用户任务卸载策略

随着人工智能的应用对计算资源的要求越来越高,移动设备由于计算能力和存储能量有限而无法处理这类有实时性需求的计算密集型应用。移动边缘计算(Mobile Edge Computing,MEC)可以在无线网络边缘提供计算卸载服务,达到缩短时延和节约能源的目的。针对多用户依赖任务卸载问题,在综合考虑时延与能耗的基础上建立用户依赖任务模型,提出了基于延迟接受的多用户任务卸载策略(Multi-User Task Offloading Based on Delayed Acceptance,MUTODA),用于解决时延约束下最小化能耗的任务卸载问题。该策略通过非支配的单用户最优卸载策略和解决资源竞争的调整策略两个步骤的不断迭代,来解决多用户任务卸载问题。实验结果表明,相比基准策略和启发式策略,基于延迟接受的多用户任务卸载策略能够提高约8%的用户满意度,节约30%~50%的移动终端能耗。     

Characterizing application scheduling on edge,fog, and cloud computing resources

Cloud computing has grown to become a popular distributed computing service offered by commercial providers. More recently, edge and fog computing resources have emerged on the wide-area network as part of Internet of things (IoT) deployments. These three resource abstraction layers are complementary, and offer distinctive benefits. Scheduling applications on clouds has been an active area of research, with workflow and data flow models offering a flexible abstraction to specify applications for execution. However, the application programming and scheduling models for edge and fog are still maturing, and can benefit from learnings on cloud resources. At the same time, there is also value in using these resources cohesively for application execution. In this article, we offer a taxonomy of concepts essential for specifying and solving the problem of scheduling applications on edge, fog, and cloud computing resources. We first characterize the resource capabilities and limitations of these infrastructure and offer a taxonomy of application models, quality-of-service constraints and goals, and scheduling techniques, based on a literature review. We also tabulate key research prototypes and papers using this taxonomy. This survey benefits developers and researchers on these distributed resources in designing and categorizing their applications, selecting the relevant computing abstraction(s), and developing or selecting the appropriate scheduling algorithm. It also highlights gaps in literature where open problems remain.     

边缘计算:新型计算范式综述与应用研究

科学技术的快速发展,使万物互联设想不再仅仅停留在人们的概念中。随着接入无线网的智能设备数量的快速增长,边缘数据量已达到ZB级别,给核心网络带宽造成巨大压力;与此同时,无人驾驶、位置识别、增强现实、虚拟现实等众多新兴应用的出现对网络延迟、抖动、数据安全等提出了更高的要求。传统云计算在以上方面表现乏力,于是边缘计算(EC)应运而生。边缘计算能够在网络的边缘提供轻量级的云计算和存储能力。对边缘计算的最新研究成果和应用进行了详尽的回顾。首先综述边缘计算和云计算的概念并对比分析边缘计算的优势,指出边缘计算发展的必然性和时代趋势;然后针对典型边缘计算架构和平台进行了全面的综述,并讨论了网络性能优化、视频缓存、购物车视图刷新和网络视频直播等边缘计算中的典型应用案例。最后,从边缘计算服务管理、应用移动性管理、计算资源管理、数据管理等四方面,展望了边缘计算的开放式研究挑战和未来的发展趋势,希望能给从事边缘计算的科研工作者带来启发。     

面向5G边缘计算的Kubernetes资源调度策略

容器云是5G边缘计算的重要支撑技术,5G的大带宽、低时延和大连接三大特性给边缘计算带来较大的资源压力,容器云编排器Kubernetes仅采集Node剩余CPU和内存两大资源指标,并运用统一的权重值计算Node优先级作为调度依据,该机制无法适应边缘计算场景下精细化的资源调度需求。面向5G边缘计算的资源调度场景,通过扩展Kubernetes资源调度评价指标,并增加带宽、磁盘两种评价指标进行节点的过滤和选择,提出一种基于资源利用率进行指标权重自学习的调度机制WSLB。根据运行过程中的资源利用率动态计算该应用的资源权重集合,使其能够随着应用流量的大小进行自适应动态调整,利用动态学习得到的资源权重集合来计算候选Node的优先级,并选择优先级最高的Node进行部署。实验结果表明,与Kubernetes原生调度策略相比,WSLB考虑了边缘应用的带宽、磁盘需求,避免了将应用部署到带宽、磁盘资源已饱和的Node,在大负荷与异构请求场景下可使集群资源的均衡度提升10%,资源综合利用率提升2%。     

IoTSim-Edge: A simulation framework for modeling the behavior of Internet of Things and edge computing environments

With the proliferation of Internet of Things (IoT) and edge computing paradigms, billions of IoT devices are being networked to support data-driven and real-time decision making across numerous application domains, including smart homes, smart transport, and smart buildings. These ubiquitously distributed IoT devices send the raw data to their respective edge device (eg, IoT gateways) or the cloud directly. The wide spectrum of possible application use cases make the design and networking of IoT and edge computing layers a very tedious process due to the: (i) complexity and heterogeneity of end-point networks (eg, Wi-Fi, 4G, and Bluetooth); (ii) heterogeneity of edge and IoT hardware resources and software stack; (iv) mobility of IoT devices; and (iii) the complex interplay between the IoT and edge layers. Unlike cloud computing, where researchers and developers seeking to test capacity planning, resource selection, network configuration, computation placement, and security management strategies had access to public cloud infrastructure (eg, Amazon and Azure), establishing an IoT and edge computing testbed that offers a high degree of verisimilitude is not only complex, costly, and resource-intensive but also time-intensive. Moreover, testing in real IoT and edge computing environments is not feasible due to the high cost and diverse domain knowledge required in order to reason about their diversity, scalability, and usability. To support performance testing and validation of IoT and edge computing configurations and algorithms at scale, simulation frameworks should be developed. Hence, this article proposes a novel simulator IoTSim-Edge, which captures the behavior of heterogeneous IoT and edge computing infrastructure and allows users to test their infrastructure and framework in an easy and configurable manner. IoTSim-Edge extends the capability of CloudSim to incorporate the different features of edge and IoT devices. The effectiveness of IoTSim-Edge is described using three test cases. Results show the varying capability of IoTSim-Edge in terms of application composition, battery-oriented modeling, heterogeneous protocols modeling, and mobility modeling along with the resources provisioning for IoT applications.     

面向服务的云-端动态协作方法

边缘计算可以通过将计算转移至边缘设备,以提高大型物联网流数据的处理质量并降低网络运行成本。然而,实现大型流数据云计算和边缘计算的集成面临两个挑战。首先,边缘设备的计算能力和存储能力有限,不能支持大规模流数据的实时处理。其次,流数据的不可预测性导致边缘端的协作不断地发生变化。因此,有必要实现边缘服务和云服务之间的灵活划分。提出一种面向服务的云端与边缘端的无缝集成方法,用于实现大规模流数据云计算和边缘计算的协作。该方法将云服务分成两部分,分别在云端和边缘端上运行。同时,提出了一种基于改进的二分图动态服务调度机制。当产生事件时,可以在适当的时间将云服务部署到边缘节点。基于真实的电能质量监控数据对提出的方法进行了有效性验证。