基于端边云超融合的算力网络架构

算力网络中面临算力用户侧、算力提供者侧和组网侧多方面的服务挑战,包括：1）如何为用户提供适应性的计算服务,以满足用户多样化的需求;2）如何保证算力提供者的效益,从而实现算力网络的价值激励;3）如何支持弹性的组网服务和算力资源调度,从而实现快速响应。基于区块链技术构建了端边云超融合的算力网络架构,并将适应性、弹性和价值作为该架构下算力用户侧、算力提供者侧和组网侧的主要服务指标。通过求解多方优化问题达到算力网络中多方成员的服务效益均衡。实验结果表明,与云中心架构和边云协同架构相比,端边云超融合的算力网络具有更好的服务和通信性能,同时算力提供者侧价值平均提升了28.94%。     

区块链赋能的算力网络协同资源调度方法

随着AI内容生成、多媒体处理、VR视频等对于计算资源有着极大需求的互联网服务的快速发展，在可以遇见的将来，计算资源将成为网络中的稀缺资源.算力网络通过将算力作为网络基本单元之一来实现算力的网络化，为这些计算敏感的应用提供了行之有效的解决方案.得益于来自云—边—端等节点的计算资源，算力网络能够为大规模用户提供弹性泛在的计算调度.尽管算力网络具有广泛的应用前景，如何实现在这些地理分布的计算节点之间高效调度，计算资源对于算力网络的性能至关重要.提出了一种区块链赋能的资源调度（blockchain empowered resource allocation,BCERA）算法.不同于现有的资源调度方法，BCERA依赖于一个区块链结构来实现分布式、高效的计算资源调度.特别地，有别于现有的区块链结构，BCERA中的区块链节点通过求解任务调度优化问题来实现区块链的共识，从而在避免共识所带来的额外开销和时延的同时，还能提升系统的可扩展性和鲁棒性.计算资源调度问题被建模为一个马尔可夫决策过程（Markov decision process,MDP）并通过强化学习方法来求解.除此之外，还设计了一个激励机制以...     

面向端边云协同架构的区块链技术综述

近年随着边缘计算的兴起,边缘计算和云计算结合形成的终端边缘云(端边云)协同的层次型分布式架构尽管可在高计算能力服务、高存储能力服务和低延时服务等方面满足应用需求.但在数据安全和多方可信交互等方面仍面临很多挑战.作为一种去中心化的分布式账本技术,区块链具有数据不可篡改、不可伪造、可追溯和由多方共同维护的特点,将区块链融入到端边云架构中可以使多参与方之间进行互信的数据交互,确保数据完整和可用,但由于区块链在系统架构、隐私安全、对节点资源要求和多方共识方面的特点,其与端边云架构相融合时仍面临诸多挑战:区块链和端边云系统在架构上的不匹配使得二者难以融合;区块链账本数据透明,可能造成敏感数据泄露;区块链的全副本存储和共识过程会消耗更多端边云参与节点的资源;不同端边云场景所需的信任模型差异、终端和边缘节点资源受限和终端设备大规模接入等特点使得现有共识算法不能适应端边云的场景.针对以上问题,本文首先介绍端边云架构和区块链技术,接着讨论二者融合的可行性和优势,并整理归纳了相关研究进展;之后讨论端边云架构下区块链技术面临的技术问题;最后提出未来端边云架构下区块链技术的研究方向.     

前言

<正>随着新一轮科技革命和产业变革的深入推进，以工业互联网、沉浸式媒体、无人驾驶等为代表的新技术、新业态、新场景和新模式不断涌现、层出不穷.数据量与计算量持续攀升，算力成为信息网络时代的核心生产力. 2022年3月，我国正式实施了“东数西算”工程，在全国范围内协同构建算力流通体系.在此背景下，网络作为连接用户、数据、算力的主动脉，与算力融合共生不断深入，算力网络应运而生，以期通过网络将计算、存储等基础资源在云、边、端之间进行有效调配.这将极大地强化信息基础资源算力的流通和利用效率，推动社会经济发展和提高人类生活水平.为推动我国在算力网络领域的创新与发展，值此东数西算开展一周年之际，我们组织了本期“算力网络”专题，旨在征集新一代算力网络特别是以算力为中心的架构、分配、调度、交易及安全等的前沿技术与应用.本专题2023年1月初征稿结束，经过四十余人次专家的两轮评审，最终收录了9篇论文，内容涵盖了算力网络资源调度、算力度量、     

算网融合下时间连续的计算任务卸载机制

算力网络通过网络协同云、边、端计算资源，突破单点算力的性能瓶颈，为智能化社会提供了算力支撑.算网融合逐渐成为新型信息通信网络技术发展的趋势.由于计算资源异构、网络负载动态，如何协同云、边、端计算资源，从而降低计算任务时延是算网融合下极具挑战性的问题之一.为简化问题，现有工作往往假设系统时间是离散的，并且只在时隙结束时进行计算卸载决策.但该假设会引入决策等待时间，增加了计算任务的整体时延.针对上述问题，提出一种算网融合下时间连续的计算任务卸载机制，在保证时间轴连续和协同多个边缘节点计算资源的前提下，以服务体验提升率为优化目标，对云、边、端间任务卸载问题进行建模，并设计了一种基于深度强化学习的任务卸载方法，从而更高效地利用算力网络计算资源.通过大量的仿真实验证明，与2种基线算法相比所提算法能够有效降低任务时延，提升服务体验.     

基于多算力融合的数字孪生黄河黄河云设计研究

为解决数字孪生黄河建设过程中出现的算力基础设施能力不足，数据存储、处理、服务效率不高，资源服务模式不够灵活等问题，立足数字孪生黄河建设对算力基础设施实际需求，结合水利部出台的相关技术规范，提出多算力融合黄河云重构搭建方案。开展对多元算力、多模态存储模式等关键技术的综合分析，提出多算力融合黄河云的总体框架、部署架构、资源池及资源管理设计。多算力融合黄河云针对模型计算、数据底板、智能应用、大数据处理与分析等不同场景建设虚拟化、高性能、裸金属等算力资源，根据数据类型、特点及数据量匹配集中、分布式存储资源，并提出适应黄委组织架构的云管理模式，可为数字孪生黄河建设提供高效算力底座，并可为数字孪生流域建设算力提供部门提供设计参考。     

车路协同的云管边端架构及服务研究

对智能交通业务的发展趋势、车路协同技术及系统要求以及国内外发展现状进行了介绍;同时重点阐述了智能网联交通体系之车路协同云管边端架构方案,介绍了中心云、交通专网/电信网络、边缘云、车载/路侧终端协同的"云-管-边-端"统一架构,同时提出了基于云管边端架构的车路协同多源数据融合信息服务能力开放框架,并对其具体功能要求、API调用方式进行了详细论述。     

一种SOA云服务平台架构研究与应用

在完美SOA分布式系统架构平台基础上,面向服务进行云架构模式的分析,建立以云端用户、云服务平台中心和云服务提供者构成的云架构模式,实现SOA云平台体系架构,将云服务提供者分成云服务接口层、云服务调度管理层、云计算服务层和云物理服务层。经过改进提高了云平台的服务能力和执行效率,并给出了提高该云平台调度效率的调度算法。通过数字校园云进行了云平台实例演示,显示了SOA云服务平台的架构和调度算法的快速服务响应能力。     

算力网络环境下基于势博弈的工作流任务卸载优化机制

边缘计算虽然部分解决了任务上云导致的时延过长的问题,但由于通常只考虑端边云间的垂直协同,不可避免出现了“算力孤岛”效用,因而仍然难以满足工作流任务的低延迟执行需求.为了高效协同利用广域网上的算力资源,降低工作流任务的执行时间,亟需对算力网络中的工作流任务卸载和资源分配问题进行研究.首先描述了算力网络环境下面向多用户的工作流任务执行场景,并对该场景下的网络环境、工作流任务及其执行流程进行建模.其次根据优化目标建立工作流执行时延模型,以构建面向算力网络环境的多用户工作流任务卸载与资源分配问题.最后根据工作流应用的特点,针对链式工作流提出了一种基于势博弈的分布式工作流卸载算法.针对复杂DAG工作流提出一种基于动态资源权重的启发式工作流卸载算法.仿真实验表明,与其他算法相比,所提算法均能够协同广域网上的算力与网络资源,降低工作流任务的平均完成时间,从而有效提高了算力网络环境中的工作流任务的执行效率.     

大数据背景下智慧教育云平台构建研究

基于神经网络教育平台存在资源获取速度慢的缺点,针对该问题,提出了大数据背景下智慧教育云平台构建研究。在大数据支持下,设计智慧教育云平台总体架构,通过物理层、虚拟资源层配置相关硬件设备,经过逻辑层和展现层为用户提供有效服务,利用现有智慧信息,为用户提供个性化服务。优化处理Web端框架代码,降低代码复杂性,注重系统权限管控,科学设计服务功能,完成智慧教育云平台构建。由实验结果可知,该平台资源获取速度最高可达到99.5 MB/s,有效提高了学生学习效率。     

An efficient job management of computing service using integrated idle VM resources for high-performance computing based on OpenStack

In recent years, various studies on OpenStack-based high-performance computing have been conducted. OpenStack combines off-the-shelf physical computing devices and creates a resource pool of logical computing. The configuration of the logical computing resource pool provides computing infrastructure according to the user’s request and can be applied to the infrastructure as a service (laaS), which is a cloud computing service model. The OpenStack-based cloud computing can provide various computing services for users using a virtual machine (VM). However, intensive computing service requests from a large number of users during large-scale computing jobs may delay the job execution. Moreover, idle VM resources may occur and computing resources are wasted if users do not employ the cloud computing resources. To resolve the computing job delay and waste of computing resources, a variety of studies are required including computing task allocation, job scheduling, utilization of idle VM resource, and improvements in overall job’s execution speed according to the increase in computing service requests. Thus, this paper proposes an efficient job management of computing service (EJM-CS) by which idle VM resources are utilized in OpenStack and user’s computing services are processed in a distributed manner. EJM-CS logically integrates idle VM resources, which have different performances, for computing services. EJM-CS improves resource wastes by utilizing idle VM resources. EJM-CS takes multiple computing services rather than single computing service into consideration. EJM-CS determines the job execution order considering workloads and waiting time according to job priority of computing service requester and computing service type, thereby providing improved performance of overall job execution when computing service requests increase.

     

Eucalyptus 开源框架下云平台的构建与性能分析

基于Eucalyptus开源框架的云计算平台能够为用户提供硬件资源按需分配的服务。对云平台系统架构、网络及资源管理的解决方案进行了论述,并构筑了相应的云服务环境。通过对云环境下虚拟机实例与普通PC机在CPU、Memory、Disk I/O等性能的比较,验证了所构建云计算平台的可用性和可扩展性。     

基于Xen虚拟化技术的弹性云架构

云计算通过虚拟化技术为用户提供基础架构即服务(IaaS),IaaS平台上应用和服务的负载是动态变化的,这就导致其对虚拟资源的需求也是动态变化的.因此收集和分析云平台内部虚拟资源的占用量,根据需求对其进行弹性调度就成为提高整个云计算平台服务性能和资源利用率的关键.从负载均衡和降低云平台使用者成本的角度出发,根据云平台内部...     

网络并行计算系统中基于多处理机任务的资源调度模型

简要描述了网络并行计算系统中任务调度问题和经典的多处理机任务调度研究现状,并将两者结合到一起建立网络并行计算系统中的新型调度模型,较详细地论述了多处理机任务的定义,然后还讨论了该模型求解的近似调度策略及其近似优化问题,给出了其特例Pm｜fix｜Cmax问题的最优调度的时间跨度下界。     

计算资源共享平台中工作流任务调度研究

提出了计算资源共享平台中具有时间约束的工作流任务调度方法,该方法利用了非集中式的树型应用层覆盖网络拓扑结构,从而可以高效而快速的收集资源的可用信息。采用全局调度器与本地调度器结合的方式,通过定义资源的收集功能过程,使每个节点中的本地调度器能够把自身的资源可用信息提供给全局的调度器,工作流中任务的最后期限时间约束和任务的恢复时间以一种时间间隙的机制来完成。仿真结果表明,分治模式和解方程类的迭代模式的工作流任务能够在平台上成功调度运行,具有比较快的响应时间和低的通信负载。     

基于移动IPv4/IPv6演进云计算框架设计*

为满足云计算平台的资源需求,充分利用异构网络资源建设云计算基础平台,设计了一种基于移动IP技术的IPv4/IPv6虚拟机在线迁移框架。该框架的实现需利用设计的云计算控制引擎为核心转换连接异构网络并在NAT-PT与隧道技术协作下完成。框架建立的网络结构适用于IPv4虚拟机与IPv6虚拟机之间的无缝迁移,并可向客户端跨IPv4/IPv6网络提供云计算服务。该框架可应用于IPv4/IPv6过渡期间云计算基础平台建设。     

基于云计算神经网络物流车辆调度算法研究

研究了物流车辆调度优化问题。针对云计算下任务调度算法没有考虑调度的服务质量和用户满意度的问题,特别是在物流任务调度问题中存在复杂的计算网络,造成计算率降低,为了解决上述问题,提出了一种新的有关云计算和神经网络相结合的物流作业调度算法。算法充分考虑了调度的服务质量以及用户满意度,建立一个参数化的处理模型,计算用户在各个资源上的综合满意度,再将任务分配到满足用户需求和使系统资源达到均衡的资源上执行,最后采用改进的神经网络进行优化车辆调度。实验结果表明,改进算法不仅能满足用户的多种需求,提高了用户的满意度,同时也提高了资源调度率和系统资源的利用率。     

异构云环境下基于分簇的云资源感知任务调度方案

针对提高异构云平台中资源调度的效率,提出了一种基于任务和资源分簇的异构云计算平台任务调度方案。利用K-means算法,根据任务的CPU和I/O处理时间对任务分簇,根据资源的计算能力对资源分簇;然后,将任务簇对应到合适的资源簇,并利用最早截止时间优先（EDF）算法对任务簇中的独立任务进行调度,利用提出的改进型最小关键路径（MCP）算法对依赖性任务进行调度。实验结果表明,在资源异构的云计算环境中,该方案执行任务时间短、能耗低。     

A security and cost aware scheduling algorithm for heterogeneous tasks of scientific workflow in clouds

Security is increasingly critical for various scientific workflows that are big data applications and typically take quite amount of time being executed on large-scale distributed infrastructures. Cloud computing platform is such an infrastructure that can enable dynamic resource scaling on demand. Nevertheless, based on pay-per-use and hourly-based pricing model, users should pay attention to the cost incurred by renting virtual machines (VMs) from cloud data centers. Meanwhile, workflow tasks are generally heterogeneous and require different instance series (i.e., computing optimized, memory optimized, storage optimized, etc.). In this paper, we propose a security and cost aware scheduling (SCAS) algorithm for heterogeneous tasks of scientific workflow in clouds. Our proposed algorithm is based on the meta-heuristic optimization technique, particle swarm optimization (PSO), the coding strategy of which is devised to minimize the total workflow execution cost while meeting the deadline and risk rate constraints. Extensive experiments using three real-world scientific workflow applications, as well as CloudSim simulation framework, demonstrate the effectiveness and practicality of our algorithm.     

Semantic-enabled CARE Resource Broker (SeCRB) for managing grid and cloud environment

Grid computing is mainly helpful for executing high-performance computing applications. However, conventional grid resources sometimes fail to offer a dynamic application execution environment and this increases the rate at which the job requests of users are rejected. Integrating emerging virtualization technologies in grid and cloud computing facilitates the provision of dynamic virtual resources in the required execution environment. Resource brokers play a significant role in managing grid and cloud resources as well as identifying potential resources that satisfy users’ application requests. This research paper proposes a semantic-enabled CARE Resource Broker (SeCRB) that provides a common framework to describe grid and cloud resources, and to discover them in an intelligent manner by considering software, hardware and quality of service (QoS) requirements. The proposed semantic resource discovery mechanism classifies the resources into three categories viz., exact, high-similarity subsume and high-similarity plug-in regions. To achieve the necessary user QoS requirements, we have included a service level agreement (SLA) negotiation mechanism that pairs users’ QoS requirements with matching resources to guarantee the execution of applications, and to achieve the desired QoS of users. Finally, we have implemented the QoS-based resource scheduling mechanism that selects the resources from the SLA negotiation accepted list in an optimal manner. The proposed work is simulated and evaluated by submitting real-world bio-informatics and image processing application for various test cases. The result of the experiment shows that for jobs submitted to the resource broker, job rejection rate is reduced while job success and scheduling rates are increased, thus making the resource management system more efficient.