基于OpenStack的高资源利用率Docker调度模型

在现有OpenStack云平台与Docker容器技术的集成方案中,基于容器初始资源请求的调度模型由于未充分考虑容器运行时的实际资源使用情况,导致资源利用率较低。为满足云计算领域的高资源利用率和低成本需求,构建基于OpenStack云平台的Docker调度模型（DSM）,将其与OpenStack的Keystone、Glance以及Neutron组件的API进行交互,获取创建容器所需的镜像、网络等资源,同时调用Docker Engine提供的API部署容器,对容器生命周期进行高效灵活管控。通过融合初始化模块、资源实时感知模块、容器调度模块、资源实时监测模块和容器迁移模块,并在容器调度模块中利用资源可用度评估与优先级决策调度机制为容器选择最优的计算节点,实现OpenStack云平台中资源的高效利用。实验结果表明,与经典Nova-Docker和Yun集成方案采用的调度模型相比,DSM调度模型在CPU和内存利用率上至少提升38.54、30.17个百分点和38.40、28.69个百分点。     

Docker动态调度算法的设计与实现

Docker作为容器的实施引擎,能高效部署、执行和管理容器。然而,现有Docker容器资源管理机制基于静态配置,无法根据应用类型特征和资源需求在运行时进行高效的动态资源分配。因此,实验性地分析Docker运行不同负载时的资源使用和性能情况,设计并实现了一种基于运行时的Docker动态调度算法,优先满足实时型应用容器服务要求,同时保证批处理型应用容器的性能。另外,算法根据节点运行现状推荐创建最合适的应用容器,最大化节点的资源利用率。实验表明,动态调度机制不会引入明显的性能开销;当容器间出现资源竞争时,可以将实时型应用容器满足服务要求的时间段延长87.5%,且最多对同时运行的批处理应用容器的性能造成2.9%的开销。算法推荐机制将节点上能够运行的容器实例数增大2.3倍时,对批处理型应用容器只造成最多9.3%的性能损耗。     

Docker容器化下的遥感算法程序集成方法

目的 近年来，随着我国遥感技术的快速发展，遥感数据呈现出大数据的特点，遥感数据的时效性增强，针对新环境下遥感算法编程语言众多，程序运行和部署环境需求多样，程序的集成和部署困难的问题，提出了一种遥感算法程序快速封装与Docker容器化系统集成架构。方法 该系统架构主要包括：1）遥感算法程序的镜像自动化封装制作；2）镜像的分发管理，达到算法程序镜像的共享；3）遥感信息产品生产流程的容器化编排服务，将相关联的算法程序镜像串联，以满足特定遥感信息产品的生产；4）容器的调度运行，调用镜像，实现特定遥感产品的容器化运行。本文在上述容器化系统集成架构下，以Landsat5数据的NDVI、NDWI信息产品的生产作为容器化生产实例，并同物理机、KVM （kernel-based virtual machine）虚拟机在运行时间、内存占用量、部署效率等性能进行了对比。结果 Docker容器虚拟化环境下的产品生产和物理机环境下在运行时间和内存占用量上几无差别，优于KVM虚拟机。Docker容器虚拟化环境和KVM虚拟机环境下在部署上能够节省大量时间，相比于物理机环境能够提高部署效率。结论 容器化的系统集成方式能够有效解决遥感算法程序集成和部署困难的问题，有利于遥感算法程序的复用和流程的共享，提高系统集成效率，具备较强的遥感数据实时快速处理能力。     

面向容器环境的Flink的任务调度优化研究

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择 空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。     

基于Docker的云资源弹性调度策略

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。     

云计算应用中的嵌入式容器技术研究

虚拟化技术从主机虚拟化发展到容器虚拟化,推动了计算开发模式的变更.容器虚拟化技术广泛应用于云计算,提供高效灵活的计算资源配置,极大提高了计算资源的利用率和软件开发效率.以Docker为代表的容器实现了持续集成、持续交付和部署.在嵌入式系统中,应用灵活多变,配置较多,涉及到应用和实时操作系统的配置裁减,系统重构复杂.本文...     

基于OpenStack的数字校园体系架构研究

当前,云计算技术的广泛应用已成为不可阻挡的趋势,随之而来的开源云计算也迅速崛起。开源云计算以其开源性、低成本等优点吸引越来越多的用户。对开源云计算OpenStack的功能和架构进行介绍,并针对高校数字校园存在的问题,从数字校园的实际需求出发,利用先进的OpenStack平台,采用分层设计的方法设计、实现一个可对云资源进行综合管理的数字校园体系架构。并重点研究该架构中的资源调度,提出了一种基于任务调度和负载均衡的方案,通过实践,验证了该调度方案能够均衡服务器的资源负载,使基于OpenStack的数字校园处于相对稳定的状态。     

State machine replication in containers managed by Kubernetes

Computer virtualization brought fast resource provisioning to data centers and the deployment of pay-per-use cost models. The system virtualization provided by containers like Docker has improved this flexibility of resource provisioning. Applications that require more restrictive agreement and ordering guarantees can also benefit from operating inside containers. This paper proposes the integration of coordination services in a container management system called Kubernetes (k8s), seeking to restrict the containers’ size and to offer automatic state replication. A protocol that uses shared memory available in Kubernetes was developed, and an evaluation was conducted to show the viability of the proposal.     

基于OpenStack的清华云平台构建与调度方案设计

从一般云计算的体系结构与清华大学的实际需求出发,利用先进的OpenStack平台,采用分层设计的方法设计实现一个可对云资源进行综合管理的清华云平台。分析了该系统的优势和应具备的主要模块功能,重点研究系统中的资源调度关键技术,提出了一种基于任务调度和负载均衡的策略,并通过对调度方案的实验与分析,验证了该调度策略在保证服务性能和执行效率的基础上能够均衡服务器的资源负载,使云平台处于相对稳定的状态。     

基于Docker容器的航天网络隐私数据安全防护控制研究

隐私数据嵌入量过大会导致航天网络主机信息参量提取时间延长,数据安全性下降,所以研究基于Docker容器的航天网络隐私数据安全防护控制方法。利用Docker容器收集航天网络负载数据,评估Docker容器实时负载量,联合目标防护信息实现对航天网络Docker容器的调度。根据Docker容器调度和Paillier同态加密结果,提取静态污点后完成航天网络隐私数据的训练与处理。根据所得到的数据,定义混沌映射关系,通过离散变换的方式生成安全性种子密钥,结合安全防护控制函数求解结果实现航天网络隐私数据安全防护控制。实验结果表明,所提方法能够将隐私数据实时嵌入量控制在5.5GB以下,保证网络主机提取信息参量的时间不超过0.7ms,能够有效保证航天网络隐私数据安全性。     

Interference Analysis of Co-Located Container Workloads: A Perspective from Hardware Performance Counters

Workload characterization is critical for resource management and scheduling.Recently,with the fast development of container technique,more and more cloud service providers like Google and Alibaba adopt containers to provide cloud services,due to the low overheads.However,the characteristics of co-located diverse services(e.g.,interactive on-line services,off-line computing services)running in containers are still not clear.In this paper,we present a comprehensive analysis of the characteristics of co-located workloads running in containers on the same server from the perspective of hardware events.Our study quantifies and reveals the system behavior from the micro-architecture level when workloads are running in different co-location patterns.Through the analysis of typical hardware events,we provide recommended/unrecommended co-location workload patterns which provide valuable deployment suggestions for datacenter administrators.     

基于微服务的石油大数据挖掘平台

为推进大数据技术在油田领域的快速融合和应用，提出一种覆盖大数据处理整个生命周期的多功能大数据处理平台。平台融合各类大数据分析框架和机器学习框架，设计面向油田领域，能够支持实时和离线处理的数据挖掘功能。基于Docker容器封装各类计算框架和算法服务，并基于Kubernetes框架完成容器的编排与调度。在系统的架构方式上采用基于微服务的架构方式，将不同技术栈的应用独立分解为单个服务模块，以此来保证业务系统服务的可靠性、可扩展性。这使得企业数据分析人员能够专注于业务数据分析问题，而不必花费大量时间学习框架部署和其他大型数据挖掘技术细节。     

面向云环境的Flink负载均衡策略

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。     

POP:一个基于微服务架构的在线编程系统

随着云计算的发展,基于云端的编程模式越来越受到开发者的青睐。在线编程系统与PaaS平台相结合,可以大大简化应用开发过程,为开发者提供便利。Docker的出现推动了PaaS平台的迅猛发展,Docker的种种特性给予了在线IDE更加理想的开发部署应用的环境。POP(Public Online Programming) 是一种利用Docker技术实现的基于微服务架构的公共在线编程系统。POP通过对Docker资源的合理调度管理,使得在线编程系统在部署、调试和运行各类应用时能够更加节省资源和时间。     

计算系统虚拟化平台的研究及实现

虚拟化技术是高性能计算系统规模化的关键技术。高能所计算资源虚拟实验床采用 OpenStack 云平台搭建环境。本文讨论了实现虚拟计算资源与计算系统相互融合的三个关键因素：网络架构设计、环境匹配和系统总体规划。本文首先讨论了虚拟网络架构。虚拟化平台通过部署 neutron 组件、OVS以及 802.1Q 协议来实现虚拟网络和物理网络的二层直连,通过配置物理交换机实现三层转发,避免了数据经过 OpenStack 网络节点转发的瓶颈。其次,虚拟计算资源要融入计算系统,需要与计算系统的各个组件进行信息的动态同步,以满足域名分配、自动化配置以及监视等系统的需要。文章介绍了自主开发的 NETDB 组件,该组件负责实现包括虚拟机与域名系统 (DNS)、自动化安装和管理系统 (puppet) 以及监视系统的信息动态同步等功能;最后,在系统总体规划中,文章讨论了包括统一认证、共享存储、自动化部署、规模扩展和镜像等内容。     

基于OpenStack的Swift负载均衡算法

为了解决由于OpenStack的负载分发不均衡而引发的存储性能下降、资源利用率降低、I/O响应时长增加等问题,提出对加权最小连接调度算法进行改进. 通过对对象存储的负载均衡调度算法研究,利用存储节点的CPU、内存、硬盘、I/O资源利用率信息,并结合节点任务请求连接数,计算存储节点负载能力、性能和权值. 负载均衡器根据每个存储节点的权值大小判断任务分发方向. 经实验证明改进的负载均衡调度算法能够解决存储读写性能下降的问题,提升数据吞吐率、存储读写性能和系统稳定性.     

从Docker容器看容器技术的发展: 一种系统文献综述的视角

近些年,软件构造、运行和演化过程面临着诸多新需求,例如开发测试环境需要高效切换或配置、应用隔离、减少资源消耗、提高测试和部署效率等,给开发人员开发和维护软件带来了巨大的负担.容器技术有希望将开发人员从繁重的开发运维负担中解脱出来,尤其是Docker作为目前工业界的容器行业标准,近年来逐渐成为学术界一个热门的研究领域.为了帮助研究人员全面准确地理解当前Docker容器研究的现状和趋势,使用系统文献综述(systematic literature review)的方法搜集了75篇该领域最新的高水平论文,进行了详细的分析和总结.首先,使用定量研究方法调查了Docker容器研究的基本现状,包括研究数量、研究质量、研究领域和研究方式.其次,首次提出了面向Docker容器研究的分类框架,分别从核心、平台和支持3个方面对当前研究进行了系统性地归纳和梳理.最后,讨论了Docker容器技术的发展趋势并总结了7个未来的研究方向.     

基于云边协同的充电设施协调控制系统设计

随着大规模充电设施的接入及其相关分析计算的日益精细化,原有的监控系统无法适应相应的大规模数据处理需求,因此本文提出基于云边协同的充电设施协调控制系统,结合云边协同特点和充电设施控制需求,构建了云端、边缘、充电设施聚合网关功能定位及交互模型,云端对边缘、聚合网关进行统一管理,接收采集信息并对控制系统分析计算服务进行管控和调度,边缘对分布式充电设施进行数据采集和实时控制;云边系统通过Docker容器技术实现服务器资源进行管理,并提出了基于最小变化率的容器部署调度算法实现服务器负载均衡以及资源的高效利用;所提系统实现了大数据通信压力下资源的有效分配,满足电力系统数据采集和多时间尺度控制的需求。最后给出所提系统的应用效果,进一步通过实例验证了Docker容器及其部署调度算法在资源管理方面的适应性和高效性。     

容器技术在科学计算中的应用研究

作为一种新兴的虚拟化技术,容器能够以低廉的资源开销为应用程序和服务提供隔离的运行环境,近年来在持续集成和持续部署、自动化测试、微服务等多种业务场景中获得了广泛应用。在科学计算领域,容器技术的应用也正获得越来越多的关注。借助自身的打包能力及日益壮大的生态系统,容器技术有望为科学计算领域的生产力提升提供助力。文中对容器技术在科学计算中的应用现状进行了调研分析,并根据现有的应用实例讨论了在科学计算中使用容器及相关技术的多种方式。对不同应用模式的分析研究表明,通过提升应用程序的可移植性、改善研究的可重复性、提供非传统应用部署方案、简化云资源调度管理等多种方式,容器及相关技术可以为科学计算领域带来多方面的效率提升。     

容器热迁移优化技术研究

容器虚拟化技术由于轻量级的特性逐渐在云计算中崭露头角.容器热迁移是许多云管理能力的基础,其在最短的宕机时间内,将运行中的容器完整地迁移到另一个物理节点上继续运行.性能是容器热迁移研究的重点,但通过对现有容器热迁移系统的详细分析,本文发现其中仍然存在着一些影响性能的问题,包括转储并行度低、预拷贝策略不收敛以及根文件系统与运行状态迁移并行度低等.针对这些问题,本文分别提出和设计了资源感知的并行转储机制、基于后拷贝策略的运行状态迁移和基于多优先级的传输调度并行算法等优化策略和算法,并基于Docker实现了一个高性能容器热迁移系统Dmigrate.实验结果表明Dmigrate相比于目前最新的研究,平均可有效减少17.05%的宕机时间,总迁移时间平均减少24.33%.