基于OpenStack的高资源利用率Docker调度模型

在现有OpenStack云平台与Docker容器技术的集成方案中,基于容器初始资源请求的调度模型由于未充分考虑容器运行时的实际资源使用情况,导致资源利用率较低。为满足云计算领域的高资源利用率和低成本需求,构建基于OpenStack云平台的Docker调度模型（DSM）,将其与OpenStack的Keystone、Glance以及Neutron组件的API进行交互,获取创建容器所需的镜像、网络等资源,同时调用Docker Engine提供的API部署容器,对容器生命周期进行高效灵活管控。通过融合初始化模块、资源实时感知模块、容器调度模块、资源实时监测模块和容器迁移模块,并在容器调度模块中利用资源可用度评估与优先级决策调度机制为容器选择最优的计算节点,实现OpenStack云平台中资源的高效利用。实验结果表明,与经典Nova-Docker和Yun集成方案采用的调度模型相比,DSM调度模型在CPU和内存利用率上至少提升38.54、30.17个百分点和38.40、28.69个百分点。     

基于Docker的云资源弹性调度策略

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。     

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。     

基于Docker Swarm集群的调度策略优化算法

Swarm是一种对集群中Docker镜像和容器进行管理的工具,其在计算节点权值时可能会得到若干个相同权值的节点.现有的Swarm调度策略只是将这些节点随机分配,由于相同权值节点的资源负载情况并不相同,所以将会造成节点负载不均衡.针对上述问题,本文提出一种动态调度算法对Swarm调度策略进行优化.通过实验,证明增加动态调度算法能够使集群中节点负载更加均衡,同时提高集群的整体资源利用率.     

面向Docker容器的动态负载算法

为了提高Docker容器服务器集群的抗并发性和缩短平均响应时间,文中设计了一种动态负载容器服务器的算法DLOAD(Dynamic Loading Algorithm).该算法在WRR负载算法的基础上引用了实时权值的概念,弥补了WRR算法在权值给定方面的不足,优化了Docker容器服务器的负载算法.DLOAD算法将记录服务器的资源信息,将容器连接数占比、CPU利用率、内存利用率、网络IO占比、磁盘IO占比和平均响应时间作为算法参数,计算出Docker容器服务器的实时权值,并将实时权值记录到负载服务器的权值表中.负载服务器查询权值表后调用WRR算法,推荐最优的Docker容器服务器ID进行负载.通过仿真实验,从Docker容器服务器的平均响应时间和吞吐量这两个方面对改进前后的算法进行分析和对比,得出改进后的DLOAD算法能够更加高效地缩短服务器的平均响应时间和改善抗并发性,有效提升了容器服务器的性能.     

基于CoreOS面向负载整合的集群调度研究

CoreOS是基于Docker的新型容器化集群服务器操作系统,发展迅速,已经得到OpenStack、Kubernetes、Salesforce、Ebay等主流云服务商的支持,云环境中负载是动态的,相应的其资源需求是动态变化的,这给集群资源高效利用带来了挑战,静态预分配峰值资源的策略带来云端资源的巨大浪费,同时空转的计算浪费大量能耗.本文提出的面向负载整合的集群调度系统（简称LICSS）实时监控集群负载分布情况,调度时使用紧凑式调度策略分配计算节点,运行时利用任务迁移技术对负载进行动态整合,实现及时收集释放空转资源降低资源能耗浪费的目的.LICSS系统设计实现了节点负载度量、任务度量、负载整合算法,并测算出节点自适应负载阈值.实验表明,LICSS系统能够根据不同时段集群负载动态变化情况对负载进行有效整合,提高了12.2%的平均资源利用率,并且基于任务整合在低负载时段触发富余节点休眠降低集群能耗.     

大数据流式计算框架Heron环境下的流分类任务调度策略

新型大数据流式计算框架Apache Heron默认使用轮询调度算法进行任务调度，忽略了拓扑运行时状态以及任务实例间不同通信方式对系统性能的影响。针对这个问题，提出Heron环境下流分类任务调度策略（DSC-Heron），包括流分类算法、流簇分配算法和流分类调度算法。首先通过建立Heron作业模型明确任务实例间不同通信方式的通信开销差异；其次基于流分类模型，根据任务实例间实时数据流大小对数据流进行分类；最后将相互关联的高频数据流整体作为基本调度单元构建任务分配计划，在满足资源约束条件的同时尽可能多地将节点间通信转化为节点内通信以最小化系统通信开销。在包含9个节点的Heron集群环境下分别运行SentenceWordCount、WordCount和FileWordCount拓扑，结果表明DSC-Heron相对于Heron默认调度策略，在系统完成时延、节点间通信开销和系统吞吐量上分别平均优化了8.35%、7.07%和6.83%；在负载均衡性方面，工作节点的CPU占用率和内存占用率标准差分别平均下降了41.44%和41.23%。实验结果表明，DSC-Heron对测试拓扑的运行性能有一定的优化作用，其中对接近真实应用场景的FileWordCount拓扑优化效果最为显著。     

应用感知的容器资源调度优化方法

资源调度作为容器管理的关键技术之一,已有研究工作或满足公平性目标,将工作负载平均调度到所有物理节点上,关注吞吐率指标;或满足性能目标,将工作负载关联的多个容器载体调度到相同或相近的物理节点上,关注响应时间.提出应用感知的容器资源调度方法,采用多队列模型兼顾公平性和性能目标.实验结果显示,对于典型的大数据处理场景,本方法和已有公平性调度方法具有相当的吞吐率;对于典型的事务型应用场景,本方法相对于已有的公平性调度方法,事务型应用的延迟最多可减少100%.     

基于带宽预测与自适应压缩的容器迁移方法

随着数字化技术的发展与工业自动化应用范围的扩大，在万物互联环境下边缘设备数量快速增长，这些设备产生的数据量激增，导致网络带宽逐渐成为边缘计算的瓶颈。针对移动边缘服务迁移过程中传输数据量过大以及边缘节点网络环境不稳定等问题，结合带宽预测和数据压缩技术，提出一种面向Docker容器的服务迁移方法。通过预测网络带宽动态调整数据压缩算法的压缩速度以及压缩强度，从而充分利用网络带宽和多核处理器的计算能力，最大限度地减少网络传输的数据量以及服务的停机时间。实验结果表明，该方法对网络环境变化具有较强的适应性，能有效平衡数据传输和压缩计算的时间开销，提高服务迁移性能，相比于容器本地服务迁移、基于Docker基础镜像的服务迁移等方法，迁移时间、传输数据量和停机时间至少减少了23.7%、19.4%和17.6%。     

网络功能虚拟化环境中大规模资源状态监测策略

在网络功能虚拟化（NFV）环境中,为了提高网络中基础设施资源利用率,高效动态部署服务功能链,编排管理域需要对网络中底层资源及虚拟网络功能状态进行实时监测,但实时监测会产生大量通信开销。提出了网络通信开销最小化的智能分布式监测策略,通过改进的标签传播算法智能划分子网并选择代理监测节点,实现了对资源和虚拟功能状态的高效监测,并使监测信息通信开销最小。仿真结果表明,所提监测策略使网络中监测信息通信开销降低约13%。图4 不同算法下子网节点数量方差图     

基于容器的Web运行环境轻量级虚拟化方法

Web运行环境、Web服务及Web应用的虚拟化是减轻Web操作系统安全风险的一种有效方法,然而Web运行环境的虚拟化仍然存在不少挑战,如：执行时间、资源负载和兼容性等。为解决Web操作系统在安全性、执行时间、资源负载和兼容性方面的问题,提出了一种Web运行环境轻量级虚拟化方法,采用Docker容器技术实现进程级别的隔离。本虚拟化方法可在一个基本内核上支持运行多种Web运行环境的容器。此外,为了减轻容器创建负载,提出了容器启动机制;为减轻系统资源负载,进行了系统的轻量化处理。在嵌入式设备的实验结果表明,该虚拟化方法在执行时间、资源负载及兼容性方面都具有较优表现。     

High-performance docker integration scheme based on OpenStack

As an emerging technology in cloud computing Docker is becoming increasingly popular due to its high speed high efficiency and portability. The integration of Docker with OpenStack has been a hot topic in research and industrial areas e.g. as an emulation platform for evaluating cyberspace security technologies. This paper introduces a high-performance Docker integration scheme based on OpenStack that implements a container management service called Yun. Yun interacts with OpenStack’s services and manages the lifecycle of the container through the Docker Engine to integrate OpenStack and Docker. Yun improves the container deployment and throughput as well as the system performance by optimizing the message transmission architecture between internal components the underlying network data transmission architecture between containers and the scheduling methods. Based on the Docker Engine API Yun provides users with interfaces for CPU memory and disk resource limits to satisfy precise resource limits. Regarding scheduling Yun introduces a new NUMA-aware and resource-utilization-aware scheduling model to improve the performance of containers under resource competition and to balance the load of computing resources. Simultaneously Yun decouples from OpenStack versions by isolating its own running environment from the running environment of OpenStack to achieve better compatibility. Experiments show that compared to traditional methods Yun not only achieves the integration of OpenStack and Docker but also exhibits high performance in terms of deployment efficiency container throughput and the container’s system while also achieving load balancing.

     

Docker容器化下的遥感算法程序集成方法

目的 近年来，随着我国遥感技术的快速发展，遥感数据呈现出大数据的特点，遥感数据的时效性增强，针对新环境下遥感算法编程语言众多，程序运行和部署环境需求多样，程序的集成和部署困难的问题，提出了一种遥感算法程序快速封装与Docker容器化系统集成架构。方法 该系统架构主要包括：1）遥感算法程序的镜像自动化封装制作；2）镜像的分发管理，达到算法程序镜像的共享；3）遥感信息产品生产流程的容器化编排服务，将相关联的算法程序镜像串联，以满足特定遥感信息产品的生产；4）容器的调度运行，调用镜像，实现特定遥感产品的容器化运行。本文在上述容器化系统集成架构下，以Landsat5数据的NDVI、NDWI信息产品的生产作为容器化生产实例，并同物理机、KVM （kernel-based virtual machine）虚拟机在运行时间、内存占用量、部署效率等性能进行了对比。结果 Docker容器虚拟化环境下的产品生产和物理机环境下在运行时间和内存占用量上几无差别，优于KVM虚拟机。Docker容器虚拟化环境和KVM虚拟机环境下在部署上能够节省大量时间，相比于物理机环境能够提高部署效率。结论 容器化的系统集成方式能够有效解决遥感算法程序集成和部署困难的问题，有利于遥感算法程序的复用和流程的共享，提高系统集成效率，具备较强的遥感数据实时快速处理能力。     

基于LKM的Docker资源信息隔离方法

针对Docker容器目前存在的内存资源信息尚未隔离的问题,设计了一种基于LKM技术的资源信息隔离方法.该方法通过LKM的形式利用系统调用劫持来修改读取到的procfs文件内容,从而实现了Docker中的容器资源信息隔离的功能,使得在其上运行的容器可以不用作任何修改就能达到资源信息隔离的目的.最后通过实验证明资源信息隔离的功能是可用的.     

基于学习的容器环境Spark性能监控与分析

Spark计算框架被越来越多的企业用作大数据分析的框架,由于通常部署在分布式和云环境中因此增加了该系统的复杂性,对Spark框架的性能进行监控并查找导致性能下降的作业向来是非常困难的问题。针对此问题,提出并编写了一种针对分布式容器环境中Spark性能的实时监控与分析方法。首先,通过在Spark中植入代码和监控Docker容器中的API文件获取并整合了作业运行时资源消耗信息;然后,基于Spark作业历史信息,训练了高斯混合模型（GMM）;最后,使用训练后的模型对Spark作业的运行时资源消耗信息进行分类并找出导致性能下降的作业。实验结果表明,所提方法能检测出90.2%的异常作业,且其对Spark作业性能的影响仅有4.7%。该方法能减轻查错的工作量,帮助用户更快地发现Spark的异常作业。     

SaaS云环境下基于容器指纹匿名的网络欺骗方法

随着云计算技术在各重点行业领域的普及推广和企业级SaaS业务规模不断扩大,云环境的安全问题也日益突出.针对目标云资源的定位是网络攻击的前置步骤,网络欺骗技术能够有效扰乱攻击者网络嗅探获得的信息,隐藏重要网络资产的指纹信息(服务端口、操作系统类型等).然而由于虚假指纹和真实设备之间往往存在对应关系,高级攻击者可以通过多维...     

基于Filebeat自动收集Kubernetes日志的分析系统

Docker容器产生的日志分散在不同的相互隔离的容器中,并且容器具有即用即销的特点,传统的解决方式是将日志文件挂载到宿主机上,但是容器经常会漂移,给日志的统一查看带来挑战,并且传统的Docker容器集群日志分析系统存在扩展性弱、效率低下等问题.本文采用Kubernetes实现容器管理、服务发现及调度,使用Filebeat采集容器及宿主机上的日志文件,并使用Redis作为缓存,Logstash转发,使用主流的开源日志收集系统ELK实现日志的存储、查看、检索.该系统具有可靠性、可扩展性等特点,提高运维人员的工作效率.     

POP:一个基于微服务架构的在线编程系统

随着云计算的发展,基于云端的编程模式越来越受到开发者的青睐。在线编程系统与PaaS平台相结合,可以大大简化应用开发过程,为开发者提供便利。Docker的出现推动了PaaS平台的迅猛发展,Docker的种种特性给予了在线IDE更加理想的开发部署应用的环境。POP(Public Online Programming) 是一种利用Docker技术实现的基于微服务架构的公共在线编程系统。POP通过对Docker资源的合理调度管理,使得在线编程系统在部署、调试和运行各类应用时能够更加节省资源和时间。     

面向云环境的Flink负载均衡策略

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。