一种适用于Docker Swarm集群的调度策略和算法

Swarm是基于Docker容器的集群管理工具。通过分析研究Swarm整体架构和调度策略,针对集群的资源碎片问题和负载均衡问题,提出一种静态平衡和动态预测相结合的容器调度算法。通过测试,该算法能够减少集群的静态资源碎片,提高集群资源的利用率,并能维持集群的负载均衡。     

基于Docker的云资源弹性调度策略

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。     

云数据中心基于负载权重的负载均衡调度算法

针对现有云数据中心的多维资源利用不均衡问题,提出基于资源负载权重的动态多资源负载均衡调度算法。算法结合服务器各维度资源动态负载情况,构造层次分析法（AHP）判断矩阵来处理多维资源对于负载均衡影响权重大小,在此基础上综合考虑任务资源需求,将任务放置到合适服务器来改善资源利用,实现资源间负载均衡。平台仿真显示新算法可有效提高利用率低的资源的利用效率,在提高整体资源利用率、降低资源间负载不均衡率方面有优势。     

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。     

基于Docker集群的弹性任务调度模型构建

针对Docker集群访问量具有随机性和不确定性的问题,在提出基于多指标灰色负载预测基础上,通过增加或减少应用容器的方式,实现集群任务的弹性调度,实现集群应用性能和负载均衡。实验结果表明,所提出的基于多指标灰色负载预测算法的弹性任务调度策略,可适应web应用的动态变化,保证高负载状态下应用可即时响应,低负载状态下集群的资源利用率最高。     

基于遗传算法的Kubernetes资源调度算法

Kubernetes在优选阶段仅根据节点CPU和内存的利用率来决定节点的分值,这只能保证单节点的资源利用率,无法保证集群资源的负载均衡.针对该问题,提出一种基于遗传算法的Kubernetes资源调度算法,该算法加入了网络带宽和磁盘IO两项评价指标,同时为评价指标赋予不同权重值,并且引入校验字典校验并修复遗传算法生成的新种群中不符合配置的个体.实验结果表明,与Kubernetes默认资源调度策略相比,该算法考虑了集群中的所有节点的资源利用率,在保证集群负载均衡方面有着更好的效果.     

基于Kubernetes的卫星遥感数据容器云平台

随着卫星遥感行业进入大数据时代,传统的数据处理平台日渐难以满足卫星遥感数据快速积累的发展需求,同时也对系统在动态调度资源、易维护、弹性扩展、复杂度可控和灵活部署等方面提出了更高的要求。针对上述问题,文章引入容器技术及Kubernetes容器集群管理系统,设计实现了基于Kubernetes的开源容器云平台,将单个业务系统拆分成多个独立运行在相互隔离容器中的服务,实现了应用服务容器的调度和管理、快速部署和迁移,并以GF7高分卫星数据为例进行验证,验证了容器集群能够有效处理卫星遥感数据,提高了卫星遥感数据处理平台的资源利用率和运维效率;文末结合卫星遥感行业的现状及特点,就容器化应用的前景及面临的困难进行了展望分析。     

基于AHP的Web集群系统负载均衡算法

利用集群技术构建的服务器组在资源利用率上存在较大差异。为此,提出基于层次分析法(AHP)的集群系统负载均衡算法,建立判断矩阵,得到各项评估指标的单项和综合权重。调度器定时接收真实服务器上的4类参数：网络性能,服务器硬件,服务器软件和网络服务类型。根据调度器收到的每一个连接请求,采用动态反馈算法选择负载最小的服务器响应连接请求。实验结果表明,该算法能减少服务器平均响应时间,有效提高集群系统的响应率。     

基于Docker Swarm集群的调度策略优化算法

Swarm是一种对集群中Docker镜像和容器进行管理的工具,其在计算节点权值时可能会得到若干个相同权值的节点.现有的Swarm调度策略只是将这些节点随机分配,由于相同权值节点的资源负载情况并不相同,所以将会造成节点负载不均衡.针对上述问题,本文提出一种动态调度算法对Swarm调度策略进行优化.通过实验,证明增加动态调度算法能够使集群中节点负载更加均衡,同时提高集群的整体资源利用率.     

基于OpenStack的高资源利用率Docker调度模型

在现有OpenStack云平台与Docker容器技术的集成方案中,基于容器初始资源请求的调度模型由于未充分考虑容器运行时的实际资源使用情况,导致资源利用率较低。为满足云计算领域的高资源利用率和低成本需求,构建基于OpenStack云平台的Docker调度模型（DSM）,将其与OpenStack的Keystone、Glance以及Neutron组件的API进行交互,获取创建容器所需的镜像、网络等资源,同时调用Docker Engine提供的API部署容器,对容器生命周期进行高效灵活管控。通过融合初始化模块、资源实时感知模块、容器调度模块、资源实时监测模块和容器迁移模块,并在容器调度模块中利用资源可用度评估与优先级决策调度机制为容器选择最优的计算节点,实现OpenStack云平台中资源的高效利用。实验结果表明,与经典Nova-Docker和Yun集成方案采用的调度模型相比,DSM调度模型在CPU和内存利用率上至少提升38.54、30.17个百分点和38.40、28.69个百分点。     

基于Kubernetes的AI调度引擎平台

文中介绍了基于Kubernetes的AI调度引擎平台的设计与实现, 针对当前人工智能调度系统中存在的服务配置复杂, 集群中各节点计算资源利用率不均衡以及系统运维成本高等问题, 本文提出了基于Kubernetes实现容器调度和服务管理的解决方案. 结合AI调度引擎平台的需求, 从功能实现和平台架构等方面设计该平台的各个模块. 同时, 针对Kubernetes无法感知GPU资源的问题, 引入device plugin收集集群中每个节点上的GPU信息并上报给调度器. 此外, 针对Kubernetes调度策略中优选算法只考虑节点本身的资源使用率和均衡度, 未考虑不同类型的应用对节点资源的需求差异, 提出了基于皮尔逊相关系数 (Pearson correlation coefficient, PCC)的优选算法, 通过计算容器资源需求量与节点资源使用率的互补度来决定Pod的调度, 从而保证调度完成后各节点的资源均衡性.     

基于李雅普诺夫优化的容器云队列在线任务和资源调度设计

为在保证任务服务质量（QoS）的条件下提高容器云资源利用率，提出一种基于李雅普诺夫的容器云队列任务和资源调度优化策略。首先，在云计算服务排队模型的基础上，通过李雅普诺夫函数分析任务队列长度的变化；然后，在任务QoS的约束下，构建资源功耗的最小化目标函数；最后，利用李雅普诺夫优化方法求解最小资源功耗目标函数，获得在线的任务和容器资源的优化调度策略，实现对任务和资源调度进行整体优化，从而保证任务的QoS并提高资源利用率。CloudSim仿真结果表明，所提的任务和资源调度策略在保证任务QoS的条件下能获得高的资源利用率，实现容器云在线任务和资源优化调度，并且为基于排队模型的云计算任务和资源整体优化提供必要的参考。     

集群环境中微服务容器资源特征分析及优化

在集群环境中部署微服务已经成为微服务部署的重要方式.由于不同种类服务对于CPU、内存、磁盘等资源的需求不同,导致集群中的节点产生资源碎片、出现资源消耗倾斜.如何提高集群资源利用率、降低集群能耗,成为继保障服务级别协议(service level agreement, SLA)之后的重大挑战.本文以阿里巴巴集团2021年发布的近两万个微服务的详细跟踪为数据样本,从容器资源使用情况、节点部署特征和资源消耗偏好等多个维度出发,分析其集群资源消耗特征,发现集群中出现了资源消耗倾斜的情况.通过进一步分析节点中容器部署情况发现容器资源分配不合理加剧了这一现象.基于此我们提出了一种使用深度双Q网络的模型,依据上游服务资源需求的实时变化,对容器资源分配进行优化.对比实验结果表明该方法可以在保证服务SLA的情况下有效提高容器资源利用率,改善节点资源消耗倾斜的情况.     

基于双层规划的容器云资源动态配置算法

本文分析容器云资源动态配置决策问题,通过定义容器云资源的调度任务,求解得到容器云资源调度时间;利用容器云资源调度任务的最短时间矩阵,获取容器云资源调度所需的条件。在双层规划条件下,求解容器云资源调度的目标函数和约束函数;考虑到用户的任务情况和云数据中心的云资源状况,在虚拟机上构建一个到物理主机的矩阵,通过构建容器云资源动态配置结果在优化时的目标函数,结合约束条件,实现容器云资源的动态配置。实验结果表明,资源动态配置算法不仅可以提高容器云资源的利用率,还可以减少配置完成时间,具有更好的动态配置性能。     

Kubernetes异构资源细粒度调度策略的设计与实现

在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源从而导致资源竞争。综合考虑异构资源在节点上的分布及其硬件状态,提出一种基于Kubernetes的CPU/GPU异构资源细粒度调度策略。利用设备插件机制收集每个节点上GPU的详细信息,并将GPU资源指标提交给调度算法。在原有CPU和内存过滤算法的基础上,增加自定义GPU信息的过滤,从而筛选出符合用户细粒度需求的节点。针对CPU/GPU节点混合部署的情况,改进调度器的打分算法,动态感知应用类型,对CPU和GPU应用分别采用负载均衡算法和最小最合适算法,保证异构资源调度策略对不同类型应用的正确调度,并且在CPU资源不足的情况下充分利用GPU节点的碎片资源。通过对GPU细粒度调度和CPU/GPU节点混合部署情况下的调度效果进行实验验证,结果表明该策略能够有效进行GPU调度并且避免资源竞争。     

云环境下基于改进遗传算法的虚拟机调度策略

针对云环境下服务器内部多种资源间分配不均衡问题,提出了一种多维资源协同聚合的虚拟机调度算法MCCA。该算法在分组遗传算法的基础上,采用模糊逻辑及基于资源利用率多维方差的控制参量,设计适应度函数指导搜索解空间。算法使用基于轮盘赌法的选择方法,并对交叉和变异等进行了优化,以实现快速有效地获取近似最优解。在CloudSim环境下进行了仿真,实验结果表明该算法对均衡多维资源分配和提高资源综合利用率具有一定的优势。