一种基于深度学习的云平台弹性伸缩算法

为了满足性能要求，降低资源消耗，研究人员提出了许多伸缩调度的算法和方案。但是，它们中的大多数只作用在服务器或应用程序的当前状态，无论是资源实际的调度效果还是算法方案的适用性上都受到了影响和限制。本文提出一种基于长短期记忆网络和BP神经网络的面向应用的弹性伸缩算法。该算法包括工作负载预测模型、响应时间预测模型和资源调整策略模型，能够对云计算应用的工作负载和响应时间进行预测并给出合适的资源调度策略。为了提高工作负载预测的准确度，本文将卷积运算和长短期网络结合起来，更好地提取数据特征并进行准确地预测。而为了提高模型收敛速度,并有效避免模型过拟合的问题，本文则在BP神经网络中使用批标准化运算。在验证实验中，该算法工作负载预测的平均绝对百分误差降低到3.4×10-4，响应时间预测和调度策略模型也达到了不错的效果。在实际平台运行中，该弹性伸缩算法还能够根据Docker容器云平台实际需要提供合适的计算资源调度策略。实验结果表明，相比较其他模型，该弹性伸缩算法在工作负载预测和云平台计算资源调整方面具有较好的性能。     

云应用分类与基于预测的细粒度云资源提供

针对部署在云中的应用多而繁杂并且不同的应用对特定的资源呈现不同的敏感性问题,提出了一种基于主模式方法的云应用分类架构,能够比较精确地将应用分为CPU密集型、内存密集型、网络密集型和I/O密集型等类型,从而能够更好地对云中的资源进行调度;对于云中的应用对资源的消耗,提出了一种基于差分自回归移动平均（ARIMA）模型的预测算法,能够以低的预测误差（高预测平均误差7.59%,低预测平均误差6.06%）对消耗资源预测;对传统的基于虚拟化的应用云架构进行适当的修改,能够细粒度地应对应用的自动扩张,从理论上解决了基于虚拟机的资源提供的不灵活以及低效的问题。     

基于排队理论的容器云弹性伸缩策略研究

弹性伸缩技术是灾害应急云计算中心的关键技术之一，基于合理的伸缩策略调整服务单元数量，有效解决高并发场景下应用的稳定性和性能等问题。Kubernetes作为目前主流的容器云管理平台，内置的HPA弹性伸缩策略，可能存在着资源供应过度和供应不足等问题。针对这一问题，提出了一种基于Kubernetes的容器云弹性伸缩策略ESBQT，利用排队理论构建满足平均请求响应时间最小约束条件下的Pod服务单元数供给优化模型。实验测试表明，ESBQT策略面临大流量、高并发请求时，资源供给更加合理，有效保证了应用的性能和稳定性。     

一种BP神经网络和遗传算法混合的云平台负载 预测方法

在云计算提供高效,便捷等强大服务的背后,是日益攀升的能耗问题。准确的预测云平台的负载(如CPU,内存的使用)在任务调度,云能效方面具有重要意义。在以往研究中,线性自回归算法在预测请求资源的粒度上存在不足,本文提出一种基于BP神经网络与遗传算法混合的负载预测方法,结合遗传算法良好的全局搜索能力与神经网络强大的非线性拟合能力,建立CPU资源的请求预测模型。实验通过Google的云平台数据作为训练,测试集。实验结果表明该方法有效的预测了CPU资源请求量,进而可以在此基础上调整服务资源,实现绿色调度。     

面向云环境的集群资源模糊聚类划分算法的优化

传统的串行模糊聚类分析算法在应对高维矩阵运算时存在运算量大、运算效率低等问题,难以满足云环境中集群资源调度的时效性要求。为此,在基于等价关系的模糊聚类算法基础上对传递闭包法进行优化,提出一种基于多线程的云资源模糊聚类划分并发算法,并将其应用于Hadoop调度器的策略改进。仿真实验结果表明,优化策略有助于减少平方法求解模糊等价矩阵的计算量,所设计的并发算法能够有效解决中小规模云集群资源聚类的运算瓶颈问题,且具有较好的加速比。为了解决现有Hadoop调度器存在的异构性问题,对该优化并发算法进行了理论分析,结果表明它有助于解决异构性带来的调度难题。     

基于PF-LSTM的云资源预测

随着云资源集群规模的发展,应用的请求也随之增多,为对应用的资源请求做出及时响应,需要对应用的资源请求做出提前预测.对于云资源时间序列的预测问题,结合基于概率预测(probabilistic forecast)和改进的多层长短时记忆网络(LSTM)的云资源预测模型(PF-LSTM)进行研究.实验结果表明,与其它3种预测算法进行对比,PF-LSTM对于突发负载的预测效果要更好,且预测误差要更低.     

在线云存储服务的流量管理研究

云存储是云计算应用的一个重要分支,有效利用数据中心的带宽资源,设计高效、均衡、可扩展性良好的带宽资源管理和流量负载均衡算法十分重要。在云存储服务典型应用Dropbox的架构下,可设计最小带宽优先的贪心算法和二次随机选择算法来实现负载均衡,并将其和流量预测、带宽预留技术结合在一起,实现一套流量负载均衡和带宽预留方案。贪心算法的负载均衡技术能够取得良好的性能,但是复杂度高、系统开销较大、可扩展性较差;二次随机选择算法复杂度低并且显著减少了系统通信开销。通过Dropbox真实流量数据和大规模仿真数据的实验,表明二次随机选择算法能够实现接近于贪心算法性能的均衡流量调度。基于预测的带宽预留技术保证了服务质量,提高了网络资源利用率。     

基于预测的数据中心间混合流量调度算法

为解决在线流量和离线流量共用一个数据中心传输网络,且2种类型的流量在链路中的分配模式固定不变而导致的链路利用率低的问题,提出了一种基于在线流量预测的离线流量调度方式.首先使用结合了 EWMA方法和贝叶斯拐点检测算法的Sliding-k算法对链路中需要优先保障的在线流量进行预测,使预测既能在网络环境突然变化时灵敏响应,又能在网络平稳时减少不必要的重调整.根据预测结果计算出离线流量的可用剩余空间,实现动态的带宽分配之后,使用能够同时考虑流量截止时间和流量大小2个维度的SEDF算法对离线流量进行调度.实验结果表明:Sliding-k能够同时满足网络突变和网络无变化情况下的预测需求,并且能够提高传统EWMA方法的准确率,它和SEDF的结合能够提高数据中心链路的利用率.     

应用n-LSTM的云平台任务CPU负载预测方法

云平台任务的CPU负载预测有助于云平台资源的优化配置,以改善资源利用率.它是有效管理云资源的重要手段.为提高任务CPU负载预测精度,本文主要做了以下工作：1)利用热度图提取用于进行CPU负载预测的资源使用特征;2)设计并实现了一种基于n-LSTM的云平台任务的CPU负载预测方法DPFE-n-LSTM;3)分别在阿里云平台数据集和Google云平台数据集上进行了实验,结果表明,相对于目前已经提出的CPU负载预测模型BP、LSTM和CNN-LSTM,DPFE-n-LSTM方法具有更好的预测性能.     

基于BP神经网络的气象云资源调度系统

人工调度气象云资源会造成资源浪费。本文设计一种基于BP神经网络的气象云资源调度系统。该系统使用BP神经网络学习虚拟机负载历史数据,并对其进行预测;基于预测的虚拟机负载,设计一种面向多类资源的虚拟机非增排序策略;使用首次适应算法对排序后的虚拟机进行云资源调度。该系统在江西省气象云平台中进行了实验和功能验证。     

基于Kriging代理模型的动态云任务调度方法

任务调度在云计算环境中发挥着重要作用。提出一种基于Kriging代理模型的动态云任务调度方法。通过对云任务在不同资源组合下的性能表现进行Kriging代理模型建模并优化,从而得到对应于该云任务的最优资源分配方案;利用云平台的API,可动态对该云任务实施资源调度。基于OpenStack开源云平台,对两个工程计算应用进行了任务调度性能测试,结果表明该方法可有效动态调整云任务中的资源配给,按需按优对平台中的云任务进行资源调度。     

面向移动云计算的自适应虚拟机调度算法

随着移动云计算的快速发展和应用普及,如何对移动云中心资源进行有效管理同时又降低能耗、确保资源高可用是目前移动云计算数据中心的热点问题之一.本文从CPU、内存、网络带宽和磁盘四个维度,建立了基于多目标优化的虚拟机调度模型VMSM-EUN(Virtual Machine Scheduling Model based on Energy consumption,Utility and minimum Number of servers),将最小化数据中心能耗、最大化数据中心效用以及最小化服务器数量作为调度目标.设计了基于改进粒子群的自适应参数调整的虚拟机调度算法VMSA-IPSO(Virtual Machine Scheduling Algorithm based on Improved Particle Swarm Optimization)来求解该模型.最后通过仿真实验验证了本文提出的调度算法的可行性与有效性.对比实验结果表明,本文设计的基于改进粒子群的自适应虚拟机调度算法在进行虚拟机调度时,能在降低能耗的同时提高数据中心效用.     

Optimization of cloud computing task execution time and user QoS utility by improved particle swarm optimization

In order to optimize the quality of service (QoS) and execution time of task, a new resource scheduling based on improved particle swarm optimization (IPSO) is proposed to improve the efficiency and superiority. In cloud computing, the first principle of resource scheduling is to meet the needs of users, and the goal is to optimize the resource scheduling scheme and maximize the overall efficiency. This requires that the scheduling of cloud computing resources should be flexible, real-time and efficient. In this way, the mass resources of cloud computing can effectively meet the needs of the cloud users. Field Programmable Gate Arrays (FPGA), high performance and energy efficiency in one field. Most of them would have been the particle algorithm. The current technological development is still in-depth at super-resolution image research at an unprecedentedly fast pace. In particular, systemic origin applications get a lot of attention because they have a wide range of abnormal results. The scientific resource scheduling algorithm is the key to improve the efficiency of cloud computing resources distribution and the level of cloud services. In addition, the physical model of cloud computing resource scheduling is established. The performance of the IPSO algorithm applied to cloud computing resource scheduling is analysed in the design experiment. The comparison result shows that the new algorithm improves the PSO by taking full account of the user's Qu's requirements and the load balance of the cloud environment. In conclusion, the research on cloud computing resource scheduling based on IPSO can solve the problem of resource scheduling to a certain extent.     

基于社会力群智能优化算法的云计算资源调度

为了提高云计算资源的调度效率,提出了一种基于社会力群智能优化算法的云计算资源调度方法.首先将云计算资源调度任务完成时间最短作为社会力群智能优化算法的目标函数,然后通过模拟人群疏散过程中的自组织、拥挤退避行为对最优调度方案进行搜索,最后采用仿真实验对算法性能进行测试.结果表明,相对于其它云计算资源调度方法,该方法可以更快地找到最优云计算资源调度方案,使云计算资源负载更加均衡,提高了云计算资源的利用率.     

基于李雅普诺夫优化的容器云队列在线任务和资源调度设计

为在保证任务服务质量（QoS）的条件下提高容器云资源利用率，提出一种基于李雅普诺夫的容器云队列任务和资源调度优化策略。首先，在云计算服务排队模型的基础上，通过李雅普诺夫函数分析任务队列长度的变化；然后，在任务QoS的约束下，构建资源功耗的最小化目标函数；最后，利用李雅普诺夫优化方法求解最小资源功耗目标函数，获得在线的任务和容器资源的优化调度策略，实现对任务和资源调度进行整体优化，从而保证任务的QoS并提高资源利用率。CloudSim仿真结果表明，所提的任务和资源调度策略在保证任务QoS的条件下能获得高的资源利用率，实现容器云在线任务和资源优化调度，并且为基于排队模型的云计算任务和资源整体优化提供必要的参考。     

基于云计算的海量碎片资源动态调度仿真

传统的资源调度方法处理的碎片资源偏散乱,对静态调度效果较好,但资源动态调度耗时长。提出基于云计算的海量碎片资源动态调度方法。量化处理海量碎片资源,并计算碎片资源对应的权值,判断碎片资源调用的优先级。依据碎片资源的优先级计算结果,利用云计算技术重组海量碎片资源。发布资源分配调度任务,确定资源调度的初始位置和速度,最后通过调度信息素更新、资源动态循环迭代控制和决策调度区间自适应调整三个步骤,实现海量碎片资源的动态调度。经过实验对比得出结论:传统的调度方法调度任务的平均时间为520秒,而基于云计算的海量碎片资源动态调度方法的平均消耗时间为350秒,相比之下节省了170秒,资源利用率较高。     

云计算环境下资源调度系统设计与实现

在云计算环境下,对开放的网络大数据库信息系统中的数据进行优化调度,提高数据资源的利用效率和配置优化能力;传统的资源调度算法采用资源信息的自相关匹配方法进行资源调度,当数据传输信道中的干扰较大及资源信息流的先验数据缺乏时,资源调度的均衡性不好,准确配准度不高;提出一种基于云计算资源负载均衡控制和信道自适应均衡的资源调度算法,并进行调度系统的软件开发和设计;首先构建了云计算环境下开放网络大数据库信息资源流的时间序列分析模型,采用自适应级联滤波算法对拟合的资源信息流进行滤波降噪预处理,提取滤波输出的资源信息流的关联维特征,通过资源负载均衡控制和信道自适应均衡算法实现资源调度改进;仿真结果表明,采用资源调度算法进行资源调度系统的软件设计,提高了资源调度的信息配准能力和抗干扰能力,计算开销较小,技术指标具有优越性。     

基于容器技术的云计算资源自适应管理方法

云计算的发展使得越来越多的软件应用选择云平台作为部署平台。为了应对动态变化的工作负载、应用场景和服务质量目标,应用提供商希望能以一种可伸缩的方式对云计算资源进行动态调整。基于虚拟机的资源管理较为重载,难以实现细粒度的资源动态调整与混合云中跨平台的服务快速迁移。容器技术在一定程度上弥补了虚拟机的不足,然而传统的资源管理方法在诸多方面并不十分适用于容器技术。针对这一问题,提出了基于容器技术的云计算资源自适应管理方法,设计了更适用于容器的资源架构方案与资源之间的调度方式。与传统的线性建模方法不同,所提方法使用非线性函数对云计算资源进行更加精确的建模,同时用遗传算法进行参数调优,使得自适应调整响应更快、总体性能更好。所提方法还针对不同容器多维度的异构性,合理分配容器部署位置,提高物理资源利用率。此外,所提方法结合了容器技术多方面的底层特性,在分配负载等方面进行适应性调整。最后通过实验分析初步确认了所提方法的有效性。