TDDS:基于虚拟集群系统的任务部署与调度

利用虚拟机的灵活性和快速部署能力,设计并实现了任务部署与调度系统(task deployment and dispatch system,TDDS).TDDS能够根据用户的需求,为用户的计算任务提供可以进行资源配置的集群计算环境,满足了用户对不同操作系统、不同应用程序和不同计算资源的需求.TDDS还使用了负载均衡策略,以提高物理集群资源的利用率.提出了两种虚拟机部署策略,用以加快虚拟集群部署的速度.TDDS尽量控制虚拟机系统镜像的大小和访问频率,以提高部署的效率.实验表明,TDDS系统能够快速灵活地部署用户所需要的计算环境和计算资源,负载均衡的调度策略也切实提高了物理集群处理任务的能力,提高了集群的使用率.     

基于云计算集群扩展中的调度策略研究*

为了达到更为经济的扩展集群的目的,本文从使用云计算扩展集群的角度出发,提出了一种集群扩展的基本构架;描述了两种策略,本地优先策略、云环境优先策略,并根据云计算的特点,提出了一种基于计算强度的新型调度策略。此外,设计了调度器系统,并在不同环境下对每种策略进行了分析比较,得出基于计算强度的调度策略的低成本和较多任务超时的特点。最后,对如何使用云计算扩展本地集群更为经济,进行了分析。     

多集群作业调度系统MCJSS的设计与实现

研究多集群的管理模式,设计支持多集群的用户决策和系统决策两种调度方式,提出基于PBS的多集群作业调度MCJSS架构。利用PBS的扩展接口,实现MCJSS的核心模块,管理多集群作业提交、作业转发和负载信息收集。给出了多集群间基于预测最轻负载转发的调度策略。运用两层负载信息收集策略服务于转发机制,利用组合单项负载的阈值来判断转发时机和目的集群。实验证明,相同的作业在相同规模但是不同组织形式的多集群和单集群组织模式下,多集群的系统吞吐量大于单集群组织模式。     

基于Ceph集群的能耗管理策略研究

数据中心能耗高是云计算发展过程中一个亟待解决的关键问题。建立了一个集群能耗优化模型,并在此基础上提出了一种基于Ceph集群的数据副本放置策略。该策略在考虑集群可用性和容错性的同时,采用了顺序存储和随机存储相结合的存储方法,使得Ceph集群在满足用户SLA需求和保证集群性能的前提下,达到节能的目的。实验结果表明,与原始Ceph集群相比,该数据副本放置策略在保证集群服务质量的同时,使得数据中心耗电量降低了14.3%。     

基于均衡状态阈值的混合Web QoS控制方法

在对服务器集群Web QoS控制基础上,综合考虑请求内容和各服务器性能以及当前整个集群负载平衡状况,设计了一种基于L4/L7双层分配的混合负载平衡调度策略,算法引入了一个反馈环节动态地改变Web服务器的权值,通过负载平衡程度的阈值进行判断,选择不同的调度策略,从而提高了Web集群系统的性能。     

ASAS集群的QoS性能分析

随着Internet的日益发展,Web集群技术越来越受关注,作为集群技术的关键技术之一--QoS控制,关系到集群的性能和易用性.研究了ASAS集群的QoS控制的3种策略:绝对优先级分配策略、阈值优先级分配策略和时间加权分配策略,并以Petri网理论为工具,比较各种控制策略的优越性,得出了各种策略的优缺点.     

面向多用户的集群资源部署策略

集群系统中面向多用户的资源部署策略优先考虑的是资源能够在不同用户之间进行公平分配,同时实现用户之间的资源共享。为了充分利用集群资源,用户以一定的原则通常是采用权重比的方式共用集群资源。该策略并不关心每个用户所获取的资源总量,只关心用户所获取的资源比例是否总是符合原则,这样可以保证空闲资源总是能够被充分利用。该策略包括资源的定额分配和自主申请两部分,以满足用户的需求。同时提出了采用用户占用资源量与占用时间共同作为公平分配依据的策略,以适应更加复杂的情况。     

集群式软件平台敏捷测试

在敏捷开发模式的环境下,对以集群存储业务为导向的集群平台的测试与其他产品的测试有很多不同的地方,需要采用有效的策略和方法。首先介绍了敏捷测试的理论和敏捷测试传统的增量模型,在此基础上结合集群平台敏捷开发中实际的问题提出了适合平台敏捷测试的增量模型和对集群平台用户故事测试时用到的仿真环境的搭建和有效的测试方法。     

基于分布式文件系统HDFS的节能算法

与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高.     

基于集群规模调整的节能存储策略

根据谷歌数据中心研究报告,传统数据中心存在高能耗、低利用率的问题。通过研究集群数据块访问规律,提出一种基于集群规模调整的Hadoop分布式文件系统（HDFS）节能存储策略,实现HDFS高效节能存储。策略主要在集群区域划分、数据块迁移策略优化、缓存机制等方面作出了改进。实验结果表明：使用该节能策略的HDFS比传统HDFS节能35%~40%,其中0.3%的访问需要唤醒服务器,同时引入缓存策略对集群的性能提高了5.1%。     

基于纠删码和动态副本策略的HDFS改进系统

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。     

基于在线负载预测的动态集群节能配置策略

动态集群配置中的调节方式大多基于特定的物理实验模型而非数学模型描述。针对上述问题,提出基于预测的动态集群配置策略,根据网络中服务请求的历史信息,采用最小均方误差预测未来时刻服务请求情况,根据负载请求与集群处理能力决定服务器规模的增减,动态调节服务器集群中计算机的开启与关断。实验结果证明了该调度策略的可行性和优越性。     

生产设备合作关系网络的建模与分析

区域产业集群中的生产资源能形成多样复杂的合作关系。探讨如何挖掘和利用这些关系来规划和控制集群内部元素的合作,以提供高效的云制造生产服务。采用广义社会合作网络模型描述集群中的制造合作关系,提出构建设备合作网络(FCN)的方法;面向不同的设备选择策略(随机、均衡、带偏好随机及带偏好均衡)设计FCN动态增长过程;基于网络规模、节点度分布、项目度分布和平均最短距离等指标对一个FCN实例的统计特性展开分析,指出均衡策略具有比随机策略更大的网络规模,而随机策略具有较明显的无标度和小世界特性;进而提出基于设备动态加权和子任务集中处理的设备选择优化策略。     

MapReduce集群环境下的数据放置策略

MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了MapReduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前MapReduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了MapReduce集群环境下数据放置策略的下一步研究工作.     

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。     

集群协同制造服务匹配策略的计算实验比较研究

针对如何准确评估各种服务匹配策略、选择出最优的服务策略,以实现集群协同制造过程中的动态环境下的服务供需匹配这一问题,提出了一种集群协同制造服务匹配策略计算实验方法。该方法从三个方面对集群协同制造服务匹配策略进行了深入研究,包括服务匹配策略的设计（只考虑服务资源QoS（quality of service）属性变化的服务匹配策略、只考虑客户需求变化的服务匹配策略、综合考虑服务资源QoS属性变化及客户需求变化的服务匹配策略）、集群协同制造实验系统模型的构建、服务匹配策略的分析评估。实验结果表明,在供需稳定及供需波动的市场环境下,综合考虑服务资源QoS属性变化及客户需求变化的服务匹配策略表现最优,能够很好地实现动态环境下制造服务的供需匹配。     

基于动态权重的一致性哈希微服务负载均衡优化

随着互联网技术的发展,互联网服务器集群的负载能力正在面临着前所未有的挑战,实现合理的负载均衡策略尤为重要。为了使负载均衡达到最佳的效率,可以使用一致性哈希算法来对集群负载均衡系统进行负载分配。针对微服务架构的服务器集群场景,对该集群负载均衡的特性进行分析,提出一种基于虚拟节点的一致性哈希环的设计与分割方法及基于动态权值的分配策略,在一致性哈希算法的基础上,实现服务集群之间的负载转移,解决微服务集群中服务负载增多,导致服务之间负载不均衡的问题,防止其中某些服务因为负载压力过大,导致服务崩溃的问题。经实验表明,与传统的一致性哈希算法相比,改进后的负载均衡策略负载不均衡的概率是原来的31%;并且动态分配策略具有良好的负载均衡性能,有效地解决了微服务分布式架构的负载均衡问题。     

数据库集群的一种负载均衡策略的设计

本文根据数据库集群的具体情况和实际需求,在分析LVS中各种负载调度策略的基础上提出了一种新的动态的负载均衡策略。该策略不仅解决了数据库集群的任务分配问题,还动态的决定数据库集群中的主数据库服务器和从数据库服务器。     

应用服务器集群能耗与性能平衡的在线实时优化

如何根据负载状况实时优化应用服务器集群的部署,以在能耗与性能之间取得平衡是急需解决的重要问题.对此,提出一种应用服务器集群能耗与性能平衡的在线实时优化策略,优化目标是最小化能耗与请求丢弃速率的加权值,优化内容包括各服务器的开关和CPU频率.该策略包括小规模集群优化(SSCOpt)和大规模集群优化(LSCOpt)两种方案:前者定义大量的变量,将集群优化描述成线性混合整数规划问题,然后采用软件包求解;后者通过分析能耗和负载模型的特性定义很少的变量,将集群优化描述成非线性混合整数规划问题,并提出一种基于花朵授粉算法和变量融合的求解算法.测试结果表明:当集群规模较小时,SSCOpt方案能快速求得全局最优部署;当集群规模较大时,LSCOpt方案能快速求得很好的次优部署.     

基于Torque的新型作业调度策略的研究

在高性能计算集群中,优秀的作业调度软件和作业调度策略对系统的高效运行起着至关重要的作用,目前针对作业调度策略的研究多集中在单个策略的深入挖掘,少有整合多个策略考虑的文章。针对集群作业的运行特点,提出了一种基于节点负载情况自定义优先级回填的调度策略,可以有效提高性能和计算集群的运行效率。