一种改进的动态反馈负载均衡算法

在集群系统中,负载均衡算法是影响系统性能的关键因素之一.为了进一步提高集群系统的性能,有必要对负载均衡算法进行优化.通过对最小连接算法和DFB(Dynamic Feed-Back)算法的详细分析,提出了一种改进的动态反馈负载均衡算法.该算法通过收集每台服务器的实时性能参数,动态地计算出各服务节点的分配概率,并由此决定用户请求分配给哪一个服务节点.通过对上述三种算法性能的测试,得出了该算法能够有效提高集群系统性能的结论.     

基于服务分类和性能监测的负载均衡研究

负载均衡在集群系统中的作用日益重要,而现有算法的效率不高、部署复杂的原因限制了其更进一步发展。通过分析不同类型的服务请求对服务器造成不同负载,结合监测服务器的CPU和内存利用的即时性能,在克服了现有负载均衡算法的一些缺陷基础上提出了一种简单稳定的基于服务分类和性能监测算法,并通过Web压力测试实验比较了该算法在实际应用中的均衡性能。结果验证了其在服务器集群系统有大的访问请求量时有突出性能,能够使集群系统达到良好的负载均衡。     

基于SED的自适应负载均衡研究

负载均衡是提高集群系统性能的重要技术,负载均衡技术可以在当前的网络应用结构上有效提高服务器处理能力,使系统在现有的结构下能够满足更多的用户同时访问所提供的服务,负载均衡算法是集群任务分配的核心。分析了影响服务节点性能的主要因素,基于SED算法提出了一种负载均衡的自适应机制,根据服务节点的性能状况自动调整权值。在Linux平台下进行了实验,测试结果显示该算法优于静态算法。     

基于mean-variance的服务集群负载均衡方法

大量并发请求任务进行分配时,负载调度机制是通过最小化响应时间及最大化节点利用率实现网络中节点的负载均衡,在基于遗传算法的负载均衡算法中,适应度函数设计对服务集群负载均衡效率产生重要的影响.对此提出了一种基于mean-variance的服务集群负载均衡方法对适应度函数进行优化,采用投资组合选择模型mean-variance进行最小化响应时间,以得到每个服务器资源利用率的权重,从而获得最优的分配组合,进而提高适应度函数的准确性和有效性.在不同服务环境下与其他模型进行比较,仿真结果表明,本文的负载均衡算法在节点利用率和响应时间方面使服务集群得到了更好的均衡.     

网络负载均衡的控制理论及实践战略

网络负载均衡技术NLB（Network Load Balancing）采用完全分配算法来为集群中的服务器分配进入的访问流量,当集群中的某台服务器失效时,NLB会自动转发数据到其他可用的服务器上。负载均衡由多台服务器以对称的方式组成一个服务器集合,每台服务器都具有等价的地位,都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术,将外部发送来的请求均匀分配到对称结构中的某一台服务器上,而接收到请求的服务器独立地回应客户的请求。均衡负载能够平均分配客户请求到服务器列阵,籍此提供快速获取重要数据,解决大量并发访问服务问题。     

SOA中一种带有预测功能的自适应负载均衡算法

在面向服务架构（SOA）中,针对目前负载均衡算法对于延时期间的负载波动情况自适应性及预测性较差的问题,提出一种改进的带有预测功能的自适应负载均衡算法．当工作负载到达率和服务特征发生变化时自动调整负载参数,并对后续请求的负载权重及分配情况进行预测．实验结果表明,该算法适用于高频率分布式的服务集群环境,能够有效的缩短服务器的平均响应时间,提高服务器的性能．     

一种基于改进遗传算法的动静态负载均衡算法

针对目前负载均衡算法在低负载情况下影响系统效率及在高负载情况下分配效率不佳等问题，基于Nginx服务器，文中提出了一种在改进遗传算法基础上动静态结合的负载均衡算法。该算法选择使用CPU性能、内存性能、磁盘I/O和网络带宽等服务器性能参数作为服务器节点性能评价指标及低负载下的静态加权轮询算法权值，并基于该指标根据节点性能使用率所占集群平均负载使用率的变化，设计了在高负载情况下的动态负载均衡算法。通过引入操作转换阈值及动态三角函数操作概率的改进遗传算法，实现了静态算法优势区转变为动态算法优势区的阈值计算。通过设计对比实验，证明了文中算法在实验环境下相比于加权轮询算法、概率择优算法和dnfs＿conn算法更具有较好的负载均衡效果，相比于dnfs＿conn算法在平均响应时间和实际并发连接数等数值上具有15%左右的提升。     

基于剩余负载率的动态负载均衡研究

为进一步提高集群系统服务的性能,在对静态负载均衡和动态负载均衡的优缺点分析的基础上,提出一种基于剩余负载率的动态均衡机制.该均衡机制采用剩余负载率作为负载状态的评价标准;针对服务器各节点性能的不同,提出采用BP神经网络训练节点;并设计了一种基于流表的静态分配策略和基于负载预测的动态分配策略相结合的任务分配策略来实现任务在集群系统各节点间的动态分配,从而降低了服务器各节点之问任务重新调度的次数,提高了集群系统的服务性能.实验结果表明,该均衡机制是可行的、有效的.     

基于FAHP的hadoop平台移动终端云存储优化研究

Hadoop云存储架构的设计初衷是实现大文件的高效存储处理,但在处理移动终端下诸如图片等小文件时会引起名称节点索引提取速度过慢和数据节点存储空间利用率不高等问题.针对这一问题,提出一种小文件归档的方案FHAR.方案综合考虑移动终端用户访问的实时性、名称节点服务器内存使用率、数据节点存储空间利用率等方面,利用双层索引的归档技术结合FAHP（模糊多属性决策理论）的系统负载预测算法实现系统的负载均衡,提高服务效率.同时利用数据预取机制对访问操作进行优化.仿真结果表明,该方案有效提高了节点的存储效率与用户访问的实时体验性.     

基于写时重定向的虚拟机磁盘迁移技术

针对虚拟机磁盘迁移耗时长,数据迁移量大的难题,提出了基于写时重定向的虚拟机磁盘迁移技术,并与预迁移机制及数据压缩算法相结合完成虚拟机的全系统迁移。在磁盘预迁移阶段,通过将磁盘写请求重定向来实现磁盘原始数据和新写入的数据的隔离,对更新数据压缩后再传输到目标节点,以达到减少同步冗余数据量的目的。实验证明,该方法能够很好地完成虚拟机的全系统迁移,尤其在低负载情况下执行的更好。其中,更新数据的迁移量减少60%以上,迁移时间缩短17%。     

Rabb et: Using Layout-Aware Backup for RAID Reconstruction

Once a disk of storage system is failed, RAID mechanism will reconstruct to keep the reliability. The reconstruction leads to a sharp deterioration in I/O performance of RAID, and the storage system cannot pro-vide high performance service for the applications. The Multi-TB disk capacity and high load of the application make the reconstruction last for a very long time. This paper proposes Rabbet, a method accelerating RAID re-construction using data of backup. Rabbet includes a new RAID reconstruction frame, a RAID layout-aware map-ping mechanism for backup, and a reconstruction algo-rithm. The result of experiments shows that, comparing to the classic DOR methods Rabbet shortens the RAID5 reconstruction process to 13.9%–42.8% and decreases the average response time for applications during reconstruc-tion by 3.2%–14.6%. Rabbet also improves the reliability of storage systems.     

An Effective RAID Data Layout for Object-Based De-duplication Backup System

We propose an alternative Redundant array of independent disks (RAID) data layout,Asymmetrical grouping data organization (AGDO),for object-based data de-duplication backup system.Object-based data deduplication is an effective solution for detecting duplicate data for compound files.We designed an asymmetrical grouping strategy,the disk in the array are partitioned into different groups,and in each group parallelism data access scheme is adopted,different types of objects are stored in different groups with maybe different group size,it can set and manage dynamic group size by using dynamic disk group adjustment algorithms.The performance of AGDO is evaluated and proved to be sufficient for the continuous storage application.The result is that disk accesses are concentrated in a part of the disks over a long time period and reduces the power consumption to 25％ in a 10-disk configuration.Moreover,object-based de-duplication combined with AGDO has great potential in increasing data restoration speed for compound files.We have shown that this combination makes average restoration speed improved 11％.     

面向云计算的键值型分布式存储系统研究

 对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数据全部装入服务器集群内存中的方式提高系统整体性能,并设计了分区线性哈希算法以实现负载均衡和高扩展性,设计了相应的数据备份与故障快速恢复策略以保证系统可靠性.仿真实验结果表明,M-Cloud具有较高的性能与可用性,对系统进一步改进和优化后具有应用于实际生产环境中的潜力,可为用户提供高质量的存储服务.     

Web集群的区分服务与负载均衡策略研究

该文从区分服务和负载均衡两方面研究Web集群系统,设计并实现了一种支持区分服务的负载均衡集群模型,通过系统辨识和资源最优控制,对后端资源统一调度,动态调整每台后端节点不同优先级业务类的资源配额;同时设计了基于业务类的最大空闲节点优先的负载均衡策略以保证各个后端节点同一业务类资源被公平消耗,从而控制端到端延迟,实现比例延迟保证。经实验验证,无论采用轮询调度、最少连接数调度还是最大空闲节点优先的均衡策略,资源最优控制器均能取得良好的区分效果,扩展实验还表明,相对于轮询调度和最少连接数调度,采用最大空闲节点优先的均衡策略,能够使该集群系统在实现比例延迟保证的同时获得最大的性能优化,整体吞吐量提高了25%,平均延迟降低了33%。     

Load prediction based elastic resource scheduling strategy in Flink

In order to solve the problem that the load of big data stream computing platform fluctuates drastically while the cluster was suffering from the performance bottleneck due to the shortage of computing resources,the load prediction based elastic resource scheduling strategy in Flink (LPERS-Flink) was proposed.Firstly,the load prediction model was set up as the foundation to propose the load prediction algorithm and predict the variation tendency of the processing load.Secondly,the resource judgment model was set up to identify the performance bottleneck and resource redundancy of the cluster while the resource scheduling algorithm was proposed to draw up the resource rescheduling plan.Finally,the online load migration algorithm was proposed to execute the resource rescheduling plan and migrate processing load among nodes efficiently.The experimental results show that the strategy provides better performance promotion in the application with drastically fluctuating processing load.The scale and resource configuration of the cluster responded to the variation of processing load in time and the communication overhead of the load migration was reduced effectively.     

Load Balance Strategy of Data Routing Algorithm Using Semantics for Deduplication Clusters

The backup requirement of data centres is tremendous as the size of data created by human is massive and is increasing exponentially. Single node deduplication cannot meet the increasing backup requirement of data centres. A feasible way is the deduplication cluster, which can meet it by adding storage nodes. The data routing strategy is the key of the deduplication cluster. DRSS (data routing strategy using semantics) improves the storage utilization of MCS (minimum chunk signature) data routing strategy a lot. However, for the large deduplication cluster, the load balance of DRSS is worse than MCS. To improve the load balance of DRSS, we propose a load balance strategy used for DRSS, namely DRSSLB. When a node is overloaded, DRSSLB iteratively migrates the current smallest container of the node to the smallest node in the deduplication cluster until this overloaded node becomes non-overloaded. A container is the minimum unit of data migration. Similar files sharing the same features or file names are stored in the same container. This ensures the similar data groups are still in the same node after rebalancing the nodes. We use the dataset from the real world to evaluate DRSSLB. Experimental results show that, for various numbers of nodes of the deduplication cluster, the data skews of DRSSLB are under predefined value while the storage utilizations of DRSSLB do not nearly increase compared with DRSS, with the low penalty (the data migration rate is only 6.5% when the number of nodes is 64).     

一种超大容量自动光盘库的设计与实现

当前蓝光光盘的寿命已超过50年,光存储的可靠性远高于硬盘,寿命也远长于磁带,但单盘容量较小、存取性能较低的缺点限制了光盘在大规模归档系统中的应用。提出了一种新型超大容量机械手自动换盘的光盘库系统,该系统能够在标准尺寸的机柜中容纳12 000张蓝光光盘,数十个光驱可并行读写,对外的吞吐率达到1 GB/s。除了高度并行之外,还使用了磁光电融合结构和虚拟化存储机制,通过磁电作为光存储的大容量缓存,提高存取性能,将大量的光盘存储空间虚拟成单个文件卷存储池。该系统的光盘调度、刻录和读取完全实现自动化,并提供给用户通用文件访问接口。综合这些技术,既发挥了光存储介质的大容量、长寿命、低成本、低能耗的优点,又克服了光存储系统速度慢、性能低的缺点,同时提供了用户友好的使用界面和环境,实现了与现有信息系统的无缝对接。     

代理集群的负载均衡系统的设计与实现

为了提高代理集群系统的整体性能,提高代理集群的效率,基于分布式计算领域已经较为成熟的负载均衡算法的研究成果,以及目前流行的服务器流量均衡策略,设计了一种针对代理集群这一应用背景的负载均衡策略系统,完成了系统结构和负载均衡策略的实现,并进行了性能测试。     

基于重复滑膜控制的PMSM的矢量控制系统

针对永磁同步电机(PMSM)在负载突变时产生的抖振现象,文中提出了一种重复滑模控制方法。首先,详细介绍了永磁同步电机的数学模型和滑膜变结构的基本原理,并在PMSM速度环上采用滑膜控制方法代替传统的PI控制。其次,具体分析了重复控制的基本原理,在滑膜控制的基础上加入重复控制,提出了一种新型的重复滑膜控制策略,建立了基于MATLAB/Simulink的电机仿真模型。仿真结果表明,此控制方法在电机转速上升阶段具有较好的系统响应性;在电机突加负载时,电机转速最大突变值比使用滑膜控制时减少了74.55%,且电机恢复到稳定状态用时为使用滑膜控制时的37.5%;验证了所提出的重复滑膜控制方法具有较强的抗负载性和系统稳定性。