HPC Cloud环境中基于网络Ⅰ/O负载的虚拟机放置算法

随着虚拟化技术和云计算技术的发展,越来越多的高性能计算应用运行在云计算资源上.在基于虚拟化技术的高性能计算云系统中,高性能计算应用运行在多个虚拟机之中,这些虚拟机可能放置在不同的物理节点上.若多个通信密集型作业的虚拟机放置在相同的物理节点上,虚拟机之间将竞争物理节点的网络Ⅰ/O资源,如果虚拟机对网络Ⅰ/O资源的需求超过物理节点的网络Ⅰ/O带宽上限,将严重影响通信密集型作业的计算性能.针对虚拟机对网络Ⅰ/O资源的竞争问题,提出一种基于网络Ⅰ/O负载均衡的虚拟机放置算法NLPA,该算法采用网络Ⅰ/O负载均衡策略来减少虚拟机对网络Ⅰ/O资源的竞争.实验表明,与贪心算法进行比较,对于同样的高性能计算作业测试集,NLPA算法在完成作业的计算时间、系统中的网络Ⅰ/O负载吞吐率、网络Ⅰ/O负载均衡3个方面均有更好的表现.     

集群环境下I/O文件传输调度器的设计与实现

近年来研究人员对高性能计算中的并行I/O问题进行了深入研究,然而这些研究主要针对MPP问题,而对集群计算机系统中并行I/O问题的研究不多。因此,对于集群计算中的并行I/O系统进行研究是一个重要的研究课题。对集群计算中的并行I/O传输调度效率进行研究,设计了一个文件传输调度器,可以实现文件传输最快捷,节点资源最大利用,显著提高I/O节点吞吐率和反应时间。经过大量数据的测试和实验证明该调度器的有效性和适用性。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

云环境中基于LVS集群的负载均衡算法

为了解决传统负载均衡技术应用到云计算环境中引发的新问题,提出一种云环境下基于LVS集群分组负载均衡算法。该算法首先根据硬件性能计算各节点的权值,将性能相同(或近似相同)的服务器分为一组,每组节点数量相等(或近似相等),负载均衡器定期地收集各节点CPU、内存、I/O、网络利用率以及响应时间,动态改变节点的权值,使用改进算法选择该组内最佳节点,并计算节点的综合负载和组负载。最后再次使用改进算法由组负载均衡器选择集群最佳节点,并进行任务请求的合理分配,从而解决因并发量过大而引起的时延等问题。实验结果表明,与加权轮询算法(WRR)和加权最少连接算法(WLC)相比,本算法能够在并发量较大的情况下维持较短的响应时间和较高的吞吐率,使集群负载更加均衡。     

遥感影像并行处理中基于优先级的任务分配策略

对集群环境下大规模遥感影像并行计算中任务分配效率低、负载不均衡的问题进行分析讨论,在此基础上建立多机任务分配模型,提出一种基于计算节点优先级的任务分配算法。该算法综合考虑计算节点的负载和性能,在任务分配时实时地收集各个节点的信息,计算出各个计算节点的优先级,按照优先级的高低分配任务,保证在满足集群间负载均衡的前提下能合理地将任务分配到计算节点。实验结果表明,该算法能快速实时地进行任务分配,任务的分布更加合理和均匀,并且当任务个数增多时,算法的执行效率要比轮转调度算法高出约2倍。     

一种自适应负载的I/O调度算法

I/O调度算法对磁盘阵列(RAID)性能具有至关重要的影响。虽然已有很多典型的I/O调度算法在一定负载情况下可获得较好的性能,但很难有哪一种算法在各种负载情况下均能获得很好的性能。本文提出了一种智能RAID控制模型,结合C4.5决策树和AdaBoost算法实现负载自动分类,根据负载变化和性能反馈情况动态调整I/O调度策略,实现面向应用需求的自治调度。模拟实验结果表明,自适应调度算法具有较好的适应性,在各种负载情况下优于现有的I/O调度算法,尤其适用于多线程混合负载环境的I/O性能优化。     

IO负载均衡方式的创新及集群系统管理工具的开发与应用

在石油领域的高性能计算应用中会产生大量、频繁的I/O操作。因此,集群系统中的I/O负载问题一直是长期以来PC架构集群实现高性能以及提升效率的瓶颈。＂ZQ集群系统管理工具＂这套管理工具有效地解决了传统IO负载管理方式存在的问题,克服了常用集群系统管理软件存在的不足。此外,这套管理工具还具有诸多大大简化系统管理的创新功能。     

大规模并行操作系统研究

通过对大规模并行超级计算机模拟器上运行的操作系统进行分析,发现超级计算机内部计算节点、I/O节点和服务节点对操作系统各模块的需求是不同的,一个通用的操作系统无法满足不同类型节点的需求。提出了一种轻核心结构的操作系统并在模拟器上实现了原型系统SandOS,它包括计算节点轻核心SandPOS、I/O节点操作系统FileServer和服务节点操作系统MonitorServer。对计算节点轻核心SandPOS与通用的操作系统在内存开销、调度效率、运行效率、页表管理等方面的性能进行了分析对比,结果显示出超大规模并行系统中,SandOS比通用的操作系统具有更好的执行效率。     

一种基于Spark的图像聚类并行化算法

在分析Spark并行计算框架的基础上,结合K-means聚类算法特征,设计了一种基于Spark的图像聚类并行化算法,该算法针对RDD进行分布式迭代计算,同时将运算的中间结果分布式缓存到各个节点的内存中,有效降低了内存读取和磁盘I/O操作的延迟,有效提高了并行计算效率。经测试,该算法提高了图像聚类的性能。     

可信计算环境证明方法研究

首先分析了可信计算环境下多远程证明实例执行的动态性、并发性、一致性等问题,提出了一个完整的可信计算环境多远程证明实例动态更新证明方案,以保证通信双方终端计算环境的可信.然后阐述了主要由计算环境组件度量算法、会话组件树计算算法和多远程证明实例证明协议组成可信计算环境证明方法.最后对该证明方法的安全性和效率进行分析,并构建原型系统论证证明方案的可行性和高性能.     

SOA中一种基于负载均衡的服务查找请求路由算法

服务查找是面向服务架构(SOA)中一个非常重要的环节,但目前的服务查找算法一般并未考虑到服务查找节点间的负载均衡,在请求频繁条件下不能满足查找效率的要求。提出一种分布式的、综合考虑节点处理能力和网络延时、适用于SOA中分布式服务注册中心的服务查找请求路由算法HaFA。该算法利用负载度实现对服务节点计算能力的度量,解决了负载度均衡后任务仍可能分配到弱计算能力节点上的问题,提高了服务注册中心计算资源的利用率;利用节点负载波动率估量下一个离散时间点的负载度,解决了网络延时期间负载波动对实现均衡造成影响的问题。实验结果表明,HaFA在分布式服务查找中能有效提高系统吞吐率,缩短结果响应的平均等待时间。     

一种基于预取的集群服务器调度算法

针对集群服务器LARD调度算法只能利用已有缓存的问题，提出一种基于预取的算法Prefetch-LARD,该算法从Web访问日志中挖掘页面之间的转移概率，建立马尔科夫链模型，在调度请求时利用概率关系提前将下一次可能访问的文档从节点磁盘取到本地cache中，提高了请求的缓存命中率；算法还采用了加权的节点超载判断方法，以提高集群节点的负载均衡度，实验表明，在同样的测试环境下，Prefetch-LARD算法比LARD算法的缓存命中率提高26．9％，系统的吞吐量相应提高18．8％．     

并行文件系统中适度贪婪的Cache预取一体化算法

传统文件系统中的Ｃａｃｈｅ和预取技术是两种降低访问延迟的有效方法。在并行科学计算应用的Ｉ／Ｏ访问模式下,简单的Ｃａｃｈｅ和预取技术已无法提供较高的Ｃａｃｈｅ命中率,该文在分析该Ｉ／Ｏ模式的基础上提出了适度贪婪的Ｃａｃｈｅ和预取一体化算法（ＰＧＩ）,该算法充分利用了并行文件系统环境的特点,采用了适度贪婪的动态滑模技术,可以有铲地消除预取时的抖动,降低系统处理开锁,并同时采用了Ｃａｃｈｅ和预取一体化的     

Maintaining censorship resistance in the iTrust network for publication,search and retrieval

This paper presents the architecture of the iTrust system together with algorithms for maintaining censorship resistance. In iTrust, metadata describing documents, and requests containing keywords, are distributed to randomly chosen nodes in the iTrust network. If a node receives a request containing keywords that match metadata it holds, it sends the URL of the matching document to the requesting node, which then retrieves the document from the source node. A novel detection algorithm estimates the proportion of operational nodes in the iTrust network, by comparing the empirical probabilities of the number of responses received for a node’s request with the analytical probabilities for a match, for various proportions of operational nodes. A novel defensive adaptation algorithm increases the number of nodes to which the requests are distributed, in order to maintain the same high probability of a match when some of the nodes are non-operational or malicious as when all of the nodes are operational. Extensive experimental evaluations demonstrate the effectiveness of the architecture and the algorithms for maintaining censorship resistance in the iTrust network.     

An approximation-based load-balancing algorithm with admission control for cluster web servers with dynamic workloads

The growth of web-based applications in business and e-commerce is building up demands for high performance web servers for better throughputs and lower user-perceived latency. These demands are leading to a widespread substitution of powerful single servers by robust newcomers, cluster web servers, in many enterprise companies. In this respect the load-balancing algorithms play an important role in boosting the performance of cluster servers. The previous load-balancing algorithms which were designed for the handling of static contents in web services suffer from significant performance degradation under dynamic and database-driven workloads. Regarding this, we propose an approximation-based load-balancing algorithm with admission control for cluster-based web servers in this study. Since it is difficult to accurately determine the loads of web servers through feedbacks from distributed agents in web servers, we propose an analytical model of a web server to estimate the web servers’ loads. To achieve this, the algorithm classifies requests based on their service times and track numbers of outstanding requests for each class of each web server node and also based on their resource demands to dynamically estimate the loads of each node. For the error handling of the model a proportional integral (PI) controller from control theory is used. Then the estimated available capacity of each web server is used for load balancing and admission control decisions. The implementation results with a standard benchmark confirm the effectiveness of the proposed scheme, which improves both the mean response time and the throughput of the cluster compared to rival load-balancing algorithms, and also avoids situations in which the cluster is overloaded, even when the request rates are beyond the cluster capacity.     

面向分布式计算环境的接纳控制机制研究

接纳控制算法是分布式计算环境中资源提前预留机制的核心。本文研究总结了现有的灵活预留接纳控制算法,并在此基础上提出一种新的算法——可迁移提前预留接纳控制算法。对于不可拓展的固定请求,它允许通过迁移已预留的可拓展请求,为固定请求空出足够的资源,从而提高固定请求被接纳的概率。性能优良的数据结构对于资源预留有着至关重要的作用,合理的数据结构能显著改善接纳控制的总体性能,本文总结了现有的数据结构,包括时隙数组、时隙线段树、资源树、二叉查找树等。通过与三种经典的可拓展预留接纳控制算法的对比实验表明,可迁移提前预留能改善固定请求接纳率及总请求接纳率。     

A Quorum-Based Group Mutual Exclusion Algorithm for a Distributed System with Dynamic Group Set

The group mutual exclusion problem extends the traditional mutual exclusion problem by associating a type (or a group) with each critical section. In this problem, processes requesting critical sections of the same type can execute their critical sections concurrently. However, processes requesting critical sections of different types must execute their critical sections in a mutually exclusive manner. We present a distributed algorithm for solving the group mutual exclusion problem based on the notion of surrogate-quorum. Intuitively, our algorithm uses the quorum that has been successfully locked by a request as a surrogate to service other compatible requests for the same type of critical section. Unlike the existing quorum-based algorithms for group mutual exclusion, our algorithm achieves a low message complexity of O(q) and a low (amortized) bit-message complexity of O(bqr), where q is the maximum size of a quorum, b is the maximum number of processes from which a node can receive critical section requests, and r is the maximum size of a request while maintaining both synchronization delay and waiting time at two message hops. As opposed to some existing quorum-based algorithms, our algorithm can adapt without performance penalties to dynamic changes in the set of groups. Our simulation results indicate that our algorithm outperforms the existing quorum-based algorithms for group mutual exclusion by as much as 45 percent in some cases. We also discuss how our algorithm can be extended to satisfy certain desirable properties such as concurrent entry and unnecessary blocking freedom.     

基于QoS的数据迁移模型的设计

结合对象存储的特点,提出基于QoS的存储系统模型。该模型将迁移任务划分为细粒度的迁移请求,使对象存储设备在实现数据迁移的同时能响应I／O请求。元数据服务器按相同的标准给I／O请求和迁移请求分配相应的收益,使对象存储设备能采用收益最大算法调度I／O请求和迁移请求,从而提供更高的服务质量。通过收益预测和带宽预留实现在线最大收益调度算法。实验表明,最大收益算法与通常的迁移优先算法和固定平均迁移率算法相比,对系统的I／O性能影响最小。     

无线传感器网络中采用预约机制的MAC协议改进

提出一种基于信道预约的MAC协议CR-MAC(channel-reservation MAC),该协议是在S-MAC（sensor-MAC）协议基础上进行的改进。当有数据需要发送时,首先以基于竞争的方式发送和接收信道预约信息,实现信道的按需分配;信道预约完成后各节点按照预约好的时间片进行激活,以时分复用的方式传输数据。CR-MAC协议能够有效地减少节点的空闲侦听和串音干扰,从而降低能量消耗和传输延时。     

MDCE路由算法的分析与改进

延迟容忍网络中基于位置的地理路由算法使用节点自我采集的GPS信息进行下一跳中继结点的选择,而节点的移动性会导致节点的实际位置在时刻改变,相对位置节点的移动方向信息比地理位置信息具有更好的稳定性。文献[1]提出的MDCE路由算法网络负载率和丢包率很高,且由于DTN网络的特殊性,难以拥有多个相邻节点。对MDCE路由算法进行分析与改进,降低中继节点数、规避消息副本向来的方向传输。仿真结果表明,改进后的MDCE路由算法的网络负载率和丢包率明显降低,实用性更强。