用遗传算法解决基于分条技术的磁盘负载均衡问题

如何提高存储子系统的I／O性能一直以来都是计算机领域的一个研究热点，而目前提高存储子系统的I／O性能的一个最大障碍就是负载不均衡．文章通过研究磁盘负载均衡问题，提出了一种采用遗传算法来实现基于分条技术的磁盘动态负载均衡算法．该方法包括基于分条技术的文件划分算法和为实现负载均衡的文件分配算法．根据遗传算法对种群进行编码、选择、杂交操作和变异操作，从而产生出满足负载均衡条件的映射方案．最后通过实验仿真证明该算法止确有效．     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

基于RAM/Disk混合设备模型的FC-SAN存储系统

磁盘存取是基于光纤通道网络的SAN存储系统的目前性能瓶径，在综合和分析目前各种文件系统I／O操作工作负载的研究结果的基础上，提出了一个新的改进FC-SAN存储系统性能的方法：将各种文件系统I／O操作分为大数据量的文件读写操作、小数据量的文件读写操作和文件属性操作，大数据量的文件读写操作还是按照原来的I／O路径进行，存取物理磁盘；但其他各种文件操作包括小数据量的文件读写操作对基于内存的RAMDisk设备进行操作，实验结果显示，基于混合I／O子系统的FC-SAN存储系统的存取速率可以接近线速。     

集群计算并行I/O中动态文件分配策略

针对集群计算系统中并行I／O文件分配问题进行了研究,提出一种新的动态文件分配算法一启发式负载与服务时间变化综合平衡策略。该策略将所需要的访问服务时间相似的文件分配到集群系统的同一结点磁盘上,并保证每个磁盘上的负载值不超过负载平衡的极限值,从而在所有结点磁盘间既基本实现负载均衡,又使每个磁盘上文件间的服务时间变化最小化。实验结果表明了该策略在性能提高方面的有效性。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

视频服务器存储子系统的I/O优化

视频服务器存储子系统的I／O性能决定了视频服务器的总体性能。本文提出的一种新的实时磁盘调度算法（LLF－Window)能有效地服务各种编码格式的视频流，并对传统的SCSI总线不均衡调度机制进行了改造，实验结果表明，新的磁盘调度算法和改造后的SCSI总线调度机制有效地改进了视频服务器存储子系统的I／O性能，保证了视频流的连续播放。     

文件支持的Xen存储虚拟化研究

基于文件的虚拟磁盘存储是虚拟机技术实现的重要一环,为了提高虚拟机磁盘读写效率,着重研究了Xen基于文件的磁盘虚拟化,分析利用异步I/O技术提升虚拟机对虚拟磁盘的读写速度,同时阐述了不同格式的虚拟磁盘文件做为虚拟存储设备的优劣。     

一种基于虚拟机的高效磁盘I/O特征分析方法

于磁盘系统的机械运动本质,磁盘系统I/O往往会成为计算机系统的性能瓶颈.为了有效地提高系统性能,收集和分析应用系统的磁盘I/O特征信息将成为性能优化工作的重要基础.与以往I/O特征分析方法不同,给出了一种基于Xen 3.0虚拟机系统的磁盘I/O特征在线分析方法.在虚拟机环境下,该磁盘I/O特征采集方法可以透明地应用于任意无须修改的操作系统.该方法可以高效地在线采集多种基本I/O特征数据,其中包括:磁盘I/O块大小、I/O延迟、I/O时间间隔、I/O空间局部性、时间局部性以及磁盘I/O操作热点分布.通过测试和分析,该在线I/O分析方法有着较小的系统开销,并且对应用系统I/O性能的影响很小.此外,还给出了在大文件拷贝、基于Filebench的filemirco和varmail等工作负载下的I/O特征分析结果.     

基于闪存的混合存储系统缓冲区管理算法

由于基于闪存的混合存储系统充分利用了闪存的高速随机读和磁盘的快速顺序写的特性,近年来已经成为了数据库管理系统的二级存储层的高效存储模式,但其I/O访问开销是一个继续提高存储性能的瓶颈.为了降低混合存储系统的I/O访问开销,提出了一种自适应缓冲区管理算法DLSB.该算法根据数据页的逻辑代价和物理代价进行自适应的数据域选择;并在选择的数据域中,比较闪存队列和磁盘队列容量的实际值与理想值来确定数据页的置换,达到了提高I/O访问效率的目的.实验结果表明,该算法有效且可行,显著降低了混合存储系统的I/O访问开销.     

LSBPSO算法在磁盘负载均衡问题中的应用

将基于水平集的粒子优化算法（LSBPSO）应用于磁盘负载均衡问题中,利用LSBPSO的快速收敛性动态调整分条技术下逻辑磁盘和物理磁盘的映射关系。提出一种新的逻辑磁盘热度预测方法,对物理磁盘的热度的表示方法进行扩充。实验表明,LBPSO能较好地解决分条技术下的磁盘负载问题,收敛速度较快。     

Data partitioning and load balancing in parallel disk systems

Parallel disk systems provide opportunities for exploiting I/O parallelism in two possible ways, namely via inter-request and intra-request parallelism. In this paper, we discuss the main issues in performance tuning of such systems, namely striping and load balancing, and show their relationship to response time and throughput. We outline the main components of an intelligent, self-reliant file system that aims to optimize striping by taking into account the requirements of the applications, and performs load balancing by judicious file allocation and dynamic redistributions of the data when access patterns change. Our system uses simple but effective heuristics that incur only little overhead. We present performance experiments based on synthetic workloads and real-life traces. Received May 17, 1994 / Accepted June 9, 1997     

并行文件系统自适应的文件条带化技术

研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明：当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。     

NAS设备的磁盘调度模型分析

附网存储 (NAS)设备的性能目标是优化网络存储数据访问和存储子系统的管理 .本文旨在显示随着磁盘转速的增加 ,NAS应该从磁盘硬件的最佳工作性能出发 ,整体配合以提高它的 I/O操作性能 .为了发掘 NAS最佳的工作性能 ,我们建立同时基于磁臂位置和旋转位置的精确的磁盘调度模型 ,并提出测量调度算法性能的方法 .以 HP975 6 0性能参数为基础 ,进行理论分析和模拟测试 .结果磁盘转速越快 ,磁盘访问的开销越大 .因此 ,NAS设备的设计必须从整体上考虑磁盘调度策略的选择 ,并行多磁盘结构的选择 ,文件 cache的分配和文件系统布局等 ,以便提高网络存储数据访问的性能     

基于磁光虚拟存储系统的文件调度算法

基于光盘库的Hadoop分布式文件系统（HDFS光盘库）在单位存储成本、数据安全性、使用寿命等方面非常符合当前大数据存储要求，但是HDFS不适合存储大量小文件和实时数据读取。为了使HDFS光盘库能更好地运用到更多大数据存储场景，本文提出一种更加适合大数据存储的磁光虚拟存储系统（MOVS, Magneto-optical Virtual Storage System）。系统在HDFS光盘库与用户之间加入磁盘缓存，并在磁盘缓存内通过文件标签分类、虚拟存储、小文件合并等技术将磁盘缓存内小文件合并为适合HDFS光盘库存储的大文件，提高系统的数据传输速度。系统还使用了文件预取、缓存替换等文件调度算法对磁盘缓存内文件进行动态更新，减少用户访问HDFS光盘库次数。实验结果表明，MOVS相对HDFS光盘库在响应时间和数据传输速度方面得到很大改善。     

一种高效的虚拟机快照管理系统

链式虚拟磁盘快照技术是广泛实现的一种支持虚拟机失效恢复的技术手段,针对链式结构磁盘快照技术引入多余I／O请求导致虚拟机性能低效问题,分析和研究了支持高效虚拟机快照实现的无链式关联磁盘快照技术,通过集成ZFS及OCFS2文件系统给出了无链式关联磁盘快照技术实现,并设计和实现了虚拟机快照存储组织模型和快速检索算法,提高了虚拟机快照检索效率．设计试验验证了系统的有效性．     

TridentFS: a hybrid file system for non‐volatile RAM,flash memory and magnetic disk

A hybrid file system with high flexibility and performance, called Trident file system (TridentFS), is proposed to manage three types of storage with different performance characteristics, that is, Non‐Volatile RAM (NVRAM), flash memory and magnetic disk. Unlike previous NVRAM‐based hybrid file systems, novel techniques are used in TridentFS to improve the flexibility and performance. TridentFS is flexible by the support of various forms of flash memory and a wide range of NVRAM size. The former is achieved on the basis of the concept of stackable file systems, and the latter is achieved by allowing data eviction from the NVRAM. TridentFS achieves high performance by keeping hot data in the NVRAM and allowing data evicted from the NVRAM to be parallel distributed to the flash memory and disk. A data eviction policy is proposed to determine the data to be evicted from the NVRAM. Moreover, a data distribution algorithm is proposed to effectively leverage the parallelism between flash memory and disk during data distribution. TridentFS is implemented as a loadable module on Linux 2.6.29. The performance results show that it works well for both small‐sized and large‐sized NVRAM, and the proposed eviction policy outperforms LRU by 27%. Moreover, by effectively leveraging the parallelism between flash memory and disk, the proposed data distribution algorithm outperforms the RAID‐0 and a size‐based distribution method by up to 471.6% and 82.6%, respectively. By considering the data size and performance characteristics of the storage, the proposed data distribution algorithm outperforms the greedy algorithm by up to 15.5%. Copyright © 2014 John Wiley & Sons, Ltd.     

Performance of a Mass-Storage System for Video-on-Demand

Advancements in storage technology along with the fast deployment of high-speed networks has allowed the storage, transmission, and manipulation of multimedia information such as text, graphics, still images, video, and audio to be feasible. Our study focused on the performance of the mass storage system for a large-scale video-on-demand server. Different video file striping schemes, such as application level striping and device driver level striping, were examined in order to study scalability and performance issues. To study the impact of different concurrent access patterns on the performance of a server, experimental results were obtained on group access on a single video file and multiple group accesses on multiple video files. All of our experiments were conducted on a fully configured Silicon Graphics Inc. Onyx computer system. The Onyx machine was connected to 31 SCSI-2 channels which have 496 GBytes disk storage, 20 MIPS R4400 processors, and 768 MBytes main memory. From the experimental results, the storage system of Onyx machine can potentially provide about 360 concurrent video accesses with guaranteed quality of service.     

一种分布式存储系统用户磁盘配额的实现

用户磁盘配额可实现集群系统中分布式文件系统资源的管理和控制.在分布式文件系统中常使用多数据服务器来扩充文件系统的存储空间、提高并行数据IO的能力.结合NFS,Lustre中分布式配额实现方式,提出了一种适合对等存储模式下的用户磁盘配额策略.该策略使用静态设置和动态调整相结合的方式,能够很好地解决多数据服务器用户配额使用空间不均匀的问题;它可以运行在全局文件系统的所有客户端,避免了单客户端节点失效的问题,且对文件系统性能影响较小.