基于对象的文件系统I/O分析与评测

目前基于对象的存储设备中多采用通用的文件系统如EXT2、EXT3等进行管理,但面临着对海量数据的高效存储、管理问题.基于对象的文件系统实现了对象按大小在磁盘区域中组织管理,并采用了Hash、最坏适应等机制,提高磁盘利用率的同时显著提升了磁盘吞吐率.对EXT2、EXT3、基于对象的文件系统进行了L/O性能测试及分析.实验表明,基于对象的文件系统的I/O性能是EXT2、EXT3文件系统的2到3倍.     

基于OpenStack的Swift负载均衡算法

为了解决由于OpenStack的负载分发不均衡而引发的存储性能下降、资源利用率降低、I/O响应时长增加等问题,提出对加权最小连接调度算法进行改进. 通过对对象存储的负载均衡调度算法研究,利用存储节点的CPU、内存、硬盘、I/O资源利用率信息,并结合节点任务请求连接数,计算存储节点负载能力、性能和权值. 负载均衡器根据每个存储节点的权值大小判断任务分发方向. 经实验证明改进的负载均衡调度算法能够解决存储读写性能下降的问题,提升数据吞吐率、存储读写性能和系统稳定性.     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

基于对象存储文件系统的协作式缓存一致性策略

基于对象存储文件系统引入了客户端缓存机制以加快文件访问速度,由此也带来了缓存数据一致性问题。针对多客户端访问共享文件时缓存更新策略存在的延时、网络和服务器负载过大及网络消耗大等问题,基于Lustre对象存储文件系统实现了一种改进的协作式缓存一致性策略。实验结果表明,改进后的缓存更新策略,不仅可以保证缓存数据的一致性,而且减少了客户端与服务器交互次数,降低了访问延迟,提高了系统I/O性能。     

面向Lustre文件系统的固态盘存储加速技术研究

磁盘的随机I/O延时制约了存储系统的性能提高,具备高性能随机I/O特性的固态盘(solid state disk,SSD)逐渐成为关注的热点.分析了磁盘、Flash型SSD以及DRAM型SSD三类设备不同的性能特点,讨论了SSD存储加速技术的研究现状,提出了一种面向Lustre文件系统的固态盘存储加速系统架构,介绍和分析了各模块的构成与原理,提出了对象迁移策略.     

新型非易失相变存储器PCM应用研究

并行I/O技术有效优化了I/O性能,但对访问延迟却难以控制.相变存储器(phase change memory,PCM)作为一种SCM(storage class memory),具有非易失性、随机可读写、低延迟、高吞吐率、体积小和低功耗的特点,为I/O性能优化提供了最直接有效的途径.研究了PCM的特性与存在的问题,总结了目前PCM的应用研究进展,针对高性能计算中的并行I/O问题,提出了一种基于相变存储器PCM的层次式并行混合存储模型,能够有效提高并行文件系统元数据服务效率和并行I/O吞吐率.     

面向分布对象存储结构的高性能计算系统资源管理方法

当前的高性能计算系统的资源管理和调度关注的焦点是计算资源,然而随着高性能计算系统的规模增大和计算能力增强,其I/O瓶颈问题日益突出.由于高性能计算系统的存储结构多样性带来了存储资源管理分配的难题,在目前主流的资源管理系统中尚未有针对I/O存储资源的调度和管理.随着对象存储结构的发展和广泛使用,大多数主流高性能系统采用分布对象存储系统,研究对分布对象存储系统的管理并结合资源管理系统,实现面向存储的作业优化调度,对提升高性能计算系统的实际性能有重要意义.针对具有分布对象存储结构的高性能计算系统,研究面向分布存储的资源管理方法,在作业调度和资源分配时考虑不同应用的I/O需求,通过建立分布对象存储资源模型和应用程序I/O能力需求模型,并在资源调度和分配上根据不同的I/O应用级别,为作业分配合适的存储资源,设计并实现基于I/O能力分级的作业调度和资源分配算法.系统测试表明:该方法可以显著提高多作业环境下应用的性能,保证应用程序的性能稳定性,提高系统的吞吐率.     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

基于Windows平台的存储虚拟化按需分配技术

如何有效地节约存储资源是企业级用户在部署存储虚拟化系统时需要重点考虑的问题.设计并实现了一种基于Windows平台的存储资源按需分配软件VA-for windows,该软件在系统内核态将动态分配的映射表整合为元数据存储池,通过索引查询机制和高效通信策略,透明化地为Windows用户提供虚拟存储设备.实验结果表明,与传统的虚拟卷相比,使用具备按需分配功能的虚拟卷虽然在I/O性能上稍有损失,但可以有效地节约磁盘空间,提高存储资源利用率.     

存储框架模型在地震资料大数据中的应用

油气勘探领域的地震资料是一种典型大数据.运用超大规模并行处理应用软件对地震资料数据进行叠前偏移成像处理, I/O存储子系统成为整个系统的主要性能瓶颈.针对该问题,本文以存储主机集群、动态存储多路径与并行文件系统为关键技术进行有机结合,提出了一种存储框架模型,分析优越性,并对其进行部署.在典型应用场景下对系统的功能、性能进行测试,结果验证了系统的优点.     

Exploration on the Load Balancing Technique for Platform of Internet of Things

In recent years, the Internet of Things technology has developed rapidly, and smart Internet of Things devices have also been widely popularized. A large amount of data is generated every moment. Now we are in the era of big data in the Internet of Things. The rapid growth of massive data has brought great challenges to storage technology, which cannot be well coped with by traditional storage technology. The demand for massive data storage has given birth to cloud storage technology. Load balancing technology plays an important role in improving the performance and resource utilization of cloud storage systems. Therefore, it is of great practical significance to study how to improve the performance and resource utilization of cloud storage systems through load balancing technology. On the basis of studying the read strategy of Swift, this article proposes a reread strategy based on load balancing of storage resources to solve the problem of unbalanced read load between interruptions caused by random data copying in Swift. The storage asynchronously tracks the I/O conversion to select the storage with the smallest load for asynchronous reading. The experimental results indicate that the proposed strategy can achieve a better load balancing state in terms of storage I/O utilization and CPU utilization than the random read strategy index of Swift.     

剖析高性能存储系统中的存储区域网络

高性能存储系统（High Performance StorageSystem,简称HPSS）是专门为高性能计算机环境设计、管理和访问超大规模数据的层次化并行存储系统,可以在高性能计算机、磁盘、网络磁盘阵列、磁带库之间迁移大型的数据对象,支持高效的串、并行输入／输出及远程数据并行传输,数据传输速度只受底层计算机、网络和存储设备的限制。对HPSS以网络为中心体系结构进行了深入的研究与剖析,描述了目前存储区域网络（SAN）技术在HPSS中的应用情况,得出有助于构建高性能计算环境存储系统的看法和结论。     

对象存储系统中一种高效的分层对象布局算法

在对象存储系统中,如何有效地在对象存储设备上分布对象是其面临的重大挑战.需要一个能够常数时间内定位对象,同时能公平地分布对象以及自适应存储规模变化的对象布局算法.目前大部分布局算法只能适应单层模式,少数的多层模式对设备配置有严格的要求,而且无法在常数时间内定位对象,自适应性较差.提出了一种新的分层对象布局算法,首先使用最大最小聚类算法将设备集合进行分类,支持灵活的设备配置.然后使用提出的EFAH Hashing算法在集群间和集群内分布对象.理论和实验证明,新的分层对象布局算法可以在常数时间内定位对象,从而减轻元数据服务器的计算量.同时可以在设备之间较公平地分布对象,达到I/O负载均衡的目的.而且在设备集合变化时,迁移较少的对象数以满足对象再次分布的公平性.     

支持QoS确保的存储服务器服务资源分配算法

在电子商务、工业制造领域中,具有海量存储与高I/O吞吐能力的数据存储服务器得到了广泛应用。数据存储服务器提供QoS支持对应用需求而言很重要,但是实践中却很少有数据存储服务器提供了QoS支持。提出了一种支持服务质量区分并对高优先级用户提供服务质量保证的存储服务区服务资源分配算法,由于对高优先级用户请求与低优先级用户请求采用了可变服务质量区分因子,因而算法在提供服务优先级区分与确保高优先级请求服务质量的同时,减小了低优先级请求的请求丢弃率,同时最大化了服务资源利用率。     

Multimedia object modeling and storage allocation strategies

The improvements in disk speeds have not kept up with improvements in processor and memory speeds. Many techniques have been proposed and utilized to maximize the bandwidths of storage devices. These techniques have proven useful for conventional data, but when applied to multimedia data, they tend to be insufficient or inefficient due to the diversified data types, bandwidth requirements, file sizes and structures of complex objects of multimedia data. In this paper, we discuss the design of an efficient multimedia object allocation strategy that strives to achieve the expected retrieval rates and I/O computational requirements of objects; and also effectively balances the loads on the storage devices. We define a multimedia object model, describe the multimedia object and storage device characteristics, the classification of the multimedia objects according to their I/O requirements, and the fragmentation strategies. We use a bipartite graph model for mapping of fragments to storage devices. A cost function based on a disk utilization per allocated space, the amount of free space, and the bandwidth of a storage device is used to determine the optimal allocation for an object's data.     

一种基于对象的多媒体存储系统优化策略

设计一个实用的分布式多媒体服务系统,存储子系统是其中的一个研究重点.根据多媒体系统的存储特点,从全新的视角提出一种存储子系统设计方案--基于对象的多媒体存储系统(Multimedia Object-based Storage System,MOSS),并分析了MOSS的系统架构和工作流程.与传统的多媒体存储技术相比,对象存储不仅能有效地改善系统I/O性能,还具有较好的安全性.以对象存储原型系统为基础,讨论了热点对象文件的分布和均匀分块优化策略.通过建立与系统相对应的数学模型,对数传率、I/O请求丢失率等性能指标作了定性分析.该研究工作对消除多媒体服务系统I/O瓶颈、进行存储子系统设计具有实际的指导意义.     

A novel distributed architecture of large-scale multimedia storage system using autonomous object-based storage devices

In a large-scale multimedia storage system (LMSS) where the user requests for different multimedia objects may have different demands, placement and replication of the objects is an important factor, as it may result in an imbalance in loading across the system. Since replica management and load balancing is a crucial issue in multimedia systems, normally this problem is handled by centralized servers, e.g., metadata servers (MDS) in distributed file systems. Each object-based storage device (OSD) responds to the requests coming from the centralized servers independently and has no communication with other OSDs among the system. In this paper, we design a novel distributed architecture of LMSS, in which the OSDs have some kind of intelligences and can cooperate to achieve a high performance. Such an OSD, named as autonomous object-based storage device (AOSD), can replicate the objects to and balance the requests among other AOSDs, and handle fail-over and recovery autonomously. In the proposed architecture, we move the request balancing from centralized MDS to AOSDs and make the system more scalable, flexible, and robust. Based on the proposed architecture, we propose two different object replication and load balancing algorithms, named as “Minimum Average Waiting Time” (MAWT) and “One of the Best Two Choices” (OBTC), respectively. We validate the performance of the algorithms via rigorous simulations with respect to several influencing factors. Our findings conclusively demonstrate that the proposed architecture minimizes the average waiting time and at the same time carries out load balancing across servers.     

一种基于定制高性能互连的对象存储系统

基于高性能互连实现对象存储系统已经成为构建高性能计算机可扩展I/O系统的发展趋势。我们设计并实现了一种定制的高带宽、低延迟的高性能互连芯片HSNI,它提供了很好的通信性能,可用于构建对象存储系统。本文对HSNI的硬件体系结构、软件结构及其通信机制进行了介绍,并基于HSNI构建了高性能的对象存储系统。性能测试结果表明,HSNI芯片带宽高、延迟低,非常适合构建大规模对象存储系统,该存储系统能够很好地发挥Lustre系统的性能,并具有很好的可扩展性,能够很好地满足面向高性能计算的I/O系统需求。