GEP在磁盘负载均衡方面的应用研究

如何提高存储子系统的 I/O性能一直以来都是计算机领域的一个研究热点 ,而目前提高存储子系统的 I/O性能的一个最大障碍就是负载不均衡。提出了一种采用基因表达式编程 ( GEP)来实现基于分条技术的磁盘动态负载均衡的算法。该方法包括基于分条技术的文件划分算法和为实现负载均衡的文件分配算法。该算法采用多基因家族结构的染色体编码来表示物理磁盘组与逻辑磁盘的映射关系。在操作上 ,采用选择复制、倒置和交换等特殊的搜索算子。     

基于RAM/Disk混合设备模型的FC-SAN存储系统

磁盘存取是基于光纤通道网络的SAN存储系统的目前性能瓶径，在综合和分析目前各种文件系统I／O操作工作负载的研究结果的基础上，提出了一个新的改进FC-SAN存储系统性能的方法：将各种文件系统I／O操作分为大数据量的文件读写操作、小数据量的文件读写操作和文件属性操作，大数据量的文件读写操作还是按照原来的I／O路径进行，存取物理磁盘；但其他各种文件操作包括小数据量的文件读写操作对基于内存的RAMDisk设备进行操作，实验结果显示，基于混合I／O子系统的FC-SAN存储系统的存取速率可以接近线速。     

视频服务器存储子系统的I/O优化

视频服务器存储子系统的I／O性能决定了视频服务器的总体性能。本文提出的一种新的实时磁盘调度算法（LLF－Window)能有效地服务各种编码格式的视频流，并对传统的SCSI总线不均衡调度机制进行了改造，实验结果表明，新的磁盘调度算法和改造后的SCSI总线调度机制有效地改进了视频服务器存储子系统的I／O性能，保证了视频流的连续播放。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

集群计算并行I/O中动态文件分配策略

针对集群计算系统中并行I／O文件分配问题进行了研究,提出一种新的动态文件分配算法一启发式负载与服务时间变化综合平衡策略。该策略将所需要的访问服务时间相似的文件分配到集群系统的同一结点磁盘上,并保证每个磁盘上的负载值不超过负载平衡的极限值,从而在所有结点磁盘间既基本实现负载均衡,又使每个磁盘上文件间的服务时间变化最小化。实验结果表明了该策略在性能提高方面的有效性。     

Oracle基于磁盘竞争的解决方案

Oracle中磁盘竞争是影响I／O速度、降低系统性能的常见问题，可以通过分离顺序I/O、利用分片技术分散随机I／O；分别存储数据和索引、消除磁盘上的非Oracle的I／O操作、减少数据迁移和数据链接、减少碎片等方法有效地减少磁盘竞争．提高系统性能.     

一个Linux多路径磁盘过滤驱动程序

研究Linux系统中多路径磁盘过滤驱动程序的设计和实现。驱动程序将物理磁盘的多路径封装为一个虚拟没备。虚拟设备的I／O请求转发到磁盘设备上执行，由路径选择算法将主机的负载均衡地分配到各路径上。当路径发生故障时由驱动程序将失败的I／O请求切换到其它路径，屏蔽了路径故障。驱动程序利用多路径改善了主机的I／O性能，提高了系统的可用性。     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

异构存储共享系统的设计与实现

对基于SAN的异构系统间文件共享问题进行研究,采用异步I／O访问模式、缓冲I／O及双重缓冲区等优化方法,提高了系统运行性能,使得大型机与开放系统对SAN的磁盘子系统的存储共享效率更高。通过SAN连接大型机、Unix工作站、Window工作站和磁盘阵列,同时系统还提供一组文件访问API供上层应用程序调用。系统具有海量存储、高速数据存取、高可用性以及高可靠性等突出特性。     

NAS设备的磁盘调度模型分析

附网存储 (NAS)设备的性能目标是优化网络存储数据访问和存储子系统的管理 .本文旨在显示随着磁盘转速的增加 ,NAS应该从磁盘硬件的最佳工作性能出发 ,整体配合以提高它的 I/O操作性能 .为了发掘 NAS最佳的工作性能 ,我们建立同时基于磁臂位置和旋转位置的精确的磁盘调度模型 ,并提出测量调度算法性能的方法 .以 HP975 6 0性能参数为基础 ,进行理论分析和模拟测试 .结果磁盘转速越快 ,磁盘访问的开销越大 .因此 ,NAS设备的设计必须从整体上考虑磁盘调度策略的选择 ,并行多磁盘结构的选择 ,文件 cache的分配和文件系统布局等 ,以便提高网络存储数据访问的性能     

一种智能网络磁盘文件数据容错算法

针对目前存储系统中的DAS、NAS存储方案存在的单点故障与性能瓶颈问题,介绍了一种新型的智能网络磁盘(IntelligentNetwork Disk,IND)存储系统结构,提出了一种面向智能网络磁盘存储系统的文件数据容错算法,理论分析和仿真实验结果表明:多个智能网络磁盘(IND)采用这种容错算法时,其并行数据读取性能良好,已经具备很强的单点容错能力;这表明文中提出的文件数据容错算法能够实现智能网络磁盘之间的容错处理。     

WindowsNT环境下缓存磁盘技术驱动程序的设计与实现

随着计算机性能的迅速提高,系统越来越强烈地要求所配置的高速外存储器有更好的联机性能,I／O性能增长与CPU速度增长的严重失配,使I／O并颈问题日超严重,本文研究了Windows NT系统下的一种用来改善磁盘小写I／O（写请求的长度小于16K）性能的新途径0－缓存磁盘技术,它采用了多级Cache的存储思想,在办公／工程负载环境中的
峰值性能相对于常规磁盘有很大的提高。本文深入了研究了缓存磁盘技术在Windows NT环境下驱动程序的结构和原理,并详细阐述了具体的实现机制和方法。     

智能网络磁盘调度算法

针对当前网络存储系统中存在的问题,提出了基于智能算法的智能网络磁盘IND的存储方案,探讨了IND系统的结构,设计了相应的应用协议,实现了智能网络磁盘调度算法。通过应用协议实现了对外虚拟存储,并将文件服务器分放到智能磁盘,避免了单点故障和性能瓶颈。通过对多个磁盘的并行调度算法,实现了并行传输,提高了文件的传输速度。以此为基础,设计和实现了IND模拟程序。试验结果显示,智能网络磁盘有助于避免单点故障,提高数据文件的传输效率。     

一种基于网络磁盘阵列的高性能海量存储系统

网络磁盘阵列将传统的以服务器为中心的存储转发改变为以数据为中心的直接传输，从而消除了传统模式下的服务器I／O瓶颈．本文基于网络磁盘阵列构建出一种高性能的海量存储系统，其文件集中管理和数据分布存储的体系结构不仅加快了数据传输速度、降低了存储管理开销，同时也实现了命令与数据分流、扩容与增速同步的目标，从而大大提高的整个存储系统的性能．     

一种分布式存储系统用户磁盘配额的实现

用户磁盘配额可实现集群系统中分布式文件系统资源的管理和控制.在分布式文件系统中常使用多数据服务器来扩充文件系统的存储空间、提高并行数据IO的能力.结合NFS,Lustre中分布式配额实现方式,提出了一种适合对等存储模式下的用户磁盘配额策略.该策略使用静态设置和动态调整相结合的方式,能够很好地解决多数据服务器用户配额使用空间不均匀的问题;它可以运行在全局文件系统的所有客户端,避免了单客户端节点失效的问题,且对文件系统性能影响较小.     

Infiniband通道磁盘阵列中目标器的设计与实现

磁盘阵列对海量信息的存储与处理,数据的可用性和性能具有重要的意义,目标器为主机提供设备映射和设备访问接口.设计和实现了SRP协议的目标器,通过主机HCA卡GUID标识来实现存储系统逻辑资源的授权访问,对目标器对读写请求的处理流程进行了介绍,采用评测工具对SRP协议目标器模块进行了性能测试,测试结果表明SRP协议目标器具有较好的性能,最高数据传输率达到IB理论带宽的极限.     

磁盘阵列的电子物证检验研究

磁盘阵列在信息系统中的应用越来越广泛。由于磁盘阵列基于磁盘组合进行数据存储．单独的磁盘数据通常总是不完整的数据,无法从中获取能够理解的内容,这就需要对磁盘阵列的数据存储组织方式进行深入研究,按照其组织方式进行数据重组,即使超出了阵列的冗余能力,也必须对缺失的数据进行补0处理后执行不完整重组,从而最大限度地获取可读数据,为查办案提供有力的数字证据,本论文正是这一课题的简要总结。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.