动态虚拟盘阵数据分布算法

尽管当今的磁盘等外存储设备容量增加得很快，但还是无法满足用户应用程序的需要；在性能上，外存储设备已经成为计算机系统的瓶颈；为此，在集群环境下，将分布式的外设构成动态虚拟盘阵系统是一种较好的解决方案，而数据分布算法是动态虚拟研究的一项重要内容。也就是说，采用优化的数据分布算法，使得盘阵的性能和容量随盘阵的扩展而扩展。研究的主要工作是综述以往对动态盘阵数据分布算法，并对以往SCADDAR算法进行了扩充，提出了D／H(Double／Halve)数据分布算法。     

负载自适应的存储池数据重构策略

大数据时代各应用领域对计算机存储系统的性能和可靠性需求与日俱增。新型存储介质为计算机存储系统的性能提升提供了良好的机遇,基于固态盘的存储阵列（RAIS）已在各种存储系统中广泛使用。传统RAIS系统中当一块固态盘出现故障时,通过数据重构操作恢复故障盘的数据,重构时间长,且影响对上层应用提供I/O访问服务的能力。针对该问题,设计实现了基于多线程并发处理的存储池架构,该架构能够并发处理存储池中的I/O请求,提高用户I/O和数据重构I/O的访问性能。提出了一种负载自适应的I/O调度策略,能够在保证用户I/O服务质量的同时,提升数据重构效率。实验结果表明,基于存储池的多线程并发I/O处理架构能够提升数据重构性能,负载自适应的I/O调度策略能够根据用户I/O的负载情况动态调整用户I/O和数据重构I/O的调度比例,在保证用户I/O服务质量的同时,提升数据重构效率。     

动态分片在线聚集

传统的在线聚集方法为了避免执行中随机I/O导致的性能下降,假设数据本身近似随机分布于数据文件中,用顺序I/O来代替随机I/O. 数据随机分布于数据文件的假设在很多实际的应用场景中是难以成立的,从而导致查询结果产生很大误差.提出了动态数据分片在线聚集算法DDPOA(dynamic data-partitioned online aggregation),将整个数据集分片,对各个子数据集独立计算,线性组合子集结果进而得到全集最终结果,一方面降低了在线聚集对整体数据集随机分布的要求,提高了准确性,另一方面动态调整分片数量以改善I/O性能,缩短完成时间.真实系统负载上的实验表明:DDPOA与传统在线聚集相比,在完成时间相差不大的情况下准确性有了大幅提高.     

高性能气象数据存储集群及在线扩展技术应用

为了满足气象数据快速增长和高效应用的业务需求,设计采用基于SAN和GPFS的高性能存储集群进行数据存储,并随着数据量的快速增长,实现灵活在线扩展以满足数据存储需求.结合国家级气象资料存储检索系统、省级风能资源数据库共享服务系统和风能资源数值模拟系统的存储设计,阐述基于SAN和GPFS技术的存储集群架构,并重点介绍存储集群的在线扩展技术的实现.基于SAN和GPFS的存储集群在线扩展技术包含在线扩展服务器节点、在线扩展存储容量和在线扩展文件系统容量三方面,实现了气象数据存储系统随着业务数据变化的灵活扩展,使系统具备优秀的扩展性和适应性.     

Beacon+：面向E级超级计算机的轻量级端到端I/O性能监控与分析诊断系统

随着E级计算的屏障被打破,高性能计算已经迈入了新时代。为了满足日益增长的数据访问需求,新兴的技术和存储介质都被运用到了超级计算机中,这使得其架构变得日趋复杂,其性能异常和系统热点定位也变得十分困难。为此,设计并实现了一个面向E级超级计算机的轻量级端到端I/O性能监控与分析诊断系统——Beacon+。该系统无需修改应用代码/脚本即可对每个应用的数据访问过程进行全路径实时监控与分析。通过在线+离线的压缩方法和分布式缓存/存储等机制,Beacon+在保证系统本身高扩展性、低开销的同时还可以持续稳定地提供I/O诊断服务。以神威新一代超级计算机为部署平台,通过I/O标准测试应用和实际应用证明了Beacon+的低开销和高准确性,以及I/O诊断的高效性。     

高性能计算环境下基于远程I/O负载平衡调度算法*

在高性能计算环境中数据和应用程序往往分散在不同的节点,远程I/O的效率成为影响高性能计算性能的一个重要因素。为了提高系统的I/O效率,引入了一种基于远程I/O负载平衡调度算法。该算法采用了一种预约机制,可以对节点I/O负载进行动态调整、更好地利用网络带宽。详细介绍了该算法的实现过程,并且在一个模拟环境下对该算法的效果进行了评测。     

弹性分布式缓存动态扩展方法研究

对弹性分布式缓存动态扩展机制实现中的关键问题进行了研究。针对动态扩展时的数据重均衡问题,提出了一种适用于异构环境的热点感知的数据重均衡算法(hotspot sensitive data rebalancing algorithm,HSDRA)。该算法同时考虑内存占用和网络流量的均衡,在线识别热点分区,优先确保其在各缓存节点间均衡分布。针对动态扩展时缓存服务的数据一致性和持续可用性保障问题,分别提出了一种基于两阶段请求的数据访问协议和一种受控的数据迁移算法。实验结果表明,该方法能够在保障数据一致性和持续可用性的要求下实现缓存系统的动态扩展,HSDRA算法与未考虑各分区实际负载的加权静态数据重均衡算法相比响应时间更短。     

一种Spark集群下的shuffle优化机制

Spark是基于内存的分布式数据处理框架,其shuffle过程中大量数据需要通过网络传输,已成为Spark最主要的瓶颈之一。针对shuffle过程中存在的数据分布不均造成不同节点网络I/O负载不均的问题,设计了基于task本地性等级的重启策略,进一步提出了均衡的调度策略来平衡各节点的网络I/O负载。最后通过实验验证了优化机制能够减少计算任务的执行时间,提升整个shuffle过程的执行效率。     

一种基于虚拟机的高效磁盘I/O特征分析方法

于磁盘系统的机械运动本质,磁盘系统I/O往往会成为计算机系统的性能瓶颈.为了有效地提高系统性能,收集和分析应用系统的磁盘I/O特征信息将成为性能优化工作的重要基础.与以往I/O特征分析方法不同,给出了一种基于Xen 3.0虚拟机系统的磁盘I/O特征在线分析方法.在虚拟机环境下,该磁盘I/O特征采集方法可以透明地应用于任意无须修改的操作系统.该方法可以高效地在线采集多种基本I/O特征数据,其中包括:磁盘I/O块大小、I/O延迟、I/O时间间隔、I/O空间局部性、时间局部性以及磁盘I/O操作热点分布.通过测试和分析,该在线I/O分析方法有着较小的系统开销,并且对应用系统I/O性能的影响很小.此外,还给出了在大文件拷贝、基于Filebench的filemirco和varmail等工作负载下的I/O特征分析结果.     

一种共享对象存储的并行文件系统设计

高可用和动态可扩展特性是并行文件系统设计实现中的难点.利用对象存储在I/O性能、可用性和可扩展性方面的优势,提出一种共享对象存储的并行文件系统设计,在保证高性能I/O的基础上,侧重提高系统的可用性和动态可扩展性.     

RAID系统的结构化模型、

分析RAID系统组成,按功能分成target,内存管理,RAID管理和initiator四个部分,对各个部分的功能简单说明。     

虚拟盘阵系统中的自适应负载平衡

集群环境中经常采用虚拟盘阵方式来构建其存储系统。虚拟盘阵系统是一种并行系统，负载平衡对其性能影响非常大；同时虚拟盘阵系统一般都是异构的。本文研究了异构盘阵的负载平衡标准，并提出了基于请求的负载重构策略，在负载重构时机上对传统磁盘冷却算法进行了改进。模拟试验表明，该算法对虚拟异构盘阵是有效的。     

磁盘Striping技术的实现与分析

本文简要分折了高性能计算机系统对磁盘子系统性能的要求,详细讨论了提高磁盘子系统性能的主要方法。     

高端磁盘阵列体系结构分析

本文介绍了两种市场主流高端磁盘阵列的体系结构,阐述了软件对提高存储服务器性能的作用,比较了两种高端磁盘阵列,最后总结了高端磁盘阵列所采用技术并预测未来发展趋势.     

RAID控制器中磁盘接口控制器流水线设计与实现

在研究磁盘接口功能和现有磁盘接口设计的基础上,提出了一种带四级流水的磁盘接口设计模型,并对该模型实现过程中的模块间通信问题和模块间缓冲管理问题进行了相应的分析和设计。通过FPGA仿真与实验结果表明,在各种情况下,磁盘接口的吞吐率都有提高,在高写请求率和重负载两种情况下尤为显著。     

连续媒体服务器存储系统中的容错算法

连续媒体服务器(如VOD服务器)要对大量连续媒体数据(如声频、视频)进行管理,按一定速率为用户提供连续的媒体服务。因此,在这样的系统中,作为存储设备的磁盘阵列要具有高可靠性和一定的容错能力。文章提出一种基于奇偶检验的数据重构恢复算法,以保证系统中只有一个盘出现故障时,能使服务器及时重构出故障盘上的数据,并且算法充分利用了媒体流内在特性———回放时数据的连续性,与目前使用的标准故障恢复算法相比,大大减少了磁盘在线故障后数据重构过程的系统开销。最后通过分析、比较证明了算法的有效性。     

Infiniband通道磁盘阵列中目标器的设计与实现

磁盘阵列对海量信息的存储与处理,数据的可用性和性能具有重要的意义,目标器为主机提供设备映射和设备访问接口.设计和实现了SRP协议的目标器,通过主机HCA卡GUID标识来实现存储系统逻辑资源的授权访问,对目标器对读写请求的处理流程进行了介绍,采用评测工具对SRP协议目标器模块进行了性能测试,测试结果表明SRP协议目标器具有较好的性能,最高数据传输率达到IB理论带宽的极限.     

用遗传算法解决基于分条技术的磁盘负载均衡问题

如何提高存储子系统的I／O性能一直以来都是计算机领域的一个研究热点，而目前提高存储子系统的I／O性能的一个最大障碍就是负载不均衡．文章通过研究磁盘负载均衡问题，提出了一种采用遗传算法来实现基于分条技术的磁盘动态负载均衡算法．该方法包括基于分条技术的文件划分算法和为实现负载均衡的文件分配算法．根据遗传算法对种群进行编码、选择、杂交操作和变异操作，从而产生出满足负载均衡条件的映射方案．最后通过实验仿真证明该算法止确有效．     

探析SAN存储光纤盘阵的配置

该文从介绍SAN的存储架构出发,引出了对核心存储阵列相关概念如：Raid Group、LUN、Storage Group的介绍。然后以南通电视台制作网存储盘阵为例详细阐述了从规划到具体配置的过程,期望对需要了解此类知识人提供一定的帮助。