基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

可扩展的分布式元数据管理系统设计

为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据集群负载情况调整目录子树,实现元数据信息在元数据集群中的合理存储和分布。实验结果证明,该算法能提高元数据的访问和检索性能,提供可扩展及动态负载均衡的元数据服务,以保证该元数据管理系统的可用性、扩展性及I/O性能不会因存储规模扩大而受到影响,满足高能物理实验日益增长的存储需求。     

Ro-RAT系统随机调度算法

I/O调度对存储系统的性能、响应速度有很大的影响。本文介绍了一种用于地质勘探领域数据存储的Ro-RAT(ReadOnly RAID-tape-library)系统。该系统采用磁盘作为磁带库的缓存系统,以提高整个系统的读取速度。我们设计了一种适合该系统的磁带I/O调度算法SCAN-M。该算法与应用于磁盘I/O调度的电梯算法类似,但针对磁带的特点进行了调度的排序和合并。从仿真结果看,SCAN-M算法对系统的I/O性能有较大的改进。     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。     

ZFS在基于HDFS的近线存储系统中性能分析与实现

通过将云计算技术应用于近线存储领域,设计实现了基于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的海量近线存储系统,用以扩展TH-1A超级计算机在线存储系统空间,提高系统利用率.该系统采用胖存储节点(大型的存储服务器)构建基于HDFS的近线存储集群,通过ZFS文件系统来解决HDFS存在的低效和空间利用率低的问题,采用双副本冗余、虚拟存储、动态管理等方法优化存储服务器存储和管理效率,提高了近线存储系统性能.实验结果表明,与传统HDFS集群存储系统相比,该系统在可靠性、经济性及灵活性上均具有一定的优势.     

基于弹性服务的云平台的构建研究

在云计算的发展历程中,云计算平台的弹性服务机制做出了巨大的贡献。但目前的弹性云服务并不完善,以虚拟机为单位的资源动态调度和管理还存在一定程度的问题。笔者以OpenStack为例,对具有弹性服务的云计算平台的构建进行了研究。针对OpenStackSwift存储管理系统存在功能效率低、负载分发不均衡、基于MySQL后端认证性能低等问题,采用的Swift存储系统与HDFS、Ceph等相结合的存储系统管理方法、使用带反馈的负载均衡加权算法、添加LDAP后端认证的方法进行改进。经过验证,此方案可达到减少资源开销、提高资源利用率的效果。     

眼科医疗影像文件存取下的HDFS负载均衡

在HDFS系统中,集群负载分配不均衡成为影响分布式文件存取速度的瓶颈。针对医院信息系统的负载现状,提出多属性双阈值决策的动态负载均衡算法,对分布式集群中使用HDFS默认的单属性评价、单阈值的负载均衡策略存在的缺陷加以改进。通过负载性能测试,对比证明运用多属性双阈值的负载均衡算法相比较HDFS默认的负载均衡更有利于将大量的影像负载数据相对均衡地分配到服务器集群中的各个节点上,大幅度地缩短了增加数据规模时数据服务器节点的平均响应时间,有利于提高HDFS集群整体的工作效率。     

基于磁光虚拟存储系统的文件调度算法

基于光盘库的Hadoop分布式文件系统（HDFS光盘库）在单位存储成本、数据安全性、使用寿命等方面非常符合当前大数据存储要求，但是HDFS不适合存储大量小文件和实时数据读取。为了使HDFS光盘库能更好地运用到更多大数据存储场景，本文提出一种更加适合大数据存储的磁光虚拟存储系统（MOVS, Magneto-optical Virtual Storage System）。系统在HDFS光盘库与用户之间加入磁盘缓存，并在磁盘缓存内通过文件标签分类、虚拟存储、小文件合并等技术将磁盘缓存内小文件合并为适合HDFS光盘库存储的大文件，提高系统的数据传输速度。系统还使用了文件预取、缓存替换等文件调度算法对磁盘缓存内文件进行动态更新，减少用户访问HDFS光盘库次数。实验结果表明，MOVS相对HDFS光盘库在响应时间和数据传输速度方面得到很大改善。     

一种NAS系统的设计模型与性能分析研究

与传统的存储服务器相比，附网存储体系具有诸多的优点．它实现了数据在存储设备到客户机之间的直接传输，提高了系统的整体性能，是目前新型的分布式存储解决方案．文中分析了基于附网存储的数据传输特点，并在此基础上提出了系统实现的设计模型．同时，我们对两种不同的存储方案造成的性能差异进行了研究，结果表明，附网存储系统能够有效地减轻服务器的负载，更充分地利用网络资源，如磁盘中缓存、磁盘处理器性能等．     

海量分级存储系统中磁带访问性能优化

磁带是顺序访问设备,其访问性能因受到多方面因素的影响而变化很大,因此进行针对性的优化非常必要;采用基于磁盘-磁带的分级存储管理是海量存储系统中最常用的技术手段之一,首先对当前磁带访问的现状和影响因素进行分析,然后对性能优化方法进行探讨,包括驱动器调度、迁移策略、文件大小、磁带文件顺序等;实验结果表明,海量分级存储系统将网络存储架构与磁带存储结合起来,具有良好性价比,在高能物理、数字媒体等领域得到广泛应用。     

视频服务器存储子系统的I/O优化

视频服务器存储子系统的I／O性能决定了视频服务器的总体性能。本文提出的一种新的实时磁盘调度算法（LLF－Window)能有效地服务各种编码格式的视频流，并对传统的SCSI总线不均衡调度机制进行了改造，实验结果表明，新的磁盘调度算法和改造后的SCSI总线调度机制有效地改进了视频服务器存储子系统的I／O性能，保证了视频流的连续播放。     

基于随机森林的高能物理数据放置策略

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。     

面向大数据分布式存储的动态负载均衡算法

随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Fe-deration)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。     

Hadoop海量数据迁移系统开发及应用

当前高能物理实验产生的数据量越来越大，利用大数据处理平台Hadoop进行高能物理数据处理时，面临数据迁移的实际需求，而现有迁移工具不支持HDFS与其他文件系统间的数据传输，性能存在明显缺陷。从高能物理数据同步、归档等需求出发，设计和实现了一个通用的海量数据迁移系统，通过扩展HDFS数据访问方式，使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外，系统设计实现了动态优先级调度模型，进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站（LHAASO）宇宙线等物理实验中的数据迁移，实际运行结果表明系统性能良好，能够满足各个实验的数据迁移需求。     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.     

一种元数据服务器集群的负载均衡算法

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章.本文中采用元数据请求的响应时间来衡量一个元数据服务器的负载情况,首先从映射算法上实现静态负载均衡,并针对元数据热度差别大而引起的负载不均衡引入动态负载均衡,通过仿真结果显示其有效性.     

一种新型分布式元数据管理策略

高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略,并实现了相应的分布式元数据管理系统：利用负载均衡算法,对元数据进行迁移,保证了粗粒度负载信息收集,细粒度调整的均衡策略. 多项实验的结果表明,该策略能实现元数据负载均衡,降低用户请求处理延迟,提高分布式系统的可扩展性和可用性.     

MapReduce框架下一种负载均衡的Top-k连接查询算法

针对传统Top-k连接查询算法在处理海量数据时的时效问题,提出一种基于MapReduce框架的负载均衡的并行Top-k连接查询算法(P-TKJ)。使用直方图形式来存储数据,有助于提高CPU的利用率。同时融入了提前终止策略和磁盘数据的选择性访问,以便提高对HDFS数据访问的性能。另外,提出了一种基于最长处理时间优先(LPT)算法的负载均衡策略来均衡Reduce任务,以此设计出高效的并行Top-k连接算法。一个集群实验结果表明,该方法能够有效缩短算法的执行时间。     

服务器性能预测的递归神经元网络方法

正确有效地预测服务器性能负载,是计算机系统性能管理系统的一个重要环节。通常,传统的预测方法有最小二乘、二次指数平滑法等,但这些模型往往不能很好地捕捉服务器性能负载数据的时序关系。利用基于局部回归的递归神经网络（RNN）,采用改进的RPROP学习算法进行服务器性能负载的预测。并与传统的二次指数平滑法相比较,实验结果证明,RNN得到的预测结果要比二次指数平滑法高出5个百分点以上,并且有较强的预测能力,可以预测较长周期的数据。