一种海量数据分级存储系统TH-TS

随着数据存储规模的飞速增长,降低存储系统的总拥有成本,提高数据访问性能成为构建海量存储系统的关键.设计并实现了一个海量数据分级存储系统TH-TS(Tsinghua Tiered Storage),由多级存储设备构成一体化的数据存储环境.该系统提出了Cute Mig数据迁移方法:采用基于升级成本和升级收益的升级迁移策略和基于剩余空间的文件自适应降级选择策略,解决了传统on-demand迁移方法中迁移数据量大、访问性能不佳的问题.评测结果表明,TH-TS采用Cute Mig迁移方法的系统平均I/O响应时间比传统的LRU和GreedyDualSize方法分别降低了10%和39%左右,数据升级迁移量分别降低了32%和59%左右,降级迁移量分别降低了47%和66%左右.     

国产化环境下的海量小文件数据分布式存储技术

为缓解单一存储设备存储海量小文件的压力,提出了一种国产化环境下的海量小文件数据分布式存储技术。利用聚类算法实现海量小文件合并。以达到最大均衡度为目标,在多项约束条件下利用人工鱼群算法求解分布式存储方案。按照分布式存储方案将海量小文件数据迁移到存储节点及其存储设备上,完成海量小文件数据分布式存储。结果表明：14个存储节点和28个存储设备的内存占用较为均衡,内存资源利用率较高。将小文件样本迁移并存储到节点的过程中,分布式存储均衡度整体波动均超过设定的阈值1.0,说明分布式存储均衡度较好,证明了所提存储技术的有效性。     

分级存储系统中一种数据自动迁移方法

分级存储系统通过将数据在不同性能设备间动态迁移以达到高性能.已有分级存储系统未能充分利用负载信息导致数据迁移严重影响应用性能.提出了一种分级存储系统中的数据自动迁移方法AutoMig,目标是提高前台应用的I?O性能.AutoMig综合文件访问历史、文件大小、设备利用情况等参数,对文件进行动态分级,并使用LRU队列维护快速存储设备中的文件状态;挖掘关联文件用于自动预取;针对不同文件迁移操作采取不同的速率控制策略.对降级操作,根据负载变化动态调整迁移速率,对回迁操作则采取尽力而为的策略.在分级存储系统中的应用表明,与已有方法相比,AutoMig有效缩短了前台I?O响应时间.     

基于随机森林的高能物理数据放置策略

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。     

基于pNFS的小文件间数据预读机制研究

随着信息技术飞速发展,小文件的数量越来越多.高效管理海量小文件、提供低延时的小文件访问服务,是并行网络文件系统的研究热点.小文件数据读取访问中,由于数据读取粒度小并且不同小文件之间的数据访问空间连续性差,难以发挥数据存储设备的大粒度顺序访问的性能优势,导致小文件的访问性能远远低于大文件的访问性能.在扩展只读目录授权机制框架下,提出一种小文件间数据预读机制,充分发挥了数据存储设备大粒度顺序访问性能的优势,大幅降低了小文件数据读取访问延迟.典型应用环境实测表明,对比pNFS系统,小文件数据顺序读取访问性能最高可提升8.92倍,随机读取性能最高可提升11.82倍.     

内存云分级存储架构下的数据迁移模型

为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。     

面向NVM存储系统的快速文件访问系统

NVM存储设备系统具备提供高吞吐的潜质,包括接近内存的读写速度、字节寻址特性和支持多路转发等优势。但现有的系统软件栈并没有针对NVM去设计,使得系统软件栈存在许多影响系统访问性能的因素。通过分析发现文件系统的锁机制具有较大的开销,这使得数据的并发访问在多核心环境下成为一个难题。为了缓解这些问题,设计了无锁的文件读写机制以及基于字节的读写接口。通过取消基于文件的锁机制改变了粗粒度的访问控制,利用自主管理请求提高了进程的并发度;在设计能够利用字节寻址的新的文件访问接口时,不仅考虑了NVM存储设备的读写非对称,还考虑了其读写操作的不同特性。这些设计减少了软件栈的开销,有利于发挥NVM特性来提供一个高并发、高吞吐和耐久的存储系统。最后利用开源NVM模拟器PMEM实现了FPMRW原型系统,使用Filebench通用测试工具对FPMRW进行测试与分析,结果显示,FPMRW相对EXT+PMEM和XFS+PMEM能提高3%~40%的系统吞吐率。     

海量网络数据智能分级存储技术研究

随着网络的普及和应用,诞生了海量的网络数据,因此针对海量网络数据实施有效的存储,可以提高数据的访问效率和安全性。文章详细地分析了海量网络数据智能分级存储现状,提出了一种智能分级存储系统,并且研究了智能分级存储的数据分类技术、数据放置技术、数据迁移技术等关键技术。     

海量分级存储系统中磁带访问性能优化

磁带是顺序访问设备,其访问性能因受到多方面因素的影响而变化很大,因此进行针对性的优化非常必要;采用基于磁盘-磁带的分级存储管理是海量存储系统中最常用的技术手段之一,首先对当前磁带访问的现状和影响因素进行分析,然后对性能优化方法进行探讨,包括驱动器调度、迁移策略、文件大小、磁带文件顺序等;实验结果表明,海量分级存储系统将网络存储架构与磁带存储结合起来,具有良好性价比,在高能物理、数字媒体等领域得到广泛应用。     

海量信息分级存储数据迁移策略研究

以数据为中心的计算模式对存储系统的性能和可靠性提出了新的更高的要求。目前,PB量级的存储系统需要数千甚至上万块磁盘,高并行性、高可靠性和高性价比是海量磁盘存储系统的三项关键要求。本文提出由性能和可靠性不同的两级磁盘阵列组成二级海量存储系统,通过数据自动迁移,可在保证存储系统高性价比的条件下,获得更高的并行访问速率和可靠性。本文基于分级存储管理的思想,提出了FC—SAS和SATAII两级存储模型,设计了FV数据价值评定模型和迁移过程控制策略,实现对数据价值的精确判定,在尽量减小对系统访问性能影响的基础上,实现数据在两级设备间的高效迁移和用户的透明访问。     

Data Utilization-Based Adaptive Data Management Method for Distributed Storage System in WAN Environment

Recently, research on a distributed storage system that efficiently manages a large amount of data has been actively conducted following data production and demand increase. Physical expansion limits exist for traditional standalone storage systems, such as I/O and file system capacity. However, the existing distributed storage system does not consider where data is consumed and is more focused on data dissemination and optimizing the lookup cost of data location. And this leads to system performance degradation due to low locality occurring in a Wide Area Network (WAN) environment with high network latency. This problem hinders deploying distributed storage systems to multiple data centers over WAN. It lowers the scalability of distributed storage systems to accommodate data storage needs. This paper proposes a method for distributing data in a WAN environment considering network latency and data locality to solve this problem and increase overall system performance. The proposed distributed storage method monitors data utilization and locality to classify data temperature as hot, warm, and cold. With assigned data temperature, the proposed algorithm adaptively selects the appropriate data center and places data accordingly to overcome the excess latency from the WAN environment, leading to overall system performance degradation. This paper also conducts simulations to evaluate the proposed and existing distributed storage methods. The result shows that our proposed method reduced latency by 38% compared to the existing method. Therefore, the proposed method in this paper can be used in large-scale distributed storage systems over a WAN environment to improve latency and performance compared to existing methods, such as consistent hashing.     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。     

一种基于模块化设计的NAS集群存储系统

针对信息中心等中高端存储系统需求,为保证海量数据和高并发访问的应用,设计具有高可靠性、高可扩展性、高性能的NAS集群存储系统。该NAS集群存储系统具有支持十亿级文件数量,PB级存储容量,数十GB的聚合带宽,可以满足高性能计算、网站、文件服务、流媒体、数字化视频监控、文件备份等领域的应用。并针对不同的客户需求,可以提供不同的主机接口,具有较强的适应性。     

高能物理计算环境中存储系统的设计与优化

高能物理是典型的数据密集型计算,数据访问性能对整个系统至关重要并与应用的计算模式密切相关.从剖析高能物理的典型计算模式入手,总结出其数据访问的特点,提出针对操作系统I/O调度、分布式文件系统缓存等多个因素的优化措施,优化后数据访问性能和CPU利用率明显提高.大规模存储系统对于元数据管理、数据可靠性、扩容等可管理性等功能也有较高要求,结合现有Lustre并行文件系统的不足,提出了Gluster的高能物理存储系统设计,在进行数据管理以及扩容等方面的优化后,系统已经正式投入使用,数据访问性能能够满足高能物理计算的需求,同时具有更好的可扩展性和可靠性.     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

BLOB数据优化算法及其应用

为了提高WEB信息系统中存取非结构二进制数据文件存取效率,对基于关系数据库的BLOB数据存取技术及算法优化进行了研究;综合运用了ADO.NET 3.5数据访问接口和内存缓冲区机制,阐述了BLOB存取的原理和算法,并提出了BLOB存储的优化算法;通过建立不同的存储模型,比较了数据存取效率,两种存取方案中,采用对BLOB分块传输和分块存储的改进算法明显改善了存取效率;算法测试和实际应用的结果表明,BLOB数据优化算法具有更高的存取效率和可靠性,已经成功应用于某高校多媒体教学平台中。     

基于对象存储的集群存储系统设计

集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超大容量的目录,明显地减少网络访问消息数量,提高访问性能,并且解决了因为修改目录而导致的大量元数捂迁移问题。     

多级存储数据价值评定研究

数据价值评定是多级存储中必不可少的重要部分,评值方法是否准确和合适直接影响了整个多级存储系统的优劣.但评定数据价值时需考虑的因素很多,如何选择和综合权衡这些因素是一个难点.另外,目前还没有评价数据价值评定方法优劣的权威标准.本文对多级存储中的数据价值评定问题进行了研究,提出通过准确度、适应度和依赖度3方面指标评价数据价值评定方法的优劣;对比了当前的各种方法并归纳其发展趋势;展望了未来研究方向,指出不同优化目标下的数据价值评定和结合固态硬盘的多级存储数据价值评定在未来的研究价值.     

基于多路径地震资料处理集群存储系统

石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.