基于NAND FLASH的多路并行存储系统中坏块策略的研究

大规模固态闪存系统可以引入多路并行技术来支持高速数据传输,但随着闪存存储容量增加也需要采取有效的坏块处理机制来解决严重的坏块访存问题.面向NAND FLASH多路并行固态存储系统,提出了一种高效坏块管理策略,采取并行存储坏块编码技术来节约坏块表存储空间,减少坏块处理功耗,同时采取坏块表重构处理技术有效解决了系统中的同位置坏块难题.针对四路并行的NAND FLASH存储系统,实验结果表明:该策略节约了25%的坏块表RAM存储空间,提高了约1.5倍的查询效率,降低了约30%的坏块处理功耗,并对并行存储数量具有良好的可扩展性.     

基于FPGA的NAND Flash坏块处理方法

针对NAND Flash在存储数据时对可靠性的要求,分析传统坏块管理方式的弊端,提出一种基于现场可编程门阵列(FPGA)的坏块处理方案,采用在FPGA内部建立屏蔽坏块函数的方法屏蔽坏块。该方法彻底屏蔽对坏块的操作,可以实现对Flash的可靠存储。实际工程应用证明其具有较高的可靠性。 关键词：     

高效动态存储再分配方案与实现

为提高大小和数量都不确定的数据动态存储的空间利用率和处理速度,针对常规系统动态存储分配存在的问题,提出一种高效的动态存储再分配方案。通过减少系统动态存储分配的执行次数,在有效提高存储空间利用率的同时,提高存储空间动态分配的速度,给出动态存储再分配方案的具体实现算法,用实际数据对其性能进行测试。测试结果表明,该方案能节省36％至75％的系统存储空间,分配速度提高了20至50倍。     

一种高效的星载高速固态存储器坏块管理算法

随着卫星技术的发展和功能的多样化,星载固态存储器需要存储的数据量越来越大,存储速率越来越高,在轨寿命越来越长。基于NAND Flash的星载固态存储器的并行存储方案得到广泛应用。但是由于NAND Flash存在初始坏块,且Flash芯片中坏块分布离散性较大。当固态存储器存储速率较高,并行存储的Flash芯片数增多,坏块经叠加映射后,使固态存储器有效容量损失较大。针对高速固态存储器的坏块问题,提出了一种高效的坏块管理算法,通过对坏块进行地址映射和替换,使固态存储器初始有效容量与装机容量的比值在高速并行存储的情况下仍能保持在97%左右,提高了Flash芯片存储容量的利用率,延长了大容量星载高速固态存储器的使用寿命。     

Hadoop异构集群中数据负载均衡的研究

Hadoop平台下,数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性,针对现有默认HDFS(Hadoop Distributed File System)数据负载均衡算法只考虑存储空间利用率,而未考虑节点间异构性的问题,提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率,并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明,提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态,提高集群的效率,并有效减少作业的执行时间。     

基于FTL层的高可靠星载数据编码保护设计

空间单子效应对长期在轨航天器存储数据可靠性具有重大影响。针对此问题,提出在闪存转换层FLT(Flash Translation Layer)上添加编码转换层,以动态满足数据存储可靠性的设计。在编码转换层提出一种选取编码的方法,依据用户对可靠度,使用寿命的要求,使所选取的编码的编码复杂度最低,空间利用率最高。本设计能够为用户在屏蔽底层接口的情况下,依照用户的可靠性需求,为数据提供纠错,为空间数据存储的可靠性设计提供了重要依据。     

NAND Flash文件系统方案及其可靠性设计

NAND Flash具有高存储密度和高存储速率的特点,在嵌入式系统领域得到了广泛应用,如何使其文件系统的性能最优化成为本文讨论的主题.本文首先提出文件系统的设计方法,主要阐述面向嵌入式应用的FAT文件系统;接着,针对NAND开ash存在固有的坏块这一弱点,为了提高整个系统的可靠性,提出一种利用嵌入式文件系统进行坏块处理的策略,核心思想为利用Flash存储器上未使用空间来代替坏块,同时,在FAT表中标记出损坏的坏的信息,避免以后对坏块进行读写.本策略经项目的具体应用证明,具有较高可靠性.     

一种存储芯片的坏块识别与管理分析

存储芯片是测量仪器的重要组成部分,如果水中兵器装备中选用的存储芯片如NANDFLASH存储芯片因加工工艺而存在坏块,那么坏块就可以导致数据记录的不连续性。本文对NANDFLASH存储芯片的特性进行了分析,定义了坏块类型,提出了一种通过坏块识别处理坏块的方法,可以实现对FLASH的可靠存储,实际工程应用表明具有较高的存储可靠性。     

NAND Flash文件系统方案及其可靠性设计

NAND Flash具有高存储密度和高存储速率的特点,在嵌入式系统领域得到了广泛应用,如何使其文件系统的性能最优化成为本文讨论的主题。本文首先提出文件系统的设计方法,主要阐述面向嵌入式应用的FAT文件系统;接着,针对NAND Flash存在固有的坏块这一弱点,为了提高整个系统的可靠性,提出一种利用嵌入式文件系统进行坏块处理的策略,核心思想为利用Flash存储器上未使用空间来代替坏块,同时,在FAT表中标记出损坏的坏的信息,避免以后对坏块进行读写。本策略经项目的具体应用证明,具有较高可靠性。     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

基于热点数据块的动态副本调整策略

副本管理策略对于分布式存储系统的可用性、可靠性和系统整体性能有至关重要的作用。本文针对基于文件的动态副本调整策略的不足,提出了一种基于热点数据块的动态副本调整策略。根据时间局部性原理和数据访问规律,通过对历史访问周期和当前周期赋予不同的权重,数据块下一周期的预测进行访问频率计算,接下来基于计算出的预测访问频率对数据块进行热点判定。结合HDFS中数据访问规律近似二八定律的特点和热点数据块的判定结果,来确定数据块的调整阈值。最后,分3个步骤对基于热点数据块的动态副本调整策略进行性详细设计。实验结果表明,本文提出的基于热点数据块的动态副本调整策略在数据访问效率和集群存储资源利用率两方面有了明显提升。     

基于带外存储虚拟化的逻辑卷高性能快照

在逻辑卷级别实现快照既能屏蔽物理存储设备的异构性,又能为各种应用提供透明的数据保护支持.提出了一种基于带外存储虚拟化系统的高性能快照方法LVHPsnap,它通过可扩展的元数据组织策略,能够灵活使用多种类型的快照适应不同应用的需求;通过以Finesnap卷、Checkpoint卷两种类型快照卷构建混合快照链表和压缩快照索引数据实现了高性能快照,以高频度生成快照时系统能保持较高的性能和存储空间利用率;引入自适应快照机制,通过监控数据块修改频度,使自动生成快照的时间间隔随应用负载的变化动态调整,实现数据按需保护.基于真实工作负载和基准测试程序的实验表明,在构建混合快照链表的条件下,LVHPsnap的性能和存储空间利用率随Finesnap卷的比例增加而提高,例如当Finesnap卷与Checkpoint卷比例分别为4:1和8:1时,LVHPsnap的性能分别较集群虚拟化系统LVM2提高了109.45%和130.86%,存储空间使用量分别仅为LVM2系统的43.40%和31.35%.     

一种归档存储系统结构

针对归档数据的存储管理问题,提出一种归档存储体系结构AStore,采用数据指纹、数据压缩、数据分块和重复数据删除技术,设计归档存储系统的数据存储和管理策略。测试并分析不同参数设置下存储系统的性能,结果表明该策略能减少数据冗余,提高系统存储空间的利用率和访问性能。     

区块链增强型轻量级节点模型

区块链固有的链式结构意味着其数据量无休止地线性增长,随着时间的积累,对单个节点的存储造成很大的压力,对整个系统的存储空间造成极大的浪费。在比特币白皮书中提出的SPV（Simplified Payment Verification）节点模型,大大减少节点对存储空间的需求,但是,它使得全节点的个数减少、压力增大,减弱了整个系统的去中心化程度,存在拒绝服务攻击、女巫攻击等安全隐患。通过对比特币区块数据进行分析,提出一种功能完整的增强型轻量级节点模型ESPV（Enhanced SPV）。ESPV把区块分为新区块和旧区块,对它们采用不同的存储管理策略。新区块以全部副本（每个节点保存一份）的方式保存以用于交易验证,用较少的存储空间代价让ESPV具有交易验证（挖矿）功能;旧区块分片存储在网络的节点中,通过分级区块分区路由表访问,在保证数据可用性和可靠性的前提下减少系统对存储空间的浪费。ESPV节点具有完整的节点功能,从而保证区块链系统的去中心化特性,增强其安全性和稳定性。实验结果表明,ESPV节点具有80%以上的交易验证率,在数据量和增长量上这些节点仅为全节点的10%,ESPV的数据可用性和可靠性有保障,适用于系统的整个生命周期。     

P2P系统中基于DHT的文件存储与复制策略的设计*

基于一个具有良好扩展性与通用性的DHT文件存储和共享系统,结合传统的数据复制技术,在充分考虑P2P网络的异构性前提下,设计了一种自组织的文档存储策略和一种结合节点综合性能的自适应的最多请求者与最近最少访问相结合的复制策略。这两种策略结合使用,能够保证文档存储的可靠性、共享信息的高效可用性,并可自动调整网络的负载平衡状况,保证网络的可扩展性与稳定性。     

Multimedia object modeling and storage allocation strategies

The improvements in disk speeds have not kept up with improvements in processor and memory speeds. Many techniques have been proposed and utilized to maximize the bandwidths of storage devices. These techniques have proven useful for conventional data, but when applied to multimedia data, they tend to be insufficient or inefficient due to the diversified data types, bandwidth requirements, file sizes and structures of complex objects of multimedia data. In this paper, we discuss the design of an efficient multimedia object allocation strategy that strives to achieve the expected retrieval rates and I/O computational requirements of objects; and also effectively balances the loads on the storage devices. We define a multimedia object model, describe the multimedia object and storage device characteristics, the classification of the multimedia objects according to their I/O requirements, and the fragmentation strategies. We use a bipartite graph model for mapping of fragments to storage devices. A cost function based on a disk utilization per allocated space, the amount of free space, and the bandwidth of a storage device is used to determine the optimal allocation for an object's data.     

稀疏表与块表结合的多租户共享存储模型

针对传统单稀疏表存储模型存储空间利用率低以及块表存储模型重构租户逻辑关系时连接次数多的问题,提出了稀疏表与块表结合的存储模型.该存储模型中将租户基于SaaS应用服务商提供的逻辑表上定制的属性及自定义的逻辑表中的属性映射到列数合适的稀疏表中存储,而将租户一部分常见数据类型的自定义的属性存储到块表中,以此避免因扩展字段的列数超过稀疏表列数导致的数据迁移问题,最后通过定义查询重写器给出了从租户逻辑SQL请求到物理SQL请求的转换.实验结果表明,该存储模型在存储空间利用率及查询效率上相比传统的稀疏表存储模型都有所提升.     

一种基于YAFFS2的静态磨损均衡算法设计

针对已有算法大多基于FTL(Flash Translation Layer)闪存存储体系设计,无法直接应用到闪存文件系统的情况,基于YAFFS2闪存文件系统设计了一种静态磨损均衡算法。考虑不同数据冷热属性的差异,设计了两种不同的块分配策略,在减缓最大擦除次数增长速度的同时,加强对冷数据占用块的利用;利用闪存块擦除次数在物理空间上分布的随机性,简化了块分配策略中的搜索过程,降低了算法复杂度;采用不均衡度阈值作为算法触发条件,保证良好的均衡效果。实验结果表明,算法降低了擦除次数方差,提高了闪存磨损均衡度,可有效延长闪存寿命,提高闪存存储系统的可靠性。