存储系统采用字向冗余技术的方法

计算机存储系统一般采用ECC编码对单错进行校正,双错校验收到明显效果,但对大型存储系统及长时期使用的存储器,其可靠性仍不能适应要求。目前国内外广泛采用备用冗余或其它多错纠正编码技术等方法。本文提出并介绍存储体内字向冗余技术方法,其主要特点是系统可靠度高,冗余设备少。文内对其冗余方法进行分析并与其它方法进行对比。     

基于概率预测的P2P分布式存储副本查找

分布式存储系统是Peer-to-Peer技术的一个重要研究领域。如何实现有效的副本存储和副本查找定位是分布式存储系统的关键。DHT（Distributed Hash Tables）能够有效地实现分布式存储。在基于DHT的Peer-to-Peer分布式存储系统中提出了一种基于概率预测的副本查找和定位算法。分析并且详细描述了该算法,实现了算法的仿真模拟,分析了其性能。模拟结果显示,基于概率预测的副本查找算法通过概率的先预测能够实现高效率及高查准率的副本查找。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

基于CRS算法的高可靠性存储系统的设计

阐述了国际上典型的数据可靠性算法，分析了CRS算法在存储系统中的编、解码原理，基于CRS算法实现数据存储中间件，结合CRS算法和网格技术提出了高可靠性存储系统的整体架构，在理论上对系统的可靠性进行了证明，在局域网中对存储系统的性能进行了测试。结果表明，基于CRS算法实现的存储系统在保证数据存储可靠性的同时具有极高的存储性能。     

基于RS编码的存储容错分析

分布式存储系统中,多节点故障出现的概率很高,必须考虑容错问题.RS编码由于性能高、实现简单而被广泛使用.本文介绍了常用的存储容错技术,描述了基于RS编码的存储容错算法,并引入了一个实例进行了详细分析.     

基于AHP的云存储负载均衡研究

针对云存储系统节点在数据分布策略和系统响应时间方面的综合负载计算问题,提出了一种云存储系统的负载均衡算法,并对该算法进行了验证。算法基于层次分析法（Analytic Hierarchy Process,AHP）,通过建立综合评估指标体系,从可用存储空间、可用CPU、可用内存和访问热度四个方面,计算各个存储节点的综合负载,并据此对数据存取进行均衡调度。验证结果表明,通过调整不同指标的权重,算法能够很好地满足不同的应用需求,同时,该算法能够很好地反应各节点的综合负载,实现云存储系统整机性能的优化,尤其适用于一些高并发的大数据存储。     

基于FPGA的两点非均匀校正模块的设计与实现

两点校正算法是一种行之有效的红外图像非均匀校正方法.本文对两点校正算法进行了分析,并推导出了该算法的定点表示形式.利用FPGA在硬件上实现了该算法,内部采用流水线技术,校正系数存储在FPGA的片内存储器中并实现了盲元补偿.仿真和实验结果证明该设计是可行的,达到了预期效果。     

云存储系统性能评测技术研究

云存储系统目前应用广泛,其核心功能是向外提供存储服务,而云存储性能直接影响着云存储服务的质量.由于云存储系统的数据存储在云端,且使用角色众多,传统的性能评测技术不适用于云存储系统.从用户、云存储服务提供商、设备提供商3个角度出发,针对其关注的云存储系统不同层次,提出适用于多层次、多角色的性能评测指标和评测方法,提供可靠的适用于云存储系统的评测方案、规范测试方法,为性能优化提供数据参考,同时为用户选购、部署云存储系统提供可靠的参考意见.     

海量存储系统中高可扩展性元数据服务器集群设计

海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用Hash算法来实现文件元数据在元数据机群内的分布，但是这些算法都是针对文件进行Hash。本文提出了一种目录哈希的新算法，针对目录进行Hash，并把一个目录内的元数据集中存储。本算法克服了文件Hash的不足，改善了存储系统的性能，并极大地提高了存储系统的可扩展性。     

NAND flash的并行调度算法

通过对SSTF和SCAN等磁盘调度算法的分析,根据NAND flash的存储特性以及DMA的传输特性,提出一种兼容NVMHCI协议,结合时间相邻和空间相邻的快速调度算法.通过利用FPGA上的可配置处理器核,以定制指令形式成功实现了该调度算法.算法的性能在自行设计的存储系统中得到验证,存储系统的峰值吞吐量可以达到10Gbps.与类似存储系统相比,系统的灵活性和存储性能均有大幅提高.     

基于Kubernetes的云原生海量数据存储系统设计与实现

为应对云原生技术的日益发展与普及伴随的云上数据量的激增及该技术在性能与稳定性等方面所出现的瓶颈,提出了一种基于Haystack的存储系统。该存储系统在服务发现、自动容错与缓存方面进行了优化,更适用于云原生业务,以满足数据采集、存储与分析行业不断增长且频次较高的文件存储与读写需求。该存储系统使用对象存储模型来满足高频海量的文件存储,为使用该存储系统的业务提供简单而统一的应用程序接口,应用了文件缓存策略提升资源利用率,同时利用Kubernetes丰富的自动化工具链使该存储系统比其他存储系统更容易部署和扩展且更稳定。实验结果表明,该存储系统在读多于写的大规模碎片数据存储情境下相比目前主流的对象存储与文件系统均有一定的性能与稳定性提升。     

基于对象分组的集群存储系统可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面。借鉴RAID的方法,提出基于对象分组在算法一级实现数据冗余分布的高可靠数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫激励模型对存储系统进行定量的可用性分析,计算结果表明该方法是有效的。     

DBEC／TBED Reed－Solomon码的快速译码法

本文介绍了一种对于纠双字节错和检三字节错（ＤＢＥＣ／ＴＢＥＤ）ＲＳ码的快速译码算法。该译码技术直接依赖于伴随式，不需要采用传统的迭代算法来生成错误位置多项式，可以达到比较高的速度，应用于以字节方式组织的存储系统中进行检纠错。     

DBEC／TBED Reed—Solomon码的快速译码法

本文介绍了一种对于纠双字节错和检三字节错（ＤＢＥＣ／ＴＢＥＤ）ＲＳ码的快速译码算法。该译码技术直接依赖于伴随式，不需要采用传统的迭代算法来生成错误位置多项式，可以达到比较高的速度，应用于以字节方式组织的存储系统中进行检纠错。     

遥感卫星数据磁带存储系统的技术研究与实现

本文介绍了一个实用的遥感卫星数据磁带存储系统。此系统采用SCSI接口类型磁带机,其软件部分采用ASPI技术编程实现。文中着重讲述了数据存储格式以及磁带的工作原理。系统性能良好,数据存取速度快。本系统可以推广应用于其他数据的存储。     

Linux下高效存储优化的研究

随着数据的指数性增长,存储技术成为信息产业发展的核心动力,存储系统在一定程度上比计算系统和通信系统更加重要。如何高效地存储和优化存储空间,是存储系统急需解决的问题。本文介绍高效存储技术中的RAID技术、重复数据删除技术、数据压缩技术等,并在Linux环境下设计与实现具有高效存储优化特点的应用程序。试验表明该应用程序实现了软件RAID,删除了重复性数据,提高了存储空间利用率,降低了存储能耗。     

基于HBase的污染源监控数据存储系统实现方法研究

污染源监控系统中需要存储大规模监测数据,现有基于关系的数据库存储系统在数据存储和检索效率上不能很好地满足要求。为提高污染源监控数据存储系统使用性能,提出一个基于HBase的分布式三层数据存储架构,给出该存储架构下数据通信机制和实现方法。深入讨论HBase下数据存储表的设计过程和数据写入技术,并给出相应的实验分析。实验结果验证了基于HBase的污染监控数据存储系统的有效性。     

基于文件分割的二进制大对象存取算法

海量媒体数据存储系统中,文件过大或多用户并发访问等原因会造成二进制大对象(BLOB)存储过程失效。为提高存储系统存取非结构二进制文件的可靠性和稳定性,提出并建立了BLOB存储可靠性概率模型,证明了使用数量较多的文件分块和较小的分块大小,可提高BLOB存储成功的概率。根据该模型,改进了关系数据库存储环境下的BLOB数据存取技术。通过建立基于文件分块的存储结构,提出了BLOB数据分块存储和重新装配新算法并进行了仿真实验。BLOB存取算法的仿真实验和实际应用表明,该存取算法有效降低了媒体数据存储失效的概率。     

图因子分解的故障节点快速修复

为了提高分布式存储系统中故障节点的修复效率, 提出一种新的部分重复(fractional repetition, FR)码的构造算法. 该算法利用完全图的因子分解进行构造, 称为CGFBFR (complete graph factorization based FR)码. 该算法首先对完全图进行因子分解, 分解完成以后确定完全图的因子分解个数, 根据需要存储数据块的重复度来选择完全图的因子个数, 将完全图选中的因子所有顶点当做分布式存储系统中需要存储的数据块, 然后对选中因子图的边进行标记, 标记的边当做分布式数据节点进行存储. 最后根据选中的因子的顶点和边生成编码矩阵, 在分布式存储系统中按照编码矩阵中的数据对数据块分别进行存储. 实验仿真结果显示, 本文提出的一种新的部分重复码构造算法, 与分布式存储系统中的里所(reed-solomon, RS)码、简单再生码(simple regenerating codes, SRC)以及最新的循环可变部分重复(variable fractional repetition, VFR)码相比, 在系统修复故障节点时, 能够快速地修复故障节点, 有效降低了故障节点的修复带宽开销、修复局部性、修复复杂度, 而且构造过程简单, 同时可以灵活选择构造参数, 广泛适用于分布式存储系统中.     

基于ECC校验算法的记录器设计

鉴于K9MDG08U5M在存储过程中出现的错"位"现象,提出利用ECC算法对数据进行校验和纠错。由于该款NAND FLASH一页数据出现的错"位"现象有时不止一位,而一般的ECC算法其纠错能力只有1bit/4kB,故一种纠错能力更强的新型算法将被设计和实现;该新型算法具有8bit/4kB的纠错能力和16bit/4kB的检错能力,且已成功应用于某数据采集存储系统中。