基于对象存储的集群存储系统设计

集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超大容量的目录,明显地减少网络访问消息数量,提高访问性能,并且解决了因为修改目录而导致的大量元数捂迁移问题。     

数据库中文件夹的整体存储与随机访问

当前的数据库系统不能提供对文件夹存取的直接支持。针对该问题,综合数据库二进制大对象(BLOB)技术、流技术和序列化技术,提出一种数据库中文件夹的整体存储和随机访问方法。将文件夹打包成连续的文件数据块和目录结构对象,序列化目录结构对象为目录结构数据块,保存文件数据块和目录结构数据块至数据库的BLOB列。访问数据库文件时,读取目录结构BLOB为目录结构数据块,通过反序列化将其恢复成目录结构对象。从目录结构对象中可选择欲访问的文件,确定其在文件数据BLOB中的位置和大小,读取其对应的数据,从而实现对数据库中文件夹的随机访问。     

多维数据立方体的存储设计

多维数组进行存储通常是将其线性化为一维数组的方式进行存放,这种方法不利于数据的多维分析。首先,采用分块存储方法,将数据立方体划分为小的立方体为基本单位进行存储,然后,为每一个多维数据立方体创建一个数据文件,将划分后得到的有效数据块依次存放在数据文件的数据域中,在文件结束部分创建数据块的索引,即数据块在文件中的起始位置。     

非结构化数据的存储问题

如何存储应用系统中需要处理的非结构化数据,包括文本、图像、音频、视频、PDF、电子表格等,是常常困扰系统设计人员的一个问题。非结构化数据的存储通常有两种方式,一种方式是将这些数据以文件的方式存储在文件系统中,同时将指向文件的链接或路径存储在数据     

面向云存储的非结构化数据存储研究

云存储是网格、并行和分布式计算等众多技术发展和延伸,云存储实现了存储的完全虚拟化,提供更强大的存储及共享功能[1].非机构化数据包括文本、图像、音频、视频、PDF、电子表格等.非结构化数据的存储通常有两种方式,一种是使用文件系统以文件的方式存储,将文件的路径或者链接存储在关系型数据库表中;另一种是将这些数据存储在传统的数据库表的大对象字段中.文章主要研究非结构化数据的存储方式,结合非结构化数据的特点,云存储的优势以及MongoDB的数据存储特性,提出非结构化数据云存储的必要性.     

基于SSD的云存储主服务器元数据管理研究

为了提高对云存储系统主服务器中元数据的有效管理,在数据密集型应用中,考虑到读多写少的特点符合网络中各种应用的基本特征,而文件存储的元数据往往小于4KB,我们提出一种基于SSD的针对云存储系统主服务器的元数据管理策略,建立了一套相对独立的存储服务器目录路径索引机制,此策略将元数据的管理分为两个部分：目录路径索引和文件名,充分利用SSD的低功耗与优越读性能。测试表明,基于SSD的云存储主主服务器元数据管理策略可以明显改善系统响应时间,降低延迟,提升云存储系统的性能。     

云存储中文件加密存储和删除方法研究

在云存储服务中,文件的安全存储和删除是用户最关心的问题之一,已成为云存储研究的重点.针对云存储系统中文件的管理方式和不能彻底删除,可能会导致文件泄露的问题,设计了基于策略的文件加密存储和安全删除机制.该机制引入了数据密钥和控制密钥,通过多级密钥管理有效抵御了共谋攻击.策略用于访问控制密钥,策略撤销时删除相应的控制密钥,从而实现文件的安全删除.理论分析和仿真实验表明,与原有方法相比,该机制增加了云存储环境下文件的安全性,且减小了空间和时间开销.     

基于LSM树的电网远程监控数据混合存储方法

受到数据合并方法的影响，电网远程监控数据混合存储过程的内存占用较大，为此，提出基于LSM树的电网远程监控数据混合存储方法。批量获取、处理电网远程监控数据，并构建LSM存储模型，设计数据合并方法，综合LSM树与SMR磁盘的特性，将多个监控数据合并为大文件；分析监控数据中包含的冗余数据，并将其清除，完成电网远程监控数据混合存储。实验结果表明：选取5000个监控数据小文件，使用3种方法进行监控数据混合存储测试，提出的设计方法使内存占用量降低了16.79 MB、29.17 MB,电网远程监控数据混合存储效果得到保证。     

适于测控系统的文件存储结构研究

为了使测试数据在形成文件时具有安全可靠性并考虑到使用过程的便捷性,提出了一种文件存储结构,不仅包含测试数据还包含对文件的合法性和完整性进行校验的信息.介绍了该结构各部分的设计;分析了基于这种结构的软件实现以及实际读写过程.实验证明所设计文件结构适用于测控系统的数据存储.     

倒排文件页式存储方法

页是磁盘与内存进行数据交换的基本单位,它在操作系统、数据库管理系统以及倒排文件的数据组织中占据十分重要的地位。为减少倒排索引的磁盘 I/O 读写开销,提出了一种倒排文件按页存储的构建方法,实现了按页读写文件。该方法主要包括磁盘I/O层设计、页管理器设计以及堆文件管理器设计三个部分,实现了页大小可变的分块式数据文件管理,支持页内定长记录、变长记录的组装以及超长数据记录的跨页存储。经实验测试,结果表明该方法是行之有效的,可以将其应用到实际的垂直搜索引擎中。     

一种P2P环境下分布式文件存储系统的缓存策略

在分布式文件存储系统中,缓存技术被广泛用于提高系统性能。论文针对P2P环境下分布式文件存储系统的特点,提出了一种兼顾用户访问效率和复本一致性的灵活的缓存策略,不同于目前已经存在的P2P存储系统,论文使用“阀值”来将文件区分为热点文件和非热点文件,并且只针对热点文件来做缓存,根据缓存空间的使用效率和不同的文件类型来设置不同的阀值使得缓存策略灵活而有效,论文对该策略进行了理论上的分析,然后通过Trace-Driven模拟的方法验证了该策略的可行性。     

面向云存储的存储网关

对大容量数据存储和快速读写的需求与计算机网络技术的发展,使得网络化存储系统成为网络服务器系统中I/O子系统研究的热点,作为网络存储系统的关键部件,对分布式文件系统的研究具有非常重要的意义.目前开源社区提供了KFS、moosefs、Fast DFS、TFS、GFS[1]等多款分布式文件系统,其中多数提供了基于Linux操作系统的API或者存储网关,却没有提供Windows版的存储网关.主要对分布式文件系统Windows版存储网关的设计框架和思路进行介绍与分析,并实现了一个基于HDFS的Windows版分布式文件系统的存储网关程序dfsclient.     

一种性能优化的小文件存储访问策略的研究

在分布式文件系统中,小文件的管理一般存在访问性能较差和存储空间浪费较大等缺点.为了解决这些问题,提出了一种性能优化的小文件存储访问(SFSA)策略.SFSA将逻辑上连续的数据尽可能存储在物理磁盘的连续空间,使用Cache充当元数据服务器的角色并通过简化的文件信息节点提高Cache利用率,提高了小文件访问性能;写数据时聚合更新数据及其文件夹域中的相关数据为一次I/O请求写入,减少了文件碎片数量,提高了存储空间利用率;文件传输时利用局部性原理,提前发送批量的高访问率的小文件,降低了建立网络连接开销,提升了文件传输性能.理论分析和实验证明,SFSA的设计思想和方法能有效地优化小文件的存储访问性能.     

基于磁光虚拟存储系统的文件调度算法

基于光盘库的Hadoop分布式文件系统（HDFS光盘库）在单位存储成本、数据安全性、使用寿命等方面非常符合当前大数据存储要求，但是HDFS不适合存储大量小文件和实时数据读取。为了使HDFS光盘库能更好地运用到更多大数据存储场景，本文提出一种更加适合大数据存储的磁光虚拟存储系统（MOVS, Magneto-optical Virtual Storage System）。系统在HDFS光盘库与用户之间加入磁盘缓存，并在磁盘缓存内通过文件标签分类、虚拟存储、小文件合并等技术将磁盘缓存内小文件合并为适合HDFS光盘库存储的大文件，提高系统的数据传输速度。系统还使用了文件预取、缓存替换等文件调度算法对磁盘缓存内文件进行动态更新，减少用户访问HDFS光盘库次数。实验结果表明，MOVS相对HDFS光盘库在响应时间和数据传输速度方面得到很大改善。     

面向费用优化的云存储缓存策略

为提高云存储的访问速率并降低费用,提出了一种面向费用优化的云存储缓存策略。利用几乎免费的局域网环境下的多台桌面计算机,在本地建立一个分布式文件系统,并将其作为远端云存储的缓存。进行文件读取时,首先查找其是否在缓存中,若存在则直接从缓存读取;若不存在则从远端云存储读取。采用了最近最少使用(LRU)算法进行缓存替换,将冷门数据从缓存中替换掉。以亚马逊简单存储服务(S3)作为远端的云存储服务,对原型系统进行了简单的性能测试。测试结果表明,使用了所提出的缓存策略后,在降低费用的同时能够显著提高文件读取的速度。     

面向海量存储的文件系统评测基准

为满足海量存储文件系统级性能评测需求,开发一个通用的符合POSIX.1标准的文件系统基准评测工具LZpack,可为不同文件系统的性能评测比较提供一种有效的方法,也可为使用文件系统操作API集合的应用程序设计者提供性能评价的依据。LZpack采用集群评测的评测架构,可以对文件I/O性能及元数据操作性能进行准确评测。对LZpack的系统结构和关键问题进行描述,对使用LZpack在不同文件系统上的测试结果进行分析,提出LZpack下一步的改进思路。     

基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.     

基于分布式文件电力异构数据存储综述

随着国网公司信息化建设的不断推进,在整个电网的运检和管理的过程中都会产生海量的数据,这些数据中包含各场景产生的视频、图片、传感器数据和一些企业档案信息等非结构（异构）化数据.在面对如此大规模非结构化的数据存储要求时,传统关系型数据库已经表现的力不从心了.如何对此类数据进行高效地、廉价地和安全可靠地存储,并且可以快速检索与分析,是当下研究的重要热点课题之一.本文首先分析了电网大数据的产生及特征,然后综述了工业界大数据分布式文件存储技术,最后分析适合国网非结构化数据的分布式文件存储策略.     

一种可灵活扩展的高速存储系统的文件管理协议

在整个高速存储系统的实现中,文件管理技术对数据记录速度及数据索引和提取速度起着至关重要的作用。目前文件管理系统分为自定义的文件系统和通用的标准文件系统,该文件管理协议融合了自定义文件系统的高带宽性能以及标准文件系统的存储容量和速度的灵活扩展性,并且具有良好的用户体验。经测试,存储容量为12T时,数据采集传输速度可达到6.4 Gbps,数据回放速度可达到7 Gbps;而在其他条件相同情况下,该文件管理系统可以灵活扩充存储容量和存储速度,数据回放速度预估可达8 Gbps。     

一种细粒度均衡的新型分布式文件放置算法

为保证访问负载的均衡分布,分布式存储系统往往依赖访问热度信息进行文件放置。然而,访问热度信息在文件存入系统时刻并不可知,并且随时间不断变化,依赖访问热度信息的放置算法需要不断调整文件的存储位置,产生高昂的迁移成本。本文提出一种细粒度均衡的新型分布式文件放置算法。该算法利用文件访问热度同已创建时间之间的相关性,通过保证各节点所存储数据量在创建时间维度上的细粒度相似性,实现较好的访问负载均衡。该算法仅基于文件的创建时间属性,该属性在文件存入系统时刻属于已知信息并且不随时间变化。实验结果表明,相较于HDFS系统的随机放置算法,本文算法能够更好地实现访问负载的均衡分布,提高访问性能。