基于磁光虚拟存储系统的文件调度算法

基于光盘库的Hadoop分布式文件系统（HDFS光盘库）在单位存储成本、数据安全性、使用寿命等方面非常符合当前大数据存储要求，但是HDFS不适合存储大量小文件和实时数据读取。为了使HDFS光盘库能更好地运用到更多大数据存储场景，本文提出一种更加适合大数据存储的磁光虚拟存储系统（MOVS, Magneto-optical Virtual Storage System）。系统在HDFS光盘库与用户之间加入磁盘缓存，并在磁盘缓存内通过文件标签分类、虚拟存储、小文件合并等技术将磁盘缓存内小文件合并为适合HDFS光盘库存储的大文件，提高系统的数据传输速度。系统还使用了文件预取、缓存替换等文件调度算法对磁盘缓存内文件进行动态更新，减少用户访问HDFS光盘库次数。实验结果表明，MOVS相对HDFS光盘库在响应时间和数据传输速度方面得到很大改善。     

HADOOP分布式文件系统(HDFS)的应用

HDFS系统操作简单、使用方便、成本低廉、存储灵活、可靠性高,支持超大文件,具有可扩展性等优势,是Hadoop常用的一个最主要的分布式文件存储系统,基于数据模式访问和处理超大文件需求而开发,为超大数据集的应用处理带来便利.下文就对Hadoop分布式文件系统(HDFS)的应用方面进行简单的介绍.     

一种基于HDFS小文件存储优化方案

Hadoop分布式文件系统( HDFS) 在大数据存储中具有优良的性能,适用于处理和存储大文件,但在海量小文件处理时性能显著下降,过多的小文件使得整个系统内存消耗过大。为了提高HDFS处理小文件的效率,改进了HDFS的存储方案,提出了海量小文件的存储优化方案。根据小文件之间的相关性进行分类,然后将同一类小文件合并上传,并生成索引文件,读取时采用客户端缓存机制以提高访问效率。实验结果表明,该方案在数据迅速增长的情况下能有效提高小文件访问效率,降低系统内存开销,提高HDFS处理海量小文件的性能。     

分布式文件系统HDFS处理小文件的优化方案

Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方案,即:扩展的Hadoop分布式文件系统(EHDFS)。这种方法把一组相关文件组合成一个大文件来减少文件的数量,然后建立一种索引机制,从这个组合文件中识别并访问客户所要的单个文件。实验结果表明EHDFS提高了存储和访问大量小文件的效率。     

一种优化分布式文件系统的文件合并策略

分布式文件系统的性能对整个分布式系统的性能有着重要的影响,以Hadoop分布式文件系统(HDFS)为研究目标,针对HDFS处理小文件数据性能差的问题,分析存在的问题,提出一种新的文件合并策略,优化系统I/0性能.实现结果表明这种合并策略能有效提高分布式文件系统的性能.     

基于新型存储器件的分布式文件系统性能优化

新型存储器件的I/O性能通常比传统固态驱动器（SSD）高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题,对Hadoop分布式文件系统（HDFS）的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销,发现在写入数据的各个阶段中,节点间数据传输的时间占比较大。因此提出了对应的优化方案,通过异步写入的方式并行化数据传输与处理过程,使得不同数据包的处理阶段叠加起来,减少了数据包整体的处理时间,从而提升了HDFS的写入性能。实验结果表明,所提方案将HDFS的写入吞吐量提升了15%~24%,总体的写入执行时间降低了28%~36%。     

基于新型存储器件的分布式文件系统性能优化

新型存储器件的I/O性能通常比传统固态驱动器（SSD）高一个数量级，然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高，这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题，对Hadoop分布式文件系统（HDFS）的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销，发现在写入数据的各个阶段中，节点间数据传输的时间占比较大。因此提出了对应的优化方案，通过异步写入的方式并行化数据传输与处理过程，使得不同数据包的处理阶段叠加起来，减少了数据包整体的处理时间，从而提升了HDFS的写入性能。实验结果表明，所提方案将HDFS的写入吞吐量提升了15%~24%，总体的写入执行时间降低了28%~36%。     

多模态医疗数据中海量小文件存储优化方法

Hadoop分布式文件系统(HDFS)通常用于大文件的存储和管理,当进行海量小文件的存储和计算时,会消耗大量的NameNode内存和访问时间,成为制约HDFS性能的一个重要因素.针对多模态医疗数据中海量小文件问题,提出一种基于双层哈希编码和HBase的海量小文件存储优化方法.在小文件合并时,使用可扩展哈希函数构建索引文件存储桶,使索引文件可以根据需要进行动态扩展,实现文件追加功能.在每个存储桶中,使用MWHC哈希函数存储每个文件索引信息在索引文件中的位置,当访问文件时,无须读取所有文件的索引信息,只需读取相应存储桶中的索引信息即可,从而能够在O(1)的时间复杂度内读取文件,提高文件查找效率.为了满足多模态医疗数据的存储需求,使用HBase存储文件索引信息,并设置标识列用于标识不同模态的医疗数据,便于对不同模态数据的存储管理,并提高文件的读取速度.为了进一步优化存储性能,建立了基于LRU的元数据预取机制,并采用LZ4压缩算法对合并文件进行压缩存储.通过对比文件存取性能、NameNode内存使用率,实验结果表明,所提出的算法与原始HDFS、HAR、MapFile、TypeStorage以及...     

HDFS存储和优化技术研究综述

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向.     

基于Rsync的远程文件同步优化模型

针对云存储中无法较细粒度地控制网络数据的传输而导致网络带宽利用低的问题,本文基于Rsync文件同步算法,以Hadoop分布式文件系统(HDFS)为研究目标,提出计算分离出云,本地数据表与云服务端分布式缓存表共享部分校验值的远程文件同步优化模型.实验结果表明,该模型可有效提高云存储文件同步系统的I/O性能,减小同步的成本.     

一种面向分布式文件系统的文件预取模型的设计与实现

如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。     

基于Hadoop的云计算基础架构分析

Hadoop是一个可实现大规模分布式计算的开源软件平台,已经被广泛应用在云计算领域.从Hadoop分布式文件系统的整体架构入手,描述了其分布式数据存储、分布式任务分配、分布式并行计算和分布式数据库四方面的核心内容,并论述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和计算过程.目的是使开发人员能深入地...     

分布式文件系统HDFS的分析

越来越多的开源社区和大型公司都对分布式文件系统HDFS进行支持和改进,使HDFS在大规模数据存储领域的研究价值突显。文章从HDFS的架构出发,对其数据管理的方式进行了分析,最后从源代码角度阐述了读写数据的具体过程。     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

基于Hadoop分布式文件系统的分析与研究

通过对HDFS(Hadoop的一个分布式文件系统)以及Map/Reduce数据驱编程模型和HBase分布式的、列存储数据库和Hive分布式数据仓库的分析.可以得到Hadoop的优势在于能以批处理模式处理PB级以上的数据集,适合做离线的数据分析,不适合实时响应需求,如股票系统.客户端是打包成JAR文件形式,运行于Hadoop命令行界面,可以定制执行策略,当数据到来的时候运行Map/Reduce程序,可以手动执行也可以定时执行.可以用Map/Reduce作为BI等海量数据分析平台的分布式数据处理引擎,HDFS作为底层存储文件系统.     

Hadoop的HDFS大数据存储技术

Hadoop的HDFS是一个部署在廉价硬件设备上使用的分布式文件系统,具有高容错性,适合海量数据集的应用程序,可用来存储海量数据,为应用程序提供高吞吐量。HDFS开放了一些可移植操作系统接口,文件系统中数据的访问采用流的方式,在时下企业数据急剧膨胀,海量存储挑战严峻的情况下,提供了一个好的技术方法,海量数据的存储需求就是时下流行的云存储的概念,以存储海量视频数据为实例,介绍HDFS存储海量的过程。     

基于HDFS的海量文件存储优化设计

针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在存储海量数据时对小文件支持性能低下的问题,提出了基于HDFS的通用文件存储系统(Common File Storage-Hadoop Distributed File System,CFSHDFS)。该方案采用了分类处理的设计思想,区别对待大文件和小文件。对大文件不做任何处理,按照HDFS原有的流程完成既定的操作;对小文件的存取,经过缓存、预读、合并等机制的处理,从而在提高Namenode内存利用率和Datanode空间利用率的基础上,提高了小文件的读写性能。区别对待文件的处理以及对小文件的一系列的处理,对用户来说都是透明的,因此,该方案并不会增加用户使用HDFS的复杂性。     

面向Hadoop分布式文件系统的小文件存取优化方法

为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法--SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率。实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度。     

面向云存储的存储网关

对大容量数据存储和快速读写的需求与计算机网络技术的发展,使得网络化存储系统成为网络服务器系统中I/O子系统研究的热点,作为网络存储系统的关键部件,对分布式文件系统的研究具有非常重要的意义.目前开源社区提供了KFS、moosefs、Fast DFS、TFS、GFS[1]等多款分布式文件系统,其中多数提供了基于Linux操作系统的API或者存储网关,却没有提供Windows版的存储网关.主要对分布式文件系统Windows版存储网关的设计框架和思路进行介绍与分析,并实现了一个基于HDFS的Windows版分布式文件系统的存储网关程序dfsclient.     

基于HDFS的云存储安全技术研究

针对目前云存储技术存在的数据泄露和数据篡改等安全问题,结合HDFS数据完整性校验机制的特点,设计并实现了一种基于HDFS的数据传输存储安全技术方案.对用户上传至HDFS中的数据文件实施AES加密,文件以密文形式存储,同时应用RSA算法保障AES密钥的安全,可有效防止数据在传输和存储过程中被泄露.设计了基于HDFS的文件密文和文件明文两种存储格式,用户可自主选择是否进行加密.通过安全性分析和性能测试,验证了方案的安全性和可行性.