基于HDFS的数据备份系统的设计与实现

文章将云存储技术应用于数据备份,设计并实现了基于分布式文件系统HDFS的数据备份系统。该系统利用云存储技术,构建廉价、可扩展的分布式集群,解决了用户数据备份／恢复的需求,通过合并压缩、加密等技术进一步提高了系统性能和安全。实验表明,该系统在安全性、可扩展性、经济性上有一定的优势。     

基于HDFS的动态副本策略设计与实现

针对HDFS的副本方式难以满足动态的数据变化及用户需求,在原有HDFS的管理架构之上对其进行优化,定义了一种算法模型去定量的分析系统可用性参数,提出了一种动态副本调整策略,实现了针对数据存储资源的动态调度服务。模拟实验结果表明：当文件访问量变化的时候,该策略中的副本数量能动态地增加减少,从而验证了该策略的正确性和有效性。     

基于HDFS的云存储安全技术分析

现阶段云存储技术普遍出现数据丢失与数据窃取等各种安全问题,结合HDFS数据完整性校验体系的技术特点,研究一种在HDFS基础上的数据传输存储技术的实现方案。对系统用户上传到HDFS中的数据文件进行AES加密处理,文件通过密文的方式实现存储目的,同时使用RSA算法确保AES密钥的安全性能,能够有效地避免在数据的传输与存储过程中丢失与被盗。HDFS的存储格式主要分为文件密文与文件明文两种类型,用户能够根据实际需求自主选择是否需要加密处理。     

基于校园网的高校云存储系统的设计与实现

本文主要对高校私有云存储系统的背景、需求和技术进行了介绍,结合本院的实际需求给出了高校云盘系统的逻辑构架和拓扑构架,然后给出了校园云盘系统的详细功能设计实现,最后探讨了高校云盘系统的关键问题和解决思路.     

基于灰色优势分析的HDFS数据读取方法方案设计

在基于云存储的校园信息化服务中,将灰色优势分析应用于HDFS系统读取数据过程中,根据用户访问的历史数据预测下一数据节点的地址,减少向地址节点请求地址的过程,提高数据读取速率.     

基于HDFS的安全云存储数据读写机制研究

读写机制是云存储的关键技术,文中阐述了基于HDFS的云存储读写架构,对其读写过程进行了总结,在研究安全云存储的数据读写机制方面具有一定的意义。     

一种基于HDFS的远程文件备份系统的设计和实现

针对传统远程文件备份系统,备份数据存储在单节点服务器存在的存储空间受限、多用户情况下的读写性能以及备份数据单副本问题,提出了一种基于HDFS的远程文件备份系统的设计方案。将用户的备份数据分布式存储于多台不同的数据存储服务器,元数据存储在单独的控制服务器。该存储架构可以有效解决单存储服务器存储空间受限的问题,改善面对多用户并发读性能问题,提供了文件多副本存储策略,并且该系统增强了备份文件存储的安全性。     

ZFS文件系统中双容错编码性能的研究

ZFS是Sun推出的一款革新性的文件系统,它支持用户构建镜像以及单容错/双容错的软Raid。其双容错编码方案采用的是Reed-Solomon编码(RS码)。由于RS码是基于有限域运算,编码/解码时间复杂性差是其根本性的缺陷。ZFS对写操作的处理采用的是聚合后追加的方式而非传统的覆盖方式,每次写操作都会进行一次编码计算。因此,编码计算性能是影响文件系统整体性能的重要因素之一。本文的工作是将RDP这一基于奇偶校验的双容错编码与ZFS相结合,替代Reed-Solomon编码,以优化文件系统写操作的性能。我们设计了Cache优化的RDP编码算法,在ZFS中进行了实现,并通过实验验证了这一方法的有效性。     

基于用户信任值的HDFS访问控制模型研究

目前,越来越多的用户使用云存储来保存或备份数据,以增强数据的可移动性,但针对云存储的安全性问题,研究人员主要关注隐私泄露、数据容灾、副本消除等方面,对访问控制的研究较少。在前人研究的基础上,提出了一种基于用户信任值的HDFS(Hadoop distributed file system)访问控制模型。该模型结合可信赖第三方认证系统Kerberos实现对用户的认证,并为每个用户设定一个信任值,通过信任值与信任值阈值的比较动态控制用户对HDFS的访问。实验结果表明,该模型不仅可以克服HDFS访问控制上的缺陷,而且能够动态、有效地控制用户对HDFS中资源的访问。     

基于HDFS的创新知识云平台存储架构的研究与设计

针对现有存储结构无法满足海量创新知识带来的存储及服务需求的问题,提出一种改进的HDFS(Hadoop Distributed File System)分布式存储系统并应用到创新知识云平台。首先引入包文件及分布式索引服务,改进HDFS小文件存储的效率问题,然后通过优化HDFS的命名空间备份及故障恢复服务,实现可用性更强、资源利用率更高的HDFS高可用架构。通过系统的设计和实现证明优化工作大大降低了命名节点的内存压力,提高了集群的可用性,并且改进的HDFS存储系统可以满足创新知识云平台的存储需求。     

基于MapFile 的HDFS 小文件存储效率问题

针对HDFS最初是为流式访问大文件而开发的,而对于大量小文件的存储效率不高问题,采用MapFile设计一个HDFS中存储小文件的方案．该方案的主要思想是在上传HDFS时增加一个文件类型判断模块,建立一个小文件队列,将小文件序列化存入一个MapFile容器,合并成大文件,并建立相应的索引文件,有效降低文件数目和提高访问效率．通过和现有的HadoopArchives（HARfiles）文件归档解决小文件问题的方案对比,实验结果表明,基于MapFile的存储小文件方案可以更为有效的提高小文件存储性能和减少HDFS文件系统的节点内存消耗．     

Co-Work:基于HDFS的安全云存储数据一致性保持算法

针对云存储平台中用户隐私和敏感数据的安全保护问题,在前期提出的基于自主可控机制的安全云存储模型ASOM(All Self-Organization Model)基础上,对MDSS端元数据的管理操作、MDSS和DMS之间的通信过程做进一步优化,针对ASOM模型实际场景引入锁思想实现两个节点一致性的Co-Work算法,完成MDSS和DMS节点之间的协同工作和数据的一致性保持。同时,考虑网络带宽对ASOM中读写效率的影响,引入随机表机制,改变DSS上报的时间结点,以提高ASOM整体读写效率。测试结果表明:执行Co-Work算法后的ASOM模型实现了数据的物理与逻辑隔离,保证用户对元数据的自主控制和管理,而且随着数据尺寸增大读写效率明显提高,在数据达到1 GB时读写效率提高了12%。     

一种基于Kerberos和HDFS的数据存储平台访问控制策略

重点关注云存储在访问安全性和隐私安全性上的两个问题,设计面向多租户的安全数据存储机制和用户访问控制机制,并结合企业实际需求,向租户提供安全、按需、实时和可扩展的存储服务。基于Kerberos的多租户访问控制策略将提升云存储平台的安全性,简化HDFS权限管理的复杂度,提高云存储平台权限管理的交互性能。     

基于实时负载的HDFS负载均衡改进与实现

针对HDFS系统自带的负载均衡策略所使用的静态固定阈值的主观性太强以及未考虑集群繁忙时启动均衡机制对主业务运行效率的影响,重新定义了系统负载,提出了基于实时负载的动态阈值的计算方法.该方法根据各DataNode所占磁盘空间使用率情况以及DataNode的工作繁忙状态,使集群动态地计算出能反映当前集群繁忙状态的阈值,减少均衡机制对整个集群主业务的影响,从而实现集群在系统使用和磁盘占用空间之间更好的平衡.     

基于OpenSolaris的ZFS详解——基础篇

Sun在2007年推出了自己的开放式存储技术,当时Sun只是将一些NAS技术开放了源代码。在2008年4月,Sun正式宣布了基于OpenSolaris的存储计划,开放了更多的源代码,并发布了强大的开发工具和扩展的专业服务项目,为开发人员和企业提供了许多开源产品,可以让第三方更容易地提供OpenSolaris存储解决方案。     

基于HDFS的小文件存储与读取优化策略

本文对HDFS分布式文件系统进行了深入的研究,在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低. 本文针对这个问题提出了一个基于关系数据库的小文件合并策略,首先为每个用户建立一个用户文件,其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中,最后用户读取小文件时通过元数据信息直接以流式方式进行读取. 此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略,直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率. 实验结果表明通过此方案很好地解决了HDFS对大量小文件存取支持不足的缺点,提高了HDFS文件系统对海量小文件的读写性能,此方案适用于具有海量小文件的云存储系统,可以降低NameNode内存消耗提高文件读写效率.     

基于OpenSolaris的ZFS详解——高级篇

Sun在2007年推出了自己的开放式存储技术,当时Sun只是将一些NAS技术开放了源代码。在2008年4月,Sun正式宣布了基于OpenSolaris的存储计划,开放了更多的源代码,并发布了强大的开发工具和扩展的专业服务项目,为开发人员和企业提供了许多开源产品,可以让第三方更容易地提供OpenSolaris存储解决方案。     

网络存储系统的设计与实现

文章介绍了当前网络存储系统的几种流行模式，并着重描述了具有发展前景的SAN存储系统的管理、控制及实现的原理。结合实际应用阐述了设计构造SAN存储系统的有效方法及采用该技术的优越性。     

一种基于HDFS的远程容灾系统的设计与实现

设计并实现了一种基于HDFS的远程容灾系统。使用FTP将备份数据通过Internet发送到支持HDFS的FTP服务器（Hdfs-over-ftp）,数据再经过HDFS进行分布式存储。数据恢复则通过FTP将存储于HDFS中的数据恢复。经实验表明,采用该方法可以有效地减少传统的备份方法中因灾备服务器备份数据损坏而导致数据恢复失败的概率。     

HDFS访问中间件的事务设计与实现

针对Hadoop分布式文件系统(HDFS)不支持事务导致其故障恢复比较复杂的问题,提出一种支持事务的HDFS访问中间件的设计方案。该方案在对HDFS进行数据访问时还能提供事务支持。首先,分析访问HDFS的应用系统的事务需求,从HDFS事务流程、事务日志和事务恢复3个方面进行描述。其次,设计HDFS访问中间件的事务流程和体系架构。再次,根据设计方案,采用J2EE技术进行系统实现。最后,设计一个实例来测试中间件的设计和实现,通过这个实例说明,该中间件能有效地简化HDFS的数据访问和事务故障恢复的过程。