HDFS云存储技术可靠性简介

随着Web2.0的发展,信息量呈爆炸性增长,数据存储逐渐成为制约企业发展的关键问题。高可靠性、高通用性、高扩展性、大容量,云存储以传统数据中心无法比拟的优势特性,本文针对目前较流行的云存储技术HDFS,详细地分析了其可靠性特性。     

Co-Work:基于HDFS的安全云存储数据一致性保持算法

针对云存储平台中用户隐私和敏感数据的安全保护问题,在前期提出的基于自主可控机制的安全云存储模型ASOM(All Self-Organization Model)基础上,对MDSS端元数据的管理操作、MDSS和DMS之间的通信过程做进一步优化,针对ASOM模型实际场景引入锁思想实现两个节点一致性的Co-Work算法,完成MDSS和DMS节点之间的协同工作和数据的一致性保持。同时,考虑网络带宽对ASOM中读写效率的影响,引入随机表机制,改变DSS上报的时间结点,以提高ASOM整体读写效率。测试结果表明:执行Co-Work算法后的ASOM模型实现了数据的物理与逻辑隔离,保证用户对元数据的自主控制和管理,而且随着数据尺寸增大读写效率明显提高,在数据达到1 GB时读写效率提高了12%。     

基于HDFS的安全云存储数据读写机制研究

读写机制是云存储的关键技术,文中阐述了基于HDFS的云存储读写架构,对其读写过程进行了总结,在研究安全云存储的数据读写机制方面具有一定的意义。     

基于灰色优势分析的HDFS数据读取方法方案设计

在基于云存储的校园信息化服务中,将灰色优势分析应用于HDFS系统读取数据过程中,根据用户访问的历史数据预测下一数据节点的地址,减少向地址节点请求地址的过程,提高数据读取速率.     

Hadoop框架下的情报分析大数据调度超时预测方法

"大数据"是信息科技领域出现的一个研究热点。军用情报数据具备典型的"大数据"特征。Hadoop是一个基于java的分布式密集数据处理和数据分析的软件框架。为了使情报大数据存取满足实时性要求,从军事应用需求出发,对Hadoop框架下的情报分析大数据存取调度算法超时现象进行分析研究,实现了一种可以进行超时预测的调度算法。     

HDFS存储和优化技术研究综述

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向.     

云计算与云数据存储技术研究

在介绍了现有的云计算定义和特点的基础上,设计出了通用云计算的体系结构,针对云计算与其存储技术,给出了云存储系统的结构模型,分析了两种新型存储技术:GFS(Google File System)和HDFS(Hadoop Distributed File System);最后深入分析云计算和存储的发展趋势。     

基于HDFS的数据备份系统的设计与实现

文章将云存储技术应用于数据备份,设计并实现了基于分布式文件系统HDFS的数据备份系统。该系统利用云存储技术,构建廉价、可扩展的分布式集群,解决了用户数据备份／恢复的需求,通过合并压缩、加密等技术进一步提高了系统性能和安全。实验表明,该系统在安全性、可扩展性、经济性上有一定的优势。     

一种分布式文件系统—HDFS

随着互联网数据规模呈剧增趋势,在需要存储文件的时候就要求文件系统具有更大的容量、更好的性能以及更高的安全性.因为HDFS分布式文件系统通过网络相连存在着大量的节点(用于存储元数据及文件数据),这使得HDFS分布式文件系统的设计实现的难度和复杂度增大.针对这些问题重点研究HDFS分布式文件系统的系统架构及文件读写过程.     

基于HDFS的云存储安全技术分析

现阶段云存储技术普遍出现数据丢失与数据窃取等各种安全问题,结合HDFS数据完整性校验体系的技术特点,研究一种在HDFS基础上的数据传输存储技术的实现方案。对系统用户上传到HDFS中的数据文件进行AES加密处理,文件通过密文的方式实现存储目的,同时使用RSA算法确保AES密钥的安全性能,能够有效地避免在数据的传输与存储过程中丢失与被盗。HDFS的存储格式主要分为文件密文与文件明文两种类型,用户能够根据实际需求自主选择是否需要加密处理。     

大数据时代的云存储技术

随着大数据时代的来临,以及云计算技术的迅猛发展,作为信息时代的全新产品云存储也成为存储领域的新宠,云存储改变了以往数据主要集中在本地存储和处理的传统模式,企业和个人用户无需再投入大量购置硬件等设施的成本,就能够方便快捷地通过网络根据需求访问计算与存储等服务。本文从云存储的概念、云存储的分类、云存储的优势、云存储需要考虑的问题等方面来介绍一下云存储技术。     

基于用户信任值的HDFS访问控制模型研究

目前,越来越多的用户使用云存储来保存或备份数据,以增强数据的可移动性,但针对云存储的安全性问题,研究人员主要关注隐私泄露、数据容灾、副本消除等方面,对访问控制的研究较少。在前人研究的基础上,提出了一种基于用户信任值的HDFS(Hadoop distributed file system)访问控制模型。该模型结合可信赖第三方认证系统Kerberos实现对用户的认证,并为每个用户设定一个信任值,通过信任值与信任值阈值的比较动态控制用户对HDFS的访问。实验结果表明,该模型不仅可以克服HDFS访问控制上的缺陷,而且能够动态、有效地控制用户对HDFS中资源的访问。     

基于HDFS的海量文件存储优化设计

针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在存储海量数据时对小文件支持性能低下的问题,提出了基于HDFS的通用文件存储系统(Common File Storage-Hadoop Distributed File System,CFSHDFS)。该方案采用了分类处理的设计思想,区别对待大文件和小文件。对大文件不做任何处理,按照HDFS原有的流程完成既定的操作;对小文件的存取,经过缓存、预读、合并等机制的处理,从而在提高Namenode内存利用率和Datanode空间利用率的基础上,提高了小文件的读写性能。区别对待文件的处理以及对小文件的一系列的处理,对用户来说都是透明的,因此,该方案并不会增加用户使用HDFS的复杂性。     

基于云存储技术的手术室数据管理系统

针对我国医疗信息化进程中,数字化手术室的建设需求,基于云存储技术,研究并设计了手术室的数据管理系统。该系统在设计过程中详细梳理了手术室的工作流程,对手术的排班、患者体征数据采集、麻醉记录、手术数据查询等功能进行了重点设计。系统使用了HDFS分布式文件管理系统,保证了系统的可靠性和可扩展性,实现了临床数据的实时传输与共享。     

Hive数据仓库在Hadoop大数据环境下数据的导入与应用

对Hive数据仓库的创建与启动的过程进行了介绍,着重讲解了通过Load命名加载数据的两种方式,即通过本地将数据文件加载到Hive表中,通过HDFS将数据文件加载到Hive表中。这两种方式在实际生产环境中,应用十分广泛。     

基于MapFile 的HDFS 小文件存储效率问题

针对HDFS最初是为流式访问大文件而开发的,而对于大量小文件的存储效率不高问题,采用MapFile设计一个HDFS中存储小文件的方案．该方案的主要思想是在上传HDFS时增加一个文件类型判断模块,建立一个小文件队列,将小文件序列化存入一个MapFile容器,合并成大文件,并建立相应的索引文件,有效降低文件数目和提高访问效率．通过和现有的HadoopArchives（HARfiles）文件归档解决小文件问题的方案对比,实验结果表明,基于MapFile的存储小文件方案可以更为有效的提高小文件存储性能和减少HDFS文件系统的节点内存消耗．     

基于HDFS的云存储安全技术研究

针对目前云存储技术存在的数据泄露和数据篡改等安全问题,结合HDFS数据完整性校验机制的特点,设计并实现了一种基于HDFS的数据传输存储安全技术方案.对用户上传至HDFS中的数据文件实施AES加密,文件以密文形式存储,同时应用RSA算法保障AES密钥的安全,可有效防止数据在传输和存储过程中被泄露.设计了基于HDFS的文件密文和文件明文两种存储格式,用户可自主选择是否进行加密.通过安全性分析和性能测试,验证了方案的安全性和可行性.     

分布式文件系统HDFS处理小文件的优化方案

Hadoop分布式文件系统(HDFS)是为可靠地存储和管理海量文件而设计。在HDFS中,所有的文件由单一的服务器NameNode来管理。因此,随着小文件数量的增加,会使HDFS系统性能下降。为了提高存储和访问HDFS上小文件的效率,本文提出了一个解决方案,即:扩展的Hadoop分布式文件系统(EHDFS)。这种方法把一组相关文件组合成一个大文件来减少文件的数量,然后建立一种索引机制,从这个组合文件中识别并访问客户所要的单个文件。实验结果表明EHDFS提高了存储和访问大量小文件的效率。     

云计算环境下的数据存储

近年来,越来越多的人和企业开始关注云计算这种新的计算模式,高性能的云存储是实现云计算服务的基本条件.介绍了云计算与云存储,讨论了云计算环境下的数据存储体系结构.对其中的分布式文件系统的设计进行了详细的探讨.为企业创建自己的基于云计算的数据中心提供了一个具有可用性、可扩展性、可管理性、安全性的设计方案.最后对几种典型的商业化云存储平台进行了简单的分析并讨论了云计算的发展趋势,同时针对企业在云计算的发展中所处的角色不同,给出了不同的发展策略.