一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

基于Hadoop云存储系统在设计院的应用研究

近年来,三维设计、协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求。本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于Hadoop构建的云存储系统模型,并应用于数据备份、归档及数据共享等领域,满足了设计院对海量数据存储、数据共享和数据挖掘等要求。     

基于Hadoop和双密钥的云计算数据安全存储策略设计

针对原有的Hadoop平台仅通过CRC-32循环冗余校验保证数据存储的安全性,设计了一种基于双密钥和混沌信号的云计算安全存储策略;首先,介绍了原有的Hadoop框架下的数据存储对应的文件读写过程,并基于加密机制设计了改进的Hadoop数据存储模型,然后根据云存储数据量大和响应要求及时的特点,设计了一种基于双密钥的改进对称密钥算法,在传统的私钥的基础上加入动态公钥,并作为敏感函数的输入获得最终的密钥,从而实现明文的加密和密文的解密,最终定义了具体的基于Hadoop和改进双密钥对称加密算法的云计算安全存储算法;通过搭建Hadoop仿真实验平台进行实验,结果表明文中方法能有效地实现云计算环境下的安全存储,存储时间与其它方法相比少15%以上,具有安全性高和存储效率高的优点,具有一定的优越性。     

云数据存储与管理

云计算作为一种新兴的商业模式发展异常迅猛,数据存储与管理是云计算中非常重要也极具价值的研究领域。介绍了云存储的概念、云存储的优势及云存储的架构;结合企业的具体实例,从多层次多方位深度剖析了云数据存储技术GFS（Google File System）／HDFS（Hadoop Distributed File System）及云数据管理系统BigTable／HBase,并对它们进行了分析比较。     

基于Hadoop的企业云存储技术探索

Hadoop平台作为一种新技术,近些年发展非常迅速,它的应用不仅能实现计算的"平民化",而且它可以忽略开发并行应用程序的细节,使程序员只需要专注于业务逻辑即可,从而大大提高了编程开发效率。在云计算相关技术日益发展的今天,Hadoop在企业云存储平台构建中的应用已成为当前企业信息化管理的重要发展趋势,本文在对基于Hadoop的企业云存储构建所依赖的云计算技术以及Hadoop平台作分析说明的基础上,就基于Hadoop的企业云存储的实现进行探究。     

海量教育资源中小文件的存储研究

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。     

Azure云平台对Twitter推文关键字实时大数据分析

Hadoop存储平台在云计算大数据存储方面占有显著优越的地位,利用Hadoop对海量数据进行快速、准确的分析是现如今最优的解决方案.详细阐述了使用微软Azure云平台的HDInsight(Hadoop集群存储架构)对Twitter推文进行实时大数据分析.     

大数据应用模式及安全风险分析

传统设备和工具在扩展性和分析技术上已经不能满足大数据的应用要求,当前大数据通常是在云计算环境下搭建Hadoop进行存储和分析,而基于云的大数据安全风险来源于云计算服务商以及远程数据应用者对未授权文件及内容的越权操作。本文分析了在不同云计算部署模式下,Hadoop不同阶段操作过程中,不可信主体对数据服务和隐私安全构成的威胁,并给出对应的威胁模型实例。最后根据上述安全风险给出对应的安全策略。     

基于云的资源存储设计与应用

该文通过对云计算和云存储的概念的描述,分析了云存储的体系结构较之传统文件管理体系的优势,并针对档案管理的工作现状,提出了基于Hadoop构建的云存储系统模型的设计。     

基于Hadoop的云计算基础架构分析

Hadoop是一个可实现大规模分布式计算的开源软件平台,已经被广泛应用在云计算领域。从Hadoop分布式文件系统架构的整体入手,描述了其分布式数据存储、分布式任务分配、分布式并行计算和分布式数据库4个方面的核心内容,并论述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和计算过程。使开发人员深入地理解Hadoop架构的工作原理与实现过程,为云计算背景下的应用程序开发提供重要的参考。     

基于Hadoop的云存储实践

随着网络和服务器的迅速成长,数据的容量越来越大,数据的存储面临严峻的挑战,怎样有效地存储数量庞大的数据,云存储是个不错的选择。简要介绍云计算和云存储的概念,并以Hadoop为平台进行一个数据处理的实验,统计相同文件名的个数。     

云存储关键技术研究

随着海量存储系统的出现与并行文件系统、分布式文件系统的发展．云存储系统建立在云计算技术前提之上,以其成本低、可扩展的特点,将成为未来的主要存储方式。介绍云存储相关的技术与实现及云存储在目前几个主要领域的应用。     

基于Hadoop的云计算基础架构分析

Hadoop是一个可实现大规模分布式计算的开源软件平台,已经被广泛应用在云计算领域.从Hadoop分布式文件系统的整体架构入手,描述了其分布式数据存储、分布式任务分配、分布式并行计算和分布式数据库四方面的核心内容,并论述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和计算过程.目的是使开发人员能深入地...     

MORM: A Multi-objective Optimized Replication Management strategy for cloud storage cluster

Effective data management is an important issue for a large-scale distributed environment such as data cloud. This can be achieved by using file replication, which efficiently reduces file service time and access latency, increases file availability and improves system load balancing. However, replication entails various costs such as storage and energy consumption for holding replicas. This article proposes a multi-objective offline optimization approach for replica management, in which we view the various factors influencing replication decisions such as mean file unavailability, mean service time, load variance, energy consumption and mean access latency as five objectives. It makes decisions of replication factor and replication layout with an improved artificial immune algorithm that evolves a set of solution candidates through clone, mutation and selection processes. The proposed algorithm named Multi-objective Optimized Replication Management (MORM) seeks the near optimal solutions by balancing the trade-offs among the five optimization objectives. The article reports a series of experiments that show the effectiveness of the MORM. Experimental results conclusively demonstrate that our MORM is energy effective and outperforms default replication management of HDFS (Hadoop Distributed File System) and MOE (Multi-objective Evolutionary) algorithm in terms of performance and load balancing for large-scale cloud storage cluster.     

大规模文本数据的分类系统的设计与实现

云计算模式解决了大规模数据存储和计算能力上存在的瓶颈,为大规模数据挖掘技术提供了理想的计算模式和技术手段。分析Hadoop云计算平台的数据存储和计算模型,在云计算模式的基础上．实现云计算平台上Web文本数据的贝叶斯分类模型。对于大规模数据挖掘中的数据存储和计算的问题和难点．提出一种高效、低成本的解决方案。     

基于分数阶Fourier变换的云存储系统重复数据删除算法

云存储系统的重复数据作为大量冗余数据的一种,对其有效及时地删除能保证云存储系统的稳定与运行。由于云存储系统中的干扰数据较多,信噪比较低,传统的重删算法会在分数阶Fourier域出现伪峰峰值,不能有效地对重复数据进行检测滤波和删除处理,因此提出一种改进的基于分数阶Fourier变换累积量检测的云存储系统重复数据删除算法。首先分析云存储系统重复数据删除机制体系架构,定义数据存储点的适应度函数,得到云存储节点的系统子集随机概率分布;采用经验约束函数对存储节点中的校验数据块分存,通过分数阶Fourier变换对云存储系统中的幅度调制分量进行残差信号滤波预处理。采用4阶累积量切片后置算子,把每个文件分为若干个块,针对每个文件块进行重删,进行重复数据检测后置滤波处理,实现存储资源上的重复数据检测及其删除。仿真实验表明,该算法能提高集群云存储系统计算资源的利用率,重复数据准确删除率较高,有效避免了数据信息流的干扰特征造成的误删和漏删,性能优越。     

云存储中多类型文件存储及访问优化机制的研究

当前云存储已经成为存储界的研究热点,Linux也已经成为当前云存储中所采用的主流操作系统之一。但是当前的云存储是面向通用文件存取服务,并未考虑其存储的文件的类型、大小、安全级别等等需求,因此也不可能提供针对不同存储内容的优化机制。面向云存储的应用环境,提出了Linux操作系统下的一种智能自适应文件系统,作为云存储优化项目的子项目,目标是保持原有文件系统的完整性和透明性的基础之上,对Linux文件系统机制进行改进。通过采用可堆叠文件系统技术,实现对不同特征的文件(小文件、超大文件、流媒体文件、加密文件等等)的自动适应和优化,从而提高基于Linux的云存储的文件服务性能。     

基于Paillier加密的数据多副本持有性验证方案

云存储服务中,用户将数据存储在不可信的云储存服务器上,为检查云存储中服务提供商(CSP)是否按协议完整地存储了用户的所有数据副本,提出一种 支持对数据副本进行动态操作 的基于Paillier加密的数据多副本持有性验证方案, 即DMR-PDP方案。该方案为实现多副本检查,将文件块以文件副本形式存储在云服务器上,将各副本编号与文件连接后利用Paillier密码系统生成副本文件以防止CSP各服务器的合谋攻击。利用BLS签名实现对所有副本的批量验证。将文件标志和块位置信息添加到数据块标签中,以保证本方案的安全性,支持对文件的动态更新操作。安全性分析和仿真实验结果表明,该方案在安全性、通信和计算开销方面的性能优于其他文献提出的方案,极大地提高了文件存储和验证的效率,减少了计算开销。