云计算与云数据存储技术研究

在介绍了现有的云计算定义和特点的基础上,设计出了通用云计算的体系结构,针对云计算与其存储技术,给出了云存储系统的结构模型,分析了两种新型存储技术:GFS(Google File System)和HDFS(Hadoop Distributed File System);最后深入分析云计算和存储的发展趋势。     

云计算及其关键技术

云计算是一种新兴的计算模型,它是在网格计算的基础上发展而来的。介绍了云计算的发展历史和应用场景,比较了现有的云计算的定义并给出了新的定义,以谷歌的云计算技术为例,总结了云计算的关键技术：数据存储技术（Google File System）、数据管理技术（BigTable）、编程模型和任务调度模型（Map-Reduce）等,分析了云计算和网格计算以及传统超级计算的区别,并指出了云计算的广阔发展前景。     

云存储日志结构文件系统中段回收机制的研究

针对云存储文件系统中,复杂的检索和回收过程导致系统处理用户数据的能力下降问题,基于日志结构分布式文件系统（HDFS-based Log-structured File System ,HLFS）,提出一种针对系统资源进行有效回收管理来提高云存储空间有效利用率的方法,通过位图标记的方式找到HLFS中段资源的使用情况,实现对HLFS中段资源的管理回收。实验结果表明,位图标记应用于云存储系统中资源管理之后,能够改善垃圾回收的效率。     

基于CIFS协议的云存储安全网关的设计与实现

CIFS(Common Internet File System)协议是网络存储在应用层的核心协议,是应用于网络附加存储NAS(Network AttachedStorage)进行数据存储的通信协议。云存储是一种新型的网络存储形式,企业和个人用户都开始使用云存储作为其网络存储媒介。随着云存储的广泛使用,云存储中数据的安全问题,如数据泄漏和数据篡改,也成了用户广泛关注的问题。基于Amazon S3的云存储服务,设计并实现一款基于CIFS协议的云存储安全网关系统CSSGS(Cloud Storage Security Gateway System)。通过该网关,用户能够以访问NAS的访问习惯,使用Amazon S3云存储服务;该网关还对用户上传至Amazon S3的数据进行加密保护,可以有效防止数据在传输和存储过程中的泄漏;同时该网关还对从S3下载的文件进行完整性校验,检测其内容与上传时是否一致,以防止被篡改。     

基于NBD的弹性云存储研究与设计

目前市场上各大厂商提供给用户的云存储服务都有各自的特点,针对其普遍存在的容量大小受限、单文件大小限制、数据安全等问题。提出了基于网络块设备的弹性云存储的模型,实现一个简单易操作的符合基本用户实际使用的弹性云存储系统。该模型采用NBD(Network Block Device)作为客户端与服务器交互的接口,以HLFS(Hadoop Log-Structured File System)为弹性云平台提供虚拟磁盘后台存储服务,实现文件的分布式存储及容错控制等。测试结果表明,该方式能有效自动增加磁盘容量,对单文件大小无限制,读写数据一致并且能有效防止数据遗失。     

云计算及云数据管理技术研究初探

云计算及云数据管理技术是在传统的数据存储、分布式计算和网络技术等计算机技术的基础之上发展而来的,它旨在分布式存储和处理海量数据,以方便人们按需及时获取相应服务。云计算及云数据管理技术的实现和发展日益显现出了它的强大存储计算能力和广泛应用前景。本章介绍了云计算的概念及特征,分析了云计算及云数据管理技术的服务模式和系统结构,总结了云计算及云数据管理技术的关键技术,主要平台的实现,阐述了其面临的挑战,介绍并展望了以后的发展应用及其广阔前景。     

文件秒传系统在云存储环境下的设计与实现

针对云存储环境下用户数据上传速度慢的问题,设计一个文件秒传系统FSTS(File Second Transmission System)。该系统基于云存储服务器充足的数据资源,建立元数据资源库,通过将文件设计为资源共享的方式实现数据秒传,元数据资源库将云存储服务器上的数据通过唯一标识数据内容的字段组织起来,以此来保证该资源库中没有重复的数据。用户在上传数据到云存储服务器时,如果该数据的唯一标识已经存在于元数据资源库,那么只需要增加该记录的引用计数即可完成用户数据的上传,而无需通过网络传输数据的任何内容,即实现了文件的逻辑上传,并且保证了对数据的后续操作都是正常的。实验结果表明,该文件秒传系统可以很好地提高数据的上传速度以及提高云存储服务器存储空间的利用率,该方案在云存储环境下是可行的、有效的。     

云GIS及其关键技术

GIS与云计算的结合为GIS的数据存储、管理、处理及其应用提供了一个新的发展前景。分别给出了云计算和云GIS的定义,提出了云GIS的四种应用模式和一个多层次架构模型,重点研究了云GIS的关键技术：虚拟化技术、分布式数据存储技术（GFS）、虚拟化数据管理技术（Bigtable）、并行空间分析技术、数据和功能互操作技术和部署模式,最后给出了一个云GIS实际应用框架。     

云计算环境下的数据存储

该文对云计算环境下的数据存储技术进行了分析。对云计算下的存储需求,云计算IAAS层的云存储架构方法．PAAS层的云存储实现方法进行了探讨。分析比较了几种商业化云存储系统,并给出了企业环境下构建云存储的一种方案。     

一种面向多租户云存储平台的访问控制策略

云存储平台是多租户共享环境,能否实现其中不同租户数据之间的有效安全隔离成为了用户最为关心的问题.以RBAC(Role Based Access Control)策略为基础,结合组织标签和多种安全属性的逻辑组合,提出一种灵活的访问控制策略,它一方面保证云端不同企业之间数据的强隔离性,使某企业用户无法越权访问其他企业的用户数据;另一方面保证云存储企业内部数据的适度隔离,即可以根据公司自身的安全需求灵活定制企业内部策略.同时,引入虚拟组织的概念实现企业之间可能的数据共享;引入利益冲突的概念限制竞争企业之间的共享.给出了该策略在基于HDFS (Hadoop Distributed File System)的云存储架构中的原型实现.实验结果表明,该策略能够有效保障云存储平台多租户数据之间的恰当安全隔离.     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

基于参数优化的Hadoop云计算平台

传统的数据分析,很难满足现阶段大数据处理效率的要求.Hadoop云计算技术的应用,实现了海量数据存储和分析,提高了数据存储和分析的效率.在总结传统系统利弊的基础上,以Hadoop分布式文件系统(HDFS)取代现有的单机数据存储,以map/reduce应用程序取代传统的单机数据分析,并对其做出优化.实验证明,Hadoop系统架构在生产上部署、投入使用的可行性.     

Dandelion:OpenStack云平台的快速部署机制

提出了一种快速、自动部署OpenStack云平台的解决方案,以提高OpenStack的部署效率.该方案首先创建不同节点类型的镜像模板文件; 接着根据节点类型(如网络节点、计算节点)将已制作好的镜像模板进行复制,并依照节点的属性(如IP地址、hostname标识等)使用脚本自动修改配置文件,完成单个节点的部署; 之后,利用相同的策略实现其他节点的快速部署.在部署的基础上,通过管理服务器提供的预启动执行环境(PXE)、动态主机配置协议(DHCP)及简单文件传输协议(TFTP)等网络服务挂载节点的镜像块文件,最终完成节点的启动.此外,建立了性能评价模型用于确定源镜像副本和存储服务器的最佳数量,以优化存储网络的拓扑结构.实验结果表明,无论是使用相同存储网络部署不同大小的云平台,还是使用不同大小的存储网络部署相同大小的云平台,与Cobbler、网络文件系统(NFS)等部署方案相比,所提解决方案大大减少了部署时间,提高了部署效率.     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

一种基于海量信息处理的云存储模型研究

提出了一种云环境下海量数据组织与资源共享的存储总模型,该模型包括:结构化、半结构化及其非结构化数据与资源的对应存储方法;能兼顾海量大小数据文件处理的分布式文件系统THDFS;云数据库系统设计模型THCloudDB;云环境下强于MapReduce弱于SQL,以Hadoop++为基础的一种针对互联网海量数据文件处理且具有语义计算效能的计算模型THMapReduce;针对THDFS及其THCloudDB的具有语义效能的智能挖掘分析工具THBI;最后以"清华通"为案例分析了该模型平台的具体应用.     

Hadoop平台在云计算中的应用

云计算是当前比较热门的新兴技术之一,受到业界的广泛关注。Hadoop是一个可实现大规模分布式计算的开源软件平台,因此被广泛应用在云计算领域。本文在对Hadoop的主要组件Hadoop分布式文件系统HDFS（Hadoop Distributed File System）和计算模型MapReduce进行深入分析和研究的基础上,建立基于Hadoop平台的云计算模型,通过实验证明该模型可以有效完成分布式数据处理任务。     

基于Google的云计算实例分析

先介绍了云计算产生的背景、概念、基本原理和体系结构,然后以Google系统为例详细阐述了云计算的实现机制。云计算是并行计算、分布式计算和网格计算等计算机科学概念的商业实现。Google拥有自己云计算平台,提供了云计算的实现机制和基础构架模式。该文阐述了Google云计算平台：GFS分布式文件、分布式数据库BigTable及Map／Reduce编程模式。最后分析了云计算发展所面临的挑战。     

Towards a framework for large-scale multimedia data storage and processing on Hadoop platform

Cloud computing techniques take the form of distributed computing by utilizing multiple computers to execute computing simultaneously on the service side. To process the increasing quantity of multimedia data, numerous large-scale multimedia data storage computing techniques in the cloud computing have been developed. Of all the techniques, Hadoop plays a key role in the cloud computing. Hadoop, a computing cluster formed by low-priced hardware, can conduct the parallel computing of petabytes of multimedia data. Hadoop features high-reliability, high-efficiency, and high-scalability. The numerous large-scale multimedia data computing techniques include not only the key core techniques, Hadoop and MapReduce, but also the data collection techniques, such as File Transfer Protocol and Flume. In addition, distributed system configuration allocation, automatic installation, and monitoring platform building and management techniques are all included. As a result, only with the integration of all the techniques, a reliable large-scale multimedia data platform can be offered. In this paper, we introduce how cloud computing can make a breakthrough by proposing a multimedia social network dataset on Hadoop platform and implementing a prototype version. Detailed specifications and design issues are discussed as well. An important finding of this article is that we can save more time if we conduct the multimedia social networking analysis using Cloud Hadoop Platform rather than using a single computer. The advantages of cloud computing over the traditional data processing practices are fully demonstrated in this article. The applicable framework designs and the tools available for the large-scale data processing are also proposed. We show the experimental multimedia data including data sizes and processing time.