一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

面向SaaS应用的SMTDM可伸缩多租户数据管理框架

云计算是一种可以弹性并按需提供资源的技术.在多租户共享数据存储模式下,如何实现数据的动态伸缩存储是云数据管理的关键.针对SaaS应用如何随着租户数量及请求规模的变化而进行自适应伸缩的问题,在分析数据存储层的伸缩性需求的基础上,基于Walraven等人提出的多租户架构思想,扩展典型的云应用架构,设计了一个多租户数据管理框架,实现存储资源的弹性.基于该框架,开发了一个面向网络管理领域的SaaS原型系统,验证了其有效性和可用性.     

云计算环境下的数据存储

该文对云计算环境下的数据存储技术进行了分析。对云计算下的存储需求,云计算IAAS层的云存储架构方法．PAAS层的云存储实现方法进行了探讨。分析比较了几种商业化云存储系统,并给出了企业环境下构建云存储的一种方案。     

基于混合云的安全数据存储架构

云计算技术为数据存储与计算提供了一个非常有效的方法,当前研究工作的重点集中在云中的数据安全。基于混合云,提出一个安全数据存储架构,将数据存储过程划分为两部分。数据的机密性、完整性和可追踪性的相关操作在私有云中实现,公共云实现数据的存储与查询。该架构在保障云端数据安全存储的同时,降低企业在保证云数据安全存储方面的成本。     

云计算理论在中小企业中的应用研究

云计算采用了一种资源共事的技术支持和管理方式,提供了一种更高效的数据存储和处理能力.本文探讨了云计算在中小企业中的应用,对其关键技术-虚拟化技术进行分析,并对服务器云的架构进行了说明.     

双通道云数据存储安全方案研究

为了改善解决云计算中热点问题之一～数据存储安全,该文在研究现有经典云数据存储体系架构的基础上,根据云本身的超强计算能力和代价低廉等特性,提出了一种优化的双通道并行云存储架构,配以非对称数据加密手段,在硬件与架构层面直接针对安全问题作出优化部署。在大量的节约成本、提高效率、精简架构的情况下保证了云环境下数据存储安全性的提升。模拟部署表明,双通道并行云架构及非对称数据加密能有效的提高云数据存储的安全性。     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

云计算环境下的数据存储

近年来,越来越多的人和企业开始关注云计算这种新的计算模式,高性能的云存储是实现云计算服务的基本条件.介绍了云计算与云存储,讨论了云计算环境下的数据存储体系结构.对其中的分布式文件系统的设计进行了详细的探讨.为企业创建自己的基于云计算的数据中心提供了一个具有可用性、可扩展性、可管理性、安全性的设计方案.最后对几种典型的商业化云存储平台进行了简单的分析并讨论了云计算的发展趋势,同时针对企业在云计算的发展中所处的角色不同,给出了不同的发展策略.     

数据处理中心云服务综合架构的研究与应用

分析云计算研究和应用的现状,阐述了综合型项目中基于云服务架构建设数据处理中心的典型模式,采用了理论分析和实践设计的方法,重点研究并提出了数据处理中心的云服务综合架构,包括云计算平台、资源管理、架构管理、计算资源部署和云存储数据仓库,在建设成本、移植风险和业务性能方面分析了云架构的基础优势,并展望了云架构发展前景。     

云技术在飞行试验数据处理中的应用

针对飞行试验数据的海量非结构化的特点以及当前所面临的处理与应用问题,研究分析当前新兴的云技术,提出了飞行试验数据云计算应用架构的3个组成要素:设备系统、云存储和云计算。面向试飞数据工程应用,以试飞科目、试验动作段为频度矩阵建立试飞元数据存储阵列,实现海量非结构化试飞数据的云存储应用;以SOA架构为基础,结合面向应用的处理功能组件,实现分布式网络计算调度和计算群集,为用户提供高效的云计算服务。工程实践应用表明,该系统以灵活架构有效地解决了非结构化大数据信息的高效存储、统一管理和共享应用,实现了海量试飞数据的快速分析处理,展示了云计算技术的先进特点。     

面向云存储的非结构化数据存取

非结构化数据呈爆炸态势增长,现有存储技术在I/O吞吐能力、可扩展性及易管理性等方面亟待改进。存储系统以云存储和可靠性理论为基础,建立了非结构化数据的分布式存储模型,并设计了可靠度函数。采用分布式关系数据库管理系统(RDBMS)作为存储底层,将非结构化数据直接存储于数据表中,实现了非结构化数据和元数据的分离式存储和统一管理,进而提升了存储系统性能。相对于集中式存储,新系统具有较高的可用性。仿真结果显示,存储系统可靠度高且易于扩展。该分布式存储系统可应用于动态开放计算环境,提供效能较高的云存储服务。     

云计算在安防视频监控领域的应用研究

大数据来临的时代下,安防视频监控系统与云计算技术的结合是未来的发展趋势,云计算的优势在于将大量的数据采取分布式的存储、计算、检索来大大提升安防视频监控的数据运用的效率,本文从云计算在安防视频监控中使用的必要性,社会发展需求和云计算当前平台的运用进行了简要的综合和介绍。为安防系统云计算的推广和深入发展提供一些借鉴。     

基于Fstor的校园云存储方案

针对传统校园存储中能耗高、计算能力及存储效率低下、数据的存储安全性、可靠性及稳定性较低的现状,提出基于Fstor的校园云存储解决方案,采用云计算结构,实现对分布式数据存储功能的自主定制和管理,应用部署快速简单,实现专业服务集成化应用平台与编程接口(API)的完美对接,最终达到校园云存储系统的安全可靠及高效运行。     

基于云计算的IPTV业务平台架构设计及应用

随着云计算技术的飞速发展,特别是虚拟化技术、分布式存储系统的引入,催生了各种各样的服务及应用.本文首先介绍云计算的关键技术,包括虚拟化技术、分布式存储系统、分布式数据库.提出基于云计算的IPTV业务平台系统架构,分析其功能、技术优势及发展趋势.引入云计算技术,使得IPTV业务平台具有高可靠性、动态负载均衡能力和良好的扩展性,满足其业务快速增长的需求.     

分布式云存储高可用框架研究

近年来,分布式云存储为非结构化数据的存储、处理提供了高效、廉价的解决方案,但随着业务系统对系统可用性要求的不断提高,对分布式云存储高可用框架的研究具有重要的理论价值和广阔的应用前景.论文综合分析了分布式云存储的基本理论,提出了针对智能电网设计的分布式云存储高可用框架,该框架采用双活主节点以及多服务心跳监测算法,保障在高并发读写文件操作下分布式云存储的高可用性.实验结果表明,该框架能够有效应对任意节点失效产生的系统故障.     

基于开源软件的云监控平台设计与实现

最近几年,基于云计算的互联网服务迅速增长,数据中心的基础设施和应用资源不断增加。需要及时、高效的监控和管理资源的可用性,保证云服务的可靠性。通过对云监控的内容和特性的研究,提出一种管理云计算资源的云监控系统架构,重点对分布式架构、逻辑处理模块和云监控接口进行设计,实例中完成对私有云中物理主机、虚拟机、应用服务的批量监控,实现数据的存储和展示。     

基于云计算的景区数据仓库应用研究

云计算、物联网、大数据等新兴信息技术的发展与应用在提高景区信息化服务水平的同时,也对景区海量信息资源的有效利用提出了严峻挑战。面对超大规模、非结构化的海量数据,传统的基于关系型数据库的数据仓库已很难有效支持景区的数据存储与分析工作。基于此文中提出了一种基于云计算技术的景区数据仓库,通过采用HDFS对数据进行分布式存储管理,利用MapReduce设计海量数据的分析模式,使用HiveQL语言实现数据仓库与前端表现层的交互,能够有效解决景区海量数据的数据管理问题。以黄山风景区为实际背景的实验结果表明了该数据仓库的正确性和有效性。     

云计算与高能物理实验分布式计算的结合应用

高能物理实验具有大数据量和高计算量的特点,需要分布式计算系统对多个合作单位的计算和存储资源进行整合。中国科学院高能物理研究所已经创建了分布式计算环境,并实现对多个高能物理实验的稳定支持。近年来由于云计算技术不断发展成熟,其扩展性和易定制的特性非常适合应用于高能物理实验计算,是一种新的分布式计算资源类型。我们对云计算与分布式计算的结合应用进行了研究,成功将云计算整合到中国科学院高能物理研究所的分布式计算系统中,实现云站点的稳定运行,并进入生产状态提供给物理用户使用。     

基于干扰对齐的高效云存储方法研究综述

云存储/分布式存储主要靠存储冗余和高效的节点修复机制保障其可靠性。将干扰对齐技术引入到云存储的节点修复问题中,利用干扰对齐可以将节点修复时传输的干扰数据压缩到较小的空间维度中,使待修复节点所需的期望数据维度较大,在保证高可靠性的同时降低修复开销,节约云存储成本。首先介绍了云存储/分布式存储中的节点修复问题,然后对干扰对齐在云存储/分布式存储中的重要意义和国内外的研究进展进行了阐述,最后分析了存在的主要问题和下一步研究重点。     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。