基于Ceph的OpenStack存储克隆链

当OpenStack使用Ceph作为存储后端时,由于Ceph内部本身克隆机制,导致OpenStack云平台存储管理容易出错且效率低。为了解决和优化OpenStack使用Ceph作为存储后端时在存储管理技术方面的不足,本文在开源云平台OpenStack的基础上,通过后端存储Ceph查询各对象在后端的表现形式,递归查找卷或快照的子链路,实现OpenStack存储克隆链功能,并通过Django和Angular JS实现克隆链可视化。通过克隆链展示,可以清晰地了解OpenStack各存储对象之间的关系,提高OpenStack存储管理效率。      

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

基于Hadoop的云存储的研究及实现

首先描述了云计算、云存储的概念、云计算的体系结构及云存储的架构模式;然后介绍了Hadoop工作原理及其文件存储的方法;最后基于eyeOS的Web操作系统,对传统的文件存储方法进行改进,采用Hadoop的HDFS技术实现文件的分布式存储及容错控制。     

基于OpenStack的对象存储性能实验及研究

随着云计算的不断发展,基于OpenStack的开源云得到了国内外IT厂商的广泛关注。从服务响应时间和服务吞吐量两个维度来对比万兆网卡和千兆网卡对OpenStack Swift对象存储方案性能的影响。在此基础上,模拟Swift采用万兆网卡适配器后在各种场景下的性能表现。进一步,采用固态硬盘检验其对Swift存储性能的影响。最后进行代理节点和存储节点的配比实验,挖掘云存储技术的价值,设计更加符合最终用户需要的云存储解决方案。     

基于Hadoop的企业云存储技术探索

Hadoop平台作为一种新技术,近些年发展非常迅速,它的应用不仅能实现计算的"平民化",而且它可以忽略开发并行应用程序的细节,使程序员只需要专注于业务逻辑即可,从而大大提高了编程开发效率。在云计算相关技术日益发展的今天,Hadoop在企业云存储平台构建中的应用已成为当前企业信息化管理的重要发展趋势,本文在对基于Hadoop的企业云存储构建所依赖的云计算技术以及Hadoop平台作分析说明的基础上,就基于Hadoop的企业云存储的实现进行探究。     

虚拟机可瞬时开启的私有桌面云架构

私有桌面云被广泛应用在集中计算、集中管理、远程办公等场景中.现有的私有桌面云多基于OpenStack云操作系统搭建,然而,该操作系统在使用时会出现虚拟机开启时间过长导致用户等待的问题,无法满足某些应用的高实时性要求.对此,使用模板镜像策略和网络连接存储策略作为云存储层解决方案,提出一种虚拟机可瞬时开启(ISVM)的私有桌面云架构.ISVM桌面云架构包括云管理层、云存储层、云服务层.经过测试和分析发现,ISVM私有桌面云架构的虚拟机开启时间约为OpenStack云平台虚拟机开启时间的1/100,达到了毫秒数量级,能够满足应用的实时性要求.     

Prophetstor携手Red Hat扩展OpenStack存储模块

软件定义存储（SDS）厂商 ProphetStor 希智数据宣布加入 Red Hat OpenStack 云基础架构合作伙伴网络,为 Red Hat Enter-prise Linux OpenStack 平台提供集成的 ProphetStor Federator SDS解决方案。     

VMware加强对OpenStack架构的支持

正中国北京,全球虚拟化和云基础架构领导厂商VMware公司近期宣布将继续积极参与和领导OpenStack社区。VMware再次跻身OpenStack十大贡献者之列,同时将贡献范围进一步扩大至计算、网络及存储领域。V M w a r e云基础架构副总裁J o h n     

Azure云平台对Twitter推文关键字实时大数据分析

Hadoop存储平台在云计算大数据存储方面占有显著优越的地位,利用Hadoop对海量数据进行快速、准确的分析是现如今最优的解决方案.详细阐述了使用微软Azure云平台的HDInsight(Hadoop集群存储架构)对Twitter推文进行实时大数据分析.     

开源云计算OpenStack在高校计算机机房中的应用研究

随着云计算技术的发展,开源云计算迅速崛起。开源云计算以其开源性、低成本等优点吸引越来越多的IT企业。本文介绍开源云计算OpenStack的功能和架构,分析高校计算机机房当前存在的问题,研究OpenStack在高校计算机机房构建存储云和计算云的应用和部署。实验表明,OpenStack可以方便、快捷部署云,且性能稳定。     

基于云的资源存储设计与应用

该文通过对云计算和云存储的概念的描述,分析了云存储的体系结构较之传统文件管理体系的优势,并针对档案管理的工作现状,提出了基于Hadoop构建的云存储系统模型的设计。     

SDN和云平台对接

云平台目前主流的开源项目有OpenStack和Cloud-Stack, 相比之下, OpenStack门槛高, 可实现的效果更好, 也是目前被各大厂商商用化最多的开源云平台之一. OpenStack: 按照26个英文字母进行生命周期迭代命名. 目前最新发布的是N版本 (Newton), 商用部署更多的是L版本和M版本. 随着其功能的完善, 目前有6个核心服务和10个可选服务. 主要看看6个核心服务: OpenStack Compute: 主要是虚拟机的管理, 代码命名为 Nova. OpenStack Storage: Object存储和 Block存储管理, 代码命名分别为Swift和Cinder. OpenStack Networking: 可插拔的, 由API驱动的网络和IP管理,代码命名 Neutron. 共享服务: 包含身份认证 (命名Keystone)、 image 管理 (命名 Glance)、 WEB 接口等.OpenStack可以控制数据中心大量的存储, 计算和网络资源, 并且所有的管理都可以通过Dashboard来统一完成完成.     

云数据存储与管理

云计算作为一种新兴的商业模式发展异常迅猛,数据存储与管理是云计算中非常重要也极具价值的研究领域。介绍了云存储的概念、云存储的优势及云存储的架构;结合企业的具体实例,从多层次多方位深度剖析了云数据存储技术GFS（Google File System）／HDFS（Hadoop Distributed File System）及云数据管理系统BigTable／HBase,并对它们进行了分析比较。     

基于OpenStack云架构下Hadoop分布式集群部署实训教学过程研究

高职院校纷纷开设云计算技术和大数据技术专业,专业间既紧密联系又各有侧重,专业课程也有交叉,使学生在学习专业知识时存在一定误区和困惑。为解决教师教学实训过程中的瓶颈难点,深化学生对大数据和云计算技术的掌握程度,针对云计算技术中OpenStack项目和大数据技术中Hadoop项目进行融合部署,在OpenStack私有云成功配置的基础上,申请云中的资源创建云主机,进行Hadoop完全分布式集群部署和配置,使师生在该教学实训环节成功实现配置,进一步加深对大数据和云计算技术的理解,促进专业课程知识的深入学习。     

基于Hadoop的海量学习资源云存储模型设计研究

由于多媒体技术不断发展,学习资源呈爆炸式增长,给资源存储提出了新的挑战。Hadoop平台对小文件的存储和访问存在内存消耗高、存储空间浪费等问题。针对这种情况,分析学习资源的特点,设计两级Hadoop模式,优化学习资源存储策略,提出基于多层次Hadoop的学习资源云存储模型。并在实验室环境下搭建存储模型,对多类型的学习资源文件进行存储测试分析。分析结果表明,模型在存储空间、内存消耗和存储效率上较传统Hadoop模型有着明显的改善,适合海量学习资源的存储需求。     

基于Hadoop和双密钥的云计算数据安全存储策略设计

针对原有的Hadoop平台仅通过CRC-32循环冗余校验保证数据存储的安全性,设计了一种基于双密钥和混沌信号的云计算安全存储策略;首先,介绍了原有的Hadoop框架下的数据存储对应的文件读写过程,并基于加密机制设计了改进的Hadoop数据存储模型,然后根据云存储数据量大和响应要求及时的特点,设计了一种基于双密钥的改进对称密钥算法,在传统的私钥的基础上加入动态公钥,并作为敏感函数的输入获得最终的密钥,从而实现明文的加密和密文的解密,最终定义了具体的基于Hadoop和改进双密钥对称加密算法的云计算安全存储算法;通过搭建Hadoop仿真实验平台进行实验,结果表明文中方法能有效地实现云计算环境下的安全存储,存储时间与其它方法相比少15%以上,具有安全性高和存储效率高的优点,具有一定的优越性。     

云存储日志文件系统中快照的设计与实现

在逐步分析云存储日志文件系统中快照机制的基础上,设计并实现了基于HLFS(Hadoop DFS log-structured File-system)云存储日志文件系统的快照系统。通过在HLFS中添加新的快照,从快照系统中就可以随时获取该快照的信息,并恢复该快照时的所有数据,使云存储系统能够及时地进行数据恢复,从而避免云存储中核心数据的丢失,保证云存储中数据的安全性。为尽可能提高云存储日志文件系统中快照系统的可扩展性与实用性,详细分析快照在云存储日志文件系统中的设计与实现,并结合其他快照,分析了HLFS快照的实现性能。     

基于Hadoop的气象信息数据仓库建立与测试

气象相关的数据随着气象事业现代化水平的不断提高而与日俱增,使得气象部门对于气象数据存储、管理和读取的要求越来越高;通过分析开源云平台Hadoop的分布式文件系统HDFS、数据仓库工具Hive等架构,研究了Hadoop气象云平台的构建过程,最终实现了气象信息数据仓库的建立与测试;该气象信息数据仓库实现了海量气象数据文件的分布式存储、元数据管理以及气象数据的查询;应用表明,使用气象数据仓库进行大型气象数据文件存储和操作时,可以大大提升数据吞吐率和数据读写操作效率。     

面向海量数据的电子政务云平台研究

针对传统电子政务平台所采用的关系型数据库在处理海量数据时存在性能瓶颈问题,利用Hadoop分布式平台在处理海量数据方面的优势,结合HDFS分布式文件系统、Map/Reduce并行计算模型和Hive仓库技术,设计关系型数据库与Hadoop相结合的电子政务云平台,两者协同提供海量数据查询操作和存储服务,从而降低了关系型数据库服务器的负载压力,增强电子政务平台的扩展性。通过实验证明,Hadoop能大大提高电子政务云平台的查询效率。进一步分析该设计方案中影响查询效率的因素,为深入研究基于Hadoop构建高效的电子政务云提供参考。     

基于OpenStack的云存储系统的大文件存储方案

为解决开源云平台OpenStack的对象存储服务Swift在存储GB级大文件方面的不足,提出基于文件分割、片段合并、并行处理的GB级大文件的存储方案。分析Swift体系结构及其特点,在此基础上构建云存储系统的层次架构;制定GB级大文件的存储策略,设计关键数据结构和上传下载的核心流程,使用Java多线程实现该方案。部署云存储实验环境,通过实验验证了该方案的可行性,该方案突破了Swift对文件大小的限制,提高了文件的上传和下载速度。