云计算环境下的分布存储关键技术

云计算作为下一代计算模式,在科学计算和商业计算领域均发挥着重要作用,受到当前学术界和企业界的广泛关注.云计算环境下的分布存储主要研究数据在数据中心上的组织和管理,作为云计算环境的核心基础设施,数据中心通常由百万级以上节点组成,存储其上的数据规模往往达到PB级甚至EB级,导致数据失效成为一种常态行为,极大地限制了云计算的应用和推广,增加了云计算的成本.因此,提高可扩展性和容错性、降低成本,成为云计算环境下分布存储研究的若干关键技术.针对如何提高存储的可扩展性、容错性以及降低存储的能耗等目标,从数据中心网络的设计、数据的存储组织方式等方面对当前分布存储的关键技术进行了综述.首先,介绍并对比了当前典型的数据中心网络结构的优缺点;其次,介绍并对比了当前常用的两种分布存储容错技术,即基于复制的容错技术和基于纠删码的容错技术;第三,介绍了当前典型的分布存储节能技术,并分析了各项技术的优缺点;最后指出了当前技术面临的主要挑战和下一步研究的方向.     

云计算中企业文档安全存储方案

企业文档的数据化管理势在必行,但带来的安全问题也日益突出。本文把企业文档管理与云计算相结合,利用纠删码构造了文档安全存储方案,解决了文档完整性和可用性问题,并分析了方案的安全性。     

异构环境下纠删码的数据修复方法综述*

在大规模云存储系统中,由于磁盘或网络故障造成的存储节点失效事件频发,系统需要数据冗余技术以保证数据的可靠性和可用性。纠删码,相对于副本方式而言,能大大提高存储空间的利用率,但纠删码在冗余数据修复方面的代价较副本方式高很多。目前针对纠删码的冗余数据修复研究大都无差别对待每个存储节点,然而实际分布式存储系统中,节点通常存在带宽资源、计算资源、存储容量资源等方面的差异性,这些资源的异构性对冗余数据修复性能影响很大。本文指出影响修复性能的关键因素,选取带宽开销、磁盘访问开销、修复时间、参与修复的节点数量和修复代价作为修复性能的评价标准;分析了现有研究方法如何降低这五种开销,重点讨论了这些方法的优缺点;阐述当前异构分布式存储系统中纠删码修复技术的研究现状;最后指出纠删码数据修复技术中尚未解决的一些难题和未来纠删码修复技术可能的发展方向。     

一种云存储系统数据持久存储机制

针对云存储中的可靠性产生的担忧,提出一种云存储系统完善的数据存储保障机制,以保证系统的高可靠性和数据的高可用性。在处理与数据持久存储的相关的数据分片、数据分发、完整性检查以及冗余数据的维护中,引入基于纠删码的数据冗余机制,与传统的复制冗余方案相比,能够在获得相同的数据可用性时降低存储空间和网络带宽的开销多达50%以上。采用基于缓冲区的分段读入编码对纠删码算法进行优化后,提高了对文件分片与合并的平均编码速率。     

云计算环境下网络安全数据存储系统设计

随着信息多元化和多用户模式的出现,传统的计算机信息技术已经不能满足人们的需求,开始转向对云计算技术的开发与应用。文章提出基于云计算环境的网络安全数据存储系统设计方案,设计了1个包含数据接入层、数据存储层、数据服务层的3层架构体系。另外,还提出基于身份认证、访问控制、加密技术的安全保障措施,保证了系统的数据安全性。     

基于数据挖掘的存储数据纠删码容错方法仿真

在存储数据的纠删码容错中,针对传统存储数据纠删码容错方法容错速度较低的问题,提出一种基于数据挖掘的存储数据纠删码容错方法。采用数据挖掘方法对存储数据纠删码进行重构,计算存储数据纠删码的丢失片段;利用CHR算法对存储数据纠删码进行异构修复,通过建立存储数据纠删码容错模型实现存储数据的纠删码容错。为了验证存储数据纠删码容错方法的有效性,将存储数据纠删码容错方法与传统存储数据纠删码容错方法进行对比,实验结果得出:上述方法与基于流水线的存储数据纠删码容错方法、基于RapidRaid码的存储数据纠删码容错方法、基于非规则LDPC码的存储数据纠删码容错方法的容错速度分别为:286Mbps/s、262Mbps/s、243Mbps/s、232Mbps/s,比较可知,所提方法的容错速度最快,证明了上述方法的优越性。     

云计算环境下数据存储安全技术研究

随着云计算服务应用的不断深入,数据存储的安全问题引起了用户的高度关注。为确保数据在网络服务器上的存储安全性,存储加密技术被广泛的应用。基于此,提出云计算环境下的数据储存安全技术问题。通过理论知识分析云计算与云存储的架构,了解云计算与云存储的关系,针对数据存储安全现状提出混合加密解密技术,弥补单独使用对称加密和非对称加密的不足。结果证明：混合加密解密技术兼顾了数据存储安全性与传输效率,是一种解决数据存储安全问题的可行性方案。     

云计算环境下的数据存储

近年来,越来越多的人和企业开始关注云计算这种新的计算模式,高性能的云存储是实现云计算服务的基本条件.介绍了云计算与云存储,讨论了云计算环境下的数据存储体系结构.对其中的分布式文件系统的设计进行了详细的探讨.为企业创建自己的基于云计算的数据中心提供了一个具有可用性、可扩展性、可管理性、安全性的设计方案.最后对几种典型的商业化云存储平台进行了简单的分析并讨论了云计算的发展趋势,同时针对企业在云计算的发展中所处的角色不同,给出了不同的发展策略.     

混合存储模式下MapReduce作业调度

在异构Hadoop集群场景中, 为了缓和由于纠删码和副本存储模式混合使用, 以及服务器节点本身实时算力差异造成的MapReduce作业处理效率低下的问题, 本文实现了一种根据数据存储情况和节点实时负载来在多并发场景下动态调节MapReduce作业任务分配情况的调度策略. 该策略通过修改当前Hadoop框架中的数据存储选址策略并对节点任务并发量进行动态控制, 在多作业并发时实现更加均衡的作业间资源分配. 实验结果表明, 相较于Hadoop默认的两种作业调度策略, 本文提出的调度模式能够将作业完成时间缩短约17%, 并有效避免部分作业面临的饥饿现象.     

计算机云计算下的数据存储探讨

计算机技术的应用给人们带来了更多的便利,云计算的出现,给计算机的用户带来了很大的帮助,可以利用网络层将大型的数据进行运算以及储存,在满足用户的同时,还提升了相应的数据储存安全.对计算机云计算下的数据存储进行了深入的分析探讨.     

并行计算模型在异构计算环境中的研究

近年来异构并行计算在高性能科学计算和通用应用领域受到广泛研究。本文结合多种代表性并行计算模型，给出异构环境中的HBSP模型和程序开销计算方法。采用基于消息长度的线性模型使通信开销的计算更精确，解除原有BSP模型对h-rela-tion的限制，使程序和算法在异构环境中的设计更加灵活。当构成BSP计算机的各处理机速度相同且原有BSP算法达到最优（即各处理机上所分配的计算量与通信量完全均衡）时，HBSP模型等同于原有模型。     

一种面向SLA的云计算环境下虚拟资源调度方法

云计算环境下,应用提供者可以根据需要决定租用虚拟资源的数量。租用大量资源会得到Qo S保障,从而获得较好的收益,但应用提供者需要为租用资源付费。同样,租用少量资源,会节省租用资源投入,但资源不足难以保障Qo S,SLA(Service Level Agreement)违背会带来经济损失。因此,租用多少虚拟资源才能使得资源得到充分利用,达到应用提供者的收益最大化成为亟待解决的问题。针对此问题,从应用提供者收益角度考虑,兼顾SLA收益损失和服务器租用成本投入,提出虚拟机资源调度方法,旨在使得应用租用者收益最大化。该方法利用排队论建模目标云应用的性能,并引入SLA收益损失函数估算在租用一定虚拟资源情况下的SLA收益损失,最后,利用爬山算法动态调整物理资源租用数量以达到收益最大化的目标。实验结果表明,与当前常见的虚拟机资源调度方法 1VMPer Job、1VM4All和Bin Packing相比,所提出的方法使得云应用提供者的成本投入分别降低了17.92%、22.85%和10.74%。     

一种基于ICFV的云计算数据库负载访问优化方法

为了优化云计算服务器数据库负载访问性能,采用基于特征向量的增量聚类方法(ICFV)对数据库负载访问性能进行优化。ICFV算法提取数据库负载的特征向量然后进行聚类划分,它与传统的基于负载特征向量聚类不同,采用的是增量聚类方法,不需要对所有负载集合进行重新中心距离计算,从而优化特征向量维数。通过实验证明,采用ICFV算法实现数据库负载自适应优化,提高负载聚类效率。在负载个数相同时,负载类别的增加对云计算数据库的访问性能影响较小,且ICFV方法运算效率优于CFV方法。     

高性能的云存储安全网关设计与实现

随着互联网应用的迅速发展,数据量呈指数级增长趋势。越来越多的用户选择将数据存储备份到云端,但同时数据安全隐患也越发突出。用户对海量数据的存储备份和安全性需求越来越高。为了方便用户将本地数据迁移到云存储服务端,简化远程云端资源的访问,提供隐私保护、数据安全等附加价值,设计并实现了一个安全、高性能、大容量的混合云存储安全网关。该云存储安全网关能够提供安全、高效的数据存储备份服务,克服传统存储备份服务的不足。具有灵活的数据机密性和用户隐私管理、安全的数据存储和传输等特点。     

一种基于云存储的移动终端网络存储设计

随着移动互联网迅猛发展,移动终端的硬件资源如计算能力、存储能力及电池续航能力等等,已严重制约了移动互联网的发展。针对移动终端存储能力不足问题,结合目前集群技术及云存储技术,考虑到移动终端文件主要以小文件为主,提出一种基于云存储的移动终端网络存储模型,其体型结构包括基础设施层、基础管理层、应用接口层和访问层四部分,把信息的存储和处理移植到云上,从而为解决移动终端资源受限提供一种可行方案。     

云计算环境下的关联挖掘在图书销售中的研究

随着大数据时代的到来,如今人们已经淹没在海量的信息当中。云计算技术的出现,为解决在海量数据中高效地挖掘出有价值的信息问题提供了新的思路。利用云计算的分布式处理和虚拟化技术的优势,提出一种基于Map/Reduce编程模型与编码操作相结合的分布式关联规则挖掘算法——MCM-Apriori算法;设计并实现一个基于Hadoop云平台的网上图书销售系统。为进一步验证该系统的高效性,在该系统中利用MCM-Apriori算法进行图书推荐服务的应用。实验对比结果表明,该系统实现了快速分析与查询、可靠存储的功能,可以明显提高关联规则挖掘效率。     

东营云计算系统架构关键技术的研究

云计算是一种新的用户体验和业务模式,它是在分布式计算的基础上发展而来的,黄河三角洲云计算中心是东营创建智慧城市的积极尝试。介绍云计算的概念、特点和云计算的系统架构,以IBM的云计算技术为例,结合黄河三角洲云计算中心,研究云平台系统架构的关键技术,指出了云计算的发展趋势。     

云计算环境下基于多目标优化的虚拟机放置研究

云数据中心的规模日益增长导致其产生的能源消耗及成本呈指数级增长.虚拟机的放置是提高云计算环境服务质量与节约成本的核心.针对传统的虚拟机放置算法存在考虑目标单一化和多目标优化难以找到最优解的问题,提出一种面向能耗、资源利用率、负载均衡的多目标优化虚拟机放置模型.通过改进蚁群算法求解优化模型,利用其信息素正反馈机制和启发式...     

一种提高云计算环境下检测入侵者速度和正确率的新方法

云计算环境要求入侵检测系统(IDS)极其快速和准确,用于云计算的智能型IDS——反向传播神经元网络(BPNN)经常出现泛化问题,即BPNN无解或总误差函数不能收敛于全局最小值.泛化问题降低了BPNN的识别速度和正确率.为了解决该问题,提出两种解决方法.第一种是剔除相关性大的那些特征,保留相关性较小或互相独立的重要特...     

云计算环境下基于拓扑感知的虚拟网络映射研究

网络虚拟技术被认为是克服Internet僵化的一种有效方法,特别是在云计算的环境下。但是虚拟网络映射问题(VNMP)是一个最主要的挑战,其主要是如何通过一种有效的方式将虚拟网络映射到底层网络上从而有效地利用底层的基础资源。虚拟网络映射可以分为两个阶段:节点映射以及链接映射。在节点映射阶段,现有的算法通常使用完全的贪婪策略映射这些虚拟节点,而不考虑这些虚拟节点的拓扑,这将导致底层路径太长(有多个跳跃点)。为解决这一问题,提出一个拓扑感知的节点映射算法,该算法在进行映射时考虑节点的拓扑结构。在链接的映射阶段,新的算法采用k最短路径算法。模拟结果显示,新算法大大增加长期的平均收益,而接受的比率和长期的收益与成本(R/C)成比例。