云系统中面向海量多媒体数据的动态任务调度算法

在云计算环境下,对处理海量多媒体数据的作业以及任务调度与资源分配算法进行建模,在此模型下提出一种云计算环境下面向海量多媒体数据的动态任务调度算法.算法以云系统中海量多媒体数据文件的分块多副本存储形式为基础来规划并行处理任务,以文件块和副本的映射关系为特征对云系统中数据节点执行聚类,以已执行完毕任务的历史反馈信息为基础来动态调度未执行任务.实验结果表明提出的算法对提高系统资源利用率和负载均衡有显著效果.     

基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。     

面向电耗与网络同步代价优化的数据副本放置研究

在数据中心放置海量数据时,每个数据常有多个副本,服务提供商需要支付巨额电费以运行存储这些数据副本的服务器。同时,为保证多个数据副本的一致性,放置在不同数据中心的副本需要通过数据中心之间的网络进行同步,从而引发高额的网络传输费用。为此,以最小化多副本数据放置代价为目标,建立数据放置问题模型,并提出一种基于数据组和数据中心划分的数据放置算法DDDP。将数据划分为多个数据组,按用户访问数据的延迟要求将数据中心划分成数据中心子集,并将每个数据组中的数据放置到能满足访问延迟要求且能最小化放置代价的数据中心子集中。仿真结果表明,相比NPR算法,DDDP算法能有效降低数据中心存储数据时的放置代价。     

云计算环境下的分布存储关键技术

云计算作为当前一种新型的共享资源的商业计算模型,通过将海量的数据存储于数据中心中,并为上层的应用与服务提供透明、安全和可靠的计算服务与数据存储,在当前被誉为"革命性的计算模型"。本文结合工作实际,以提高云计算环境下存储的容错性、可扩展性和降低能耗等作为目标,对云计算环境下的分布存储的若干关键技术进行了综合分析与阐述。     

云计算环境下面向最小成本的数据副本策略

数据副本管理是云存储系统的一个重要组成部分,对提高系统的可靠性和性能具有重要意义。一般而言,云计算环境中数据副本数目越少,其传输成本则愈大;而副本过多,存储成本又随之增加,可能导致总成本上升。从降低数据管理成本的角度,在权衡存储成本与传输成本的基础上研究面向最小成本的数据副本管理策略,主要包括:数据管理成本模型、创建副本必要性测试以及近似最小成本的副本布局策略等。以Amazon云平台数据管理成本模型为例进行实验,结果表明:面向最小成本的副本管理策略在满足用户响应时间等需求的同时,可以有效地降低数据中心的管理成本,推动企业(用户)积极运用云计算平台管理企业数据,促进云计算环境的和谐发展。     

基于Paillier加密的数据多副本持有性验证方案

云存储服务中,用户将数据存储在不可信的云储存服务器上,为检查云存储中服务提供商(CSP)是否按协议完整地存储了用户的所有数据副本,提出一种 支持对数据副本进行动态操作 的基于Paillier加密的数据多副本持有性验证方案, 即DMR-PDP方案。该方案为实现多副本检查,将文件块以文件副本形式存储在云服务器上,将各副本编号与文件连接后利用Paillier密码系统生成副本文件以防止CSP各服务器的合谋攻击。利用BLS签名实现对所有副本的批量验证。将文件标志和块位置信息添加到数据块标签中,以保证本方案的安全性,支持对文件的动态更新操作。安全性分析和仿真实验结果表明,该方案在安全性、通信和计算开销方面的性能优于其他文献提出的方案,极大地提高了文件存储和验证的效率,减少了计算开销。     

分布式云灾备平台搭建及性能分析

云存储服务,作为云计算的衍生产物,目的是为网络海量数据的存储提供有效的解决方案,节约存储成本和系统资源,提供一个完善的备份、容灾的数据中心,并能够保证数据安全性、容错性.现阶段云灾备模型局限于有限的网络位置,使用虚拟化技术,依托本地服务器实现,与传统云灾备模型不同,介绍了一种基于DHT的云灾备模型,可适用于广域网的、普适的数据级灾备解决方案;最后,在本地云计算集群中对该方案进行模拟,验证该模型的可行性.     

云计算环境下的分布存储关键技术

云计算作为下一代计算模式,在科学计算和商业计算领域均发挥着重要作用,受到当前学术界和企业界的广泛关注.云计算环境下的分布存储主要研究数据在数据中心上的组织和管理,作为云计算环境的核心基础设施,数据中心通常由百万级以上节点组成,存储其上的数据规模往往达到PB级甚至EB级,导致数据失效成为一种常态行为,极大地限制了云计算的应用和推广,增加了云计算的成本.因此,提高可扩展性和容错性、降低成本,成为云计算环境下分布存储研究的若干关键技术.针对如何提高存储的可扩展性、容错性以及降低存储的能耗等目标,从数据中心网络的设计、数据的存储组织方式等方面对当前分布存储的关键技术进行了综述.首先,介绍并对比了当前典型的数据中心网络结构的优缺点;其次,介绍并对比了当前常用的两种分布存储容错技术,即基于复制的容错技术和基于纠删码的容错技术;第三,介绍了当前典型的分布存储节能技术,并分析了各项技术的优缺点;最后指出了当前技术面临的主要挑战和下一步研究的方向.     

云数据中心操作系统副本分布算法的设计与实现

介绍云数据中心操作系统(云海OS)中的副本分布算法,该算法用于解决云存储环境下的副本分布问题,将存储节点的选择问题转化为一个多指标决策问题(MCDM),使用TOPSIS进行求解。算法能够充分利用云计算环境下的多种检测数据,结合灵活的权重分配方式,适应多数云存储环境。模拟实验表明,云海OS算法在负载均衡和副本创建时间方面优于传统的Least和Ran-dom算法。     

基于云计算的桥梁安全与健康监测数据中心基础架构及其数据管理技术

桥梁安全监测数据信息以几何级数速度增长,对数据中心海量数据存储、管理提出了智能化、高效率化的要求.分析了桥梁安全与健康监测数据中心的数据管理技术及发展趋势;阐述了基于云计算（Cloud Computing）的数据中心基础架构;深入探讨了关键设备和软件的选型;对基于云计算的桥梁安全监测数据中心的应用前景进行了展望.     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

HDFS中高效存储小文件的方法

为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题,将NameNode职责分离,使用单独的NFS服务器同步存储元数据信息,以降低Client数据请求压力,提供大吞吐量数据访问并改善访问延迟;设计文件与数据块的对应模式,允许在同一块中存储多个小文件,并对系统加以实现,为海量小文件的存储提供了一个有效的解决方案。实验结果表明,该机制可以在数据迅速增长的背景下实现海量小文件的高效存取。     

浅析云计算环境下的分布存储关键技术

伴随着互联网技术的快速发展,云计算成为网络技术的发展核心.云计算是一种新型的网络资源,具有对数据高效处理和储存特点,其分布存储、计算、传输的特征是以往计算技术所无法达到的.现阶段云计算数据中心储存量已超过PB级,但是受技术发展制约,云计算数据中心的数据存储规模以达到顶峰,常常会导致数据失效,增加运行成本也在一定程度上制约了云计算的推广应用.因此,提升数据中心的存储扩展性、容错性和低能耗是未来云计算环境下分布存储研究的关键.本文对云计算环境下分布存储关键技术的结构类型和发展中存在的问题和现状进行具体分析研究,提出的改进建议仅供参考.     

基于Ceph集群的能耗管理策略研究

数据中心能耗高是云计算发展过程中一个亟待解决的关键问题。建立了一个集群能耗优化模型,并在此基础上提出了一种基于Ceph集群的数据副本放置策略。该策略在考虑集群可用性和容错性的同时,采用了顺序存储和随机存储相结合的存储方法,使得Ceph集群在满足用户SLA需求和保证集群性能的前提下,达到节能的目的。实验结果表明,与原始Ceph集群相比,该数据副本放置策略在保证集群服务质量的同时,使得数据中心耗电量降低了14.3%。     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

基于云计算的物联网数据挖掘

物联网是一个巨大的、分布广泛的物与物相连的网络,其上产生的海量数据通常是与时间和空间相关的,具有动态、异构、分布的特性,因此对这些数据的挖掘非常困难,而且耗费时间和内存,效率低下。为了解决这些问题,提出了一种基于云计算的物联网数据挖掘系统:将这些海量数据转化为PML数据文件,并存储在HDFS中,同时把挖掘任务分配到多台节点服务器上并行处理。采用Hadoop平台,将关联规则Apriori算法Map/Reduce化,提高了挖掘的效率。另外,采用副本策略将计算向存储迁移,将失效节点的计算迁移到副本数据存储节点就地执行,降低了数据传输的时间,大为提高了挖掘的效率。     

云技术在飞行试验数据处理中的应用

针对飞行试验数据的海量非结构化的特点以及当前所面临的处理与应用问题,研究分析当前新兴的云技术,提出了飞行试验数据云计算应用架构的3个组成要素:设备系统、云存储和云计算。面向试飞数据工程应用,以试飞科目、试验动作段为频度矩阵建立试飞元数据存储阵列,实现海量非结构化试飞数据的云存储应用;以SOA架构为基础,结合面向应用的处理功能组件,实现分布式网络计算调度和计算群集,为用户提供高效的云计算服务。工程实践应用表明,该系统以灵活架构有效地解决了非结构化大数据信息的高效存储、统一管理和共享应用,实现了海量试飞数据的快速分析处理,展示了云计算技术的先进特点。     

基于SQLite的LOD模式海量影像数据管理系统的设计与实现

如何实现海量影像数据的合理化存储、高效的访问是视景仿真领域的一个瓶颈问题。本文提出了一种运用SQLite数据库实现基于嵌入式数据库的集中式数据管理方法,将海量影像数据以数据库的形式进行管理,同时又以类似文件操作的方式实现快速访问,为解决基于LOD模式海量影像数据难以管理维护的问题提供了一种可行方案。本文方法有效而稳定地实现了海量影像数据的管理和调度,具有良好的实际应用价值。     

基于同态hash的数据多副本持有性证明方案

为检查云存储中服务提供商(CSP)是否按协议完整地存储了用户的所有数据副本,在分析并指出一个基于同态hash的数据持有性证明方案安全缺陷的基础上,对其进行了改进和扩展,提出了一个多副本持有性证明方案。为实现多副本检查,将各副本编号与文件连接后利用相同密钥加密以生成副本文件,既有效防止了CSP各服务器的合谋攻击,又简化了用户和文件的授权访问者的密钥管理;为提高检查效率,利用同态hash为数据块生成验证标签,实现了对所有副本的批量检查;为保证方案安全性,将文件标志和块位置信息添加到数据块标签中,有效防止了CSP进行替换和重放攻击。安全性证明和性能分析表明,该方案是正确和完备的,并具有计算、存储和通信负载低,以及支持公开验证等特点,从而为云存储中数据完整性检查提供了一种可行的方法。