云计算环境中高效可扩展的元数据管理方法

针对现有元数据管理方法存在可扩展性差或访问效率低的问题,提出一种高效可扩展的元数据管理方法.基于可扩展哈希方法实现元数据系统动态可扩展,使用并行定位方法实现元数据服务器高效定位,提出动态K叉树的元数据组织方法以提高元数据服务器扩展时选择迁移元数据的速度.实验结果表明,该方法具有近似线性扩展性能,其选择迁移元数据的时间几乎为零,有效解决了云计算环境中元数据管理系统的高效动态可扩展问题.     

集群多媒体存储系统的两级元数据管理

随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离存储数据的逻辑视图与物理视图,全局逻辑视图由专用的全局元数据服务器来管理,局部逻辑视图和物理视图由各个存储服务器上的本地元数据服务器来管理.在详细介绍了CMSS系统两级元数据管理方案的同时,进行了相应的试验测试和性能分析.     

一种元数据服务器集群的负载均衡算法

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章.本文中采用元数据请求的响应时间来衡量一个元数据服务器的负载情况,首先从映射算法上实现静态负载均衡,并针对元数据热度差别大而引起的负载不均衡引入动态负载均衡,通过仿真结果显示其有效性.     

面向大数据分析的分布式文件系统关键技术

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover.该系统采用基于目录划分和一致性Hash映射的名字空间管理方法,解决了元数据扩展性问题;通过改进的两阶段提交协议,保证了多元数据服务器下分布式元数据操作的一致性;提出了基于共享存储池的高可用机制,通过热备和全局状态恢复机制提高了元数据的可靠性.评测结果表明,Clover的元数据处理能力随服务器的数量线性增长,增加单个服务器的元数据操作性能平均提升了5.13%~159.32%.由于名字空间管理和分布式事务的开销,多元数据服务器会导致复杂操作的性能下降,但是这种下降的幅度很小(小于10%).与HDFS相比,Clover的文件读写带宽与之接近,并能够保证在元数据服务器失效后文件系统快速恢复,适合于构建高可扩展和高可用的存储系统.     

3MDG:基于动态均衡布局的网格元数据管理模型

通过对网格及元数据特点分析,给出了一种数据网格环境下的元数据管理模型。该模型目的在于实现分布式的元数据管理平台,负责对元数据的注册、访问及管理。通过建立元数据到存储系统的映射,用户可进行元数据资源的透明访问。为了适应网格中资源的多变性,提出改进的动态区间映射布局算法对元数据进行动态的、均衡的、可伸缩的重布局,以提高存储系统的自适应能力。     

基于目录路径的元数据管理方法

提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载.实验结果表明,该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势.     

一种集群文件系统元数据管理技术

本文研究集群文件系统的特征，提出了一种分布式元数据管理技术。该技术通过哈希方式分布元数据对象、自侦测自适应和连续相邻节点备份的方法，实现了元数据的动态扩展和高可用。在我们研制的HANDY文件系统中采用了这项技术。测试结果说明，HANDY的元数据扩展性是令人满意的。实现了动态可扩展和高可用的设计目标。     

一种分布式元数据的动态管理系统

为得到有效的元数据分布,获得多元数据服务器的负载均衡,提出一种分布式元数据的动态管理系统。利用负载均衡算法选择合适热度的子树,通过子树迁移策略将选定的子树迁移到合适的元数据服务器上进行管理,采用子树复制策略降低元数据服务器负载。实验结果证明,该系统能实现元数据的均匀分布。     

分布式网络存储系统元数据服务器群的设计与实现

为了满足分布式网络存储对元数据服务的要求,本文采用多个元数据服务器组成元数据服务器群,并且提出分区散列管理方案对元数据服务器群进行有效的管理。并在不涉及元数据的物理移动的前提下,实现元数据服务器群的负载平衡机制、可扩充性以及高可用性等性能。     

一种基于对象存储中的元数据组织管理方法

提出了一种动态分区元数据组织管理方法。它混合了动态和静态的方法在MDS机群中分布元数据,并使用散列的技术索引元数据,利用共享存储来存放元数据。整个方法使得元数据访问可以高效地完成,机群的失败接管和扩展获得好的性能。     

OCFS：一种基于对象存储结构的可伸缩高性能集群文件系统

提出了一种基于确定性随机分布算法分布元数据和数据对象的可伸缩集群文件系统结构。其中目录路径属性与目录对象分离的元数据管理方法，在提高系统性能、均衡元数据分布和减少元数据迁移等方面具有明显优势。提出的基于动态区间映射的数据对象布局算法，支持权重分布和副本，在均衡数据分布和最少迁移数据方面都具有统计意义上的最优性，有效解决了动态存储系统的数据均衡分布与可伸缩性问题。     

Dr. Hadoop: an infinite scalable metadata management for Hadoop—How the baby elephant becomes immortal

In this Exa byte scale era, data increases at an exponential rate. This is in turn generating a massive amount of metadata in the file system. Hadoop is the most widely used framework to deal with big data. Due to this growth of huge amount of metadata, however, the efficiency of Hadoop is questioned numerous times by many researchers. Therefore, it is essential to create an efficient and scalable metadata management for Hadoop. Hash-based mapping and subtree partitioning are suitable in distributed metadata management schemes. Subtree partitioning does not uniformly distribute workload among the metadata servers, and metadata needs to be migrated to keep the load roughly balanced. Hash-based mapping suffers from a constraint on the locality of metadata, though it uniformly distributes the load among NameNodes, which are the metadata servers of Hadoop. In this paper, we present a circular metadata management mechanism named dynamic circular metadata splitting (DCMS). DCMS preserves metadata locality using consistent hashing and locality-preserving hashing, keeps replicated metadata for excellent reliability, and dynamically distributes metadata among the NameNodes to keep load balancing. NameNode is a centralized heart of the Hadoop. Keeping the directory tree of all files, failure of which causes the single point of failure (SPOF). DCMS removes Hadoop’s SPOF and provides an efficient and scalable metadata management. The new framework is named ‘Dr. Hadoop’ after the name of the authors.     

面向可变用户群体的可搜索属性基加密方案

为解决属性基加密方案中用户撤销繁琐、密文更新计算开销大的问题,提出一种面向可变用户群体的可搜索属性基加密方案.利用二叉树管理撤销列表,当需要撤销用户时,可信中心只要将其加入撤销列表,并通知云服务器更新部分密文,提高了用户撤销的效率.考虑到利用二叉树实现用户撤销会导致系统中用户数量存在上限,当某个二叉树叶结点所代表的用户被撤销后,只要更新二叉树中设置的随机值,其他用户就可以重复使用该结点.基于配对计算为用户提供密文搜索功能,并保证被撤销的用户无法搜索密文.安全性分析表明,该方案在随机谕言模型下满足选择明文不可区分安全性.性能分析和实验数据表明,该方案相比于同类方案,计算开销更小.     

云计算环境下不可靠数据恢复方法研究

由于云计算环境下不可靠数据中包含有利用价值的信息,但直接使用可能会给计算机带来负担,所以需要对云计算环境下不可靠数据进行恢复;当前大多数方法对不可靠数据进行复写时,利用地址映射层分配新的写入地址,因此不可靠的数据在一段时间内仍存在于云存储中,在这样的系统上实现对其的保护,不需额外保存数据的更新信息;通过FLASH的带外区记录时间戳,在FTL的映射项中增加时间戳信息,在不跟踪映射表每次更新的情况下,达到数据快速恢复的目的;但这种方法对云存储系统性能产生不利影响;为此,提出一种基于张量Tucker阈值的云计算环境下不可靠数据恢复方法,首先利用云计算环境下节点自身的随机秘钥生成器产生随机会话密钥,并对不可靠数据HMAC报文鉴别码进行计算,从而实现保护和重构;在此基础上,将不可靠数据的阈值分解过程与奇异阈值方法相结合,从而得到Tncker阈值算子,实现动态的数据恢复,恢复过程中利用Tucker阈值算子与增广拉格朗日乘子方法相结合的方式选择n-秩相似张量,提出基于增广拉格朗日乘子方法的不可靠数据Tucker阈值恢复方法,完成云计算环境下不可靠数据恢复;实验证明,所提方法能够有效提高不可靠数据恢复的准确性,降低数据恢复的能耗和时间,具有较强的可行性,为该课题的应用研究提供理论依据。     

基于隐秘映射组合公钥的云计算密钥管理方案

为了保证云计算安全, 在分析云计算的安全需求的基础上, 基于椭圆曲线密码体制提出了一种适用于分布式云计算的隐秘映射组合公钥密钥管理方案。详细地阐述了密钥管理的一系列操作过程, 包括密钥初始化、密钥分发、密钥协商、密钥更新及密钥销毁等。分析表明, 该方案能够正确高效地解决云计算密钥大规模管理和存储问题, 具有高度可扩展性, 能够抵抗共谋攻击, 能保证云计算提供安全可靠的服务。     

移动计算系统中的自适应位置更新策略

移动计算系统中一个很重要的问题就是管理移动客户机的实时位置.在现有商业的移动计算系统中,采用一种两层的体系结构.这种两层的结构不具有可扩展性,因而不能适应具有大量移动用户的新型移动计算应用.人们提出了一种新的层次结构的位置数据库结构,系统中的位置数据库组成一个树形结构以方便移动用户位置查找.尽管这种结构把位置更新及查询的任务在系统中的所有位置数据库中进行了分摊,它也有其自身的弱点:位置更新的代价较大及位置查询的延迟较长.研究了树形位置数据库结构中的位置更新策略,给出了一个位置变更的阈值计算方法,以使得位置管理的代价最少.     

一种面向PaaS的实例级应用动态更新技术

云计算是当前信息技术的重要技术领域,而平台即服务(PaaS)已成为业界研究的热点之一。PaaS平台为用户提供高可用、高可扩展的应用开发、部署和运行环境。然而当部署到云端的应用需要不断更新以修复错误、增加功能时,当前主流PaaS平台却因缺乏对应用在线更新的有效支持而削弱了其自身的高可用特性。为解决该问题,提出一个面向PaaS平台的动态更新技术框架。基于现有软件动态更新技术的研究,通过对PaaS平台中应用的事务管理、动态依赖管理、版本管理等机制的扩展,为PaaS平台提供运行时实例级的应用动态更新支撑,并在Cloud Foundry上进行实现和实验,结果证明了该动态更新技术的有效性。     

一种基于Hadoop的动态树增量更新方法

为适应真实环境中数据量大、流程复杂、计算密集的数据挖掘需求,提高传统树增量更新挖掘效率,改变已有算法的串行执行方式,提出一种基于Hadoop的动态树增量更新方法。介绍云计算、模型与执行流程等基本概念,针对现有Hadoop平台中任务调度的随机分配策略,设计一种动态云平台中的资源调度与分配算法,以期达到成本消耗的最小化,给出树增量更新挖掘算法以及2个并行算法（DeleteFreqTree和FindNewTree）,完成树数据的增量挖掘工作。实验结果表明,该并行算法有效可行,具有高效性与良好的扩展率,能够对海量树数据进行更新挖掘。     

云环境下元数据弹性分级一致性保障机制研究 *

云存储环境下,元数据提供数据定位与资源描述服务,云存储系统利用副本技术保障元数据的可用性。为了解决元数据的动态更新导致的元数据副本的不一致,本文从云存储系统中不同元数据对一致性强度需求的差异性出发,提出了基于元数据弹性分级的一致性保障机制。根据元数据访问频率以及更新属性敏感度对元数据更新弹性分级,结合基于读优化的Quorum算法实现元数据更新的分级一致性保障。实验证明该机制可以有效权衡元数据副本可用性、一致性和系统开销,相比单一的一致性策略更为灵活。