蓝鲸元数据服务器集群的细粒度负载迁移

大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需要阻塞的问题.提出细粒度的元数据服务负载迁移方案,由迁出端恢复迁移机制和细粒度控制迁移机制2部分组成.在迁移过程中,以文件为粒度在迁入端重建迁出端的元数据相关状态结构,并根据被访问状态的类型选择在迁出端或迁入端进行立即响应,而非阻塞操作直到迁移完成.在蓝鲸MDS集群系统上实现了此方案,测试和分析表明,在10 000规模的迁移场景中,迁移时间控制在800ms以下,元数据或状态写入延迟最高为215ms.与系统原方案中90s的固有延时相比,此方案有效解决了MDS集群中负载迁移时间过长的问题,并且极大地降低了迁移过程对正常元数据访问的影响.     

基于层次结构的元数据动态管理方法的研究

在大规模分布式存储系统中,元数据高性能服务和扩展性已成为一个重要的研究热点.在元数据服务器(metadata server,MDS)中,将元数据分解为目录对象和文件对象.目录对象为定位性元数据,提供文件所在位置和访问控制;文件对象为描述性元数据,描述文件的数据特性.每个MDS负责所有目录对象和自身的文件对象,同时,以目录对象ID和文件名为关键字的Hash值作为局部元数据查找表的索引,通过Bloom Filter算法将每个MDS的局部元数据查找表压缩成一个摘要,这样既可利用MDS中Cache,提高Cache的命中率,减少磁盘I/O次数,动态扩展MDS,又能够实现快速的元数据查找.     

面向海量空间数据存储的元数据管理机制

为了有效管理海量空间数据存储的元数据,引入了一种基于一致性哈希的分布式元数据服务器管理架构,并在此基础上提出了一种元数据轮式备份策略,将经过一致性哈希算法散列后存储元数据的节点按轮转方式进行数据备份,有效缓解了元数据管理的单点问题与访问瓶颈.最后对轮式备份策略进行测试,得出最佳元数据节点个数备份方案,与单点元数据服务器相比提高了元数据的安全性,降低了访问延迟,并结合虚拟节点改善了分布式元数据服务器的负载均衡.     

LCFS中元数据服务器的可靠性分析模型

可靠性问题是研究大规模集群存储系统的一个重要方面，元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案，采用马尔可夫补偿模型研究元数据服务器的状态迁移概率，分析了元数据服务器集群的可靠性以及数据一致性对可靠性的影响，对实现大规模集群文件系统中的元数据服务器有重要的指导意义。     

一种新型分布式元数据管理策略

高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略,并实现了相应的分布式元数据管理系统：利用负载均衡算法,对元数据进行迁移,保证了粗粒度负载信息收集,细粒度调整的均衡策略. 多项实验的结果表明,该策略能实现元数据负载均衡,降低用户请求处理延迟,提高分布式系统的可扩展性和可用性.     

数据网格中一种基于副本和缓存的元数据管理系统

元数据管理是数据网格的关键技术之一．对全局分布式存储系统GDSS(global distributed storage system)中的元数据管理进行了改进，提出了一种基于副本和缓存的分布式元数据管理系统RCMMS(replication and cache based distributed metadata management system)，缓存设置在GDSS系统中的存储服务点SSP(storage senice point)端．还讨论了RCMMS的设计、实现以及测试．RCMMS提供了动态管理元数据副本的有效算法．分析和测试表明，副本结合缓存的元数据管理方案在性能上超过了GDSS现有的元数据管理系统，有着较好的可靠性．     

一种基于pNFS协议的对象文件系统的设计与实现

随着存储规模的持续增长,SAN环境中基于块的集群文件系统的元数据服务越来越成为系统进一步扩展的瓶颈,基于对象存储设备(OSD)的文件系统成为未来大规模分布式文件系统发展的方向.Linux已有的基于OSD的pNFS文件系统为pNFS+exofs的解决方案,它将文件系统的元数据与数据都保存在OSD上.提出一种新的基于pNFS协议的对象文件系统的实现方案,将元数据和数据的保存和服务分离,文件系统的元数据保存在本地文件系统中,数据保存在OSD设备上.相此已有的pNFS+exofs的方案,该方案的实现和部署更加灵活方便,同时减轻了OSD模拟器的读写负载,有利于元数据和数据存储和服务的单独扩展.     

面向大数据分析的分布式文件系统关键技术

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段.信息规模的扩大和数据结构的多样化,使海量数据存储成为大数据分析研究的热点.传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求.设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover.该系统采用基于目录划分和一致性Hash映射的名字空间管理方法,解决了元数据扩展性问题;通过改进的两阶段提交协议,保证了多元数据服务器下分布式元数据操作的一致性;提出了基于共享存储池的高可用机制,通过热备和全局状态恢复机制提高了元数据的可靠性.评测结果表明,Clover的元数据处理能力随服务器的数量线性增长,增加单个服务器的元数据操作性能平均提升了5.13%~159.32%.由于名字空间管理和分布式事务的开销,多元数据服务器会导致复杂操作的性能下降,但是这种下降的幅度很小(小于10%).与HDFS相比,Clover的文件读写带宽与之接近,并能够保证在元数据服务器失效后文件系统快速恢复,适合于构建高可扩展和高可用的存储系统.     

对象存储设备端数据管理策略研究

在对象存储系统中,数据由智能化的对象存储设备管理.当前,对象存储设备端主要提供对象接口,传统的设计主要由通用文件I/O来封装.但是,通用文件系统在管理平坦命名空间时,尤其在长期使用后性能退化严重.因此,提出基于扩展Hash的对象文件系统XOBFS(extensible hashing object-based storage file system),将磁盘空间划分成多个区域单元,区域中定长块分配策略与位图管理空闲块方式结合;对象属性用扩展Hash管理,在Hash桶中采用相同对象属性相邻存放策略.XOBFS应用在对象存储设备端,具有元数据规模小、长期使用性能不退化、对属性进行有效管理等特点.测试结果表明,基于大对象的XOBFS的吞吐率优于传统文件系统.     

基于扩展属性的元数据管理算法

元数据的管理效率对大规模存储系统性能具有重要影响.在深入研究现有元数据管理算法的基础上,提出了一种基于扩展元数据属性的元数据分布算法.该算法通过对文件系统中目录进行编码并将编码作为Hash键值,有效解决了文件重命名导致的数据迁移问题,通过使用标志位,有效地解决了目前文件系统目录删除操作中使用递归遍历方式的低效问题,提升了大规模存储系统的元数据管理效率.     

元数据管理策略的比较研究

本文讨论了元数据及元数据管理的若干问题,并通过对几种元数据管理策略和元数据交换标准的比较,来分析元数据管理的发展方向,以及实现元数据管理的方式和具体步骤。     

数据ETL软件中元数据模型设计与管理

元数据(Meta Data)是用来描述应用中数据结构的数据或文档,即关于数据的数据,处在数据ETL系统的核心位置。分析了元数据在ETL中的作用,设计了元数据模型,提出了元数据管理系统的设计原则和步骤,使其具有广泛的适应性、很好的扩展性和可重用性。     

元数据在数据库互操作中的应用

数据库互操作技术是信息资源共享的关键技术,也是目前数据库技术领域关注的热点之一.对基于元数据的数据互操作技术的研究内容和现状进行总结,从元数据生命周期的角度给出数据库互操作技术分类体系,从元数据提取技术和元数据模型转换技术两方面进行归纳,给出主要的算法模型,对比分析各算法的优缺点,指出数据库互操作技术未来的研究趋势和挑...     

元数据在数据仓库中的应用及研究

数据仓库是数据库的发展方向之一,对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念,重点阐述了元数据在数据仓库系统中的作用、管理及维护,并就元数据库具体的实现方式进行了初步的研究和探讨。     

基于银行数据仓库的元数据管理系统

元数据在银行数据仓库中具有重要意义。讨论元数据的分类和作用,分析元数据的管理功能,给出一种基于银行数据仓库的元数据管理系统,对其结构进行分析和说明。实践结果表明,该系统可以加强对数据的分析和管理能力,提高银行数据仓库等决策系统的灵活性和可扩展性。     

数据仓库中的元数据管理

本文首先介绍了典型的元数据管理结构;然后讨论了元数据的互操作和集成问题;最后,提出了一种多级邦联的元数据管理结构,并探讨了数据仓库与信息门户之间的元数据共享与交换问题。     

数据仓库中元数据标准的研究

元数据是数据仓库项目取得成功的关键因素之一，而元数据标准又是成功管理元数据的关键。文中介绍了数据仓库中元数据的意义，以及MDC的开放信息模型OIM和OMG的元数据规范MOF，并结合实际总结了其它几种元数据标准，在此基础上指出了元数据标准的发展方向。     

基于元数据的地理空间数据管理

针对目前油田勘探开发工作中,积累的大量地理空间数据不能有效的进行存储,管理和共享这一问题,提出了基于元数据的地理空间数据管理.通过分析目前的元数据及管理,在借鉴其它元数据管理模型的基础上,提出了一个三层的地球物理元数据模型框架.通过基础元数据,属性元数据和实体元数据三层对信息进行管理,并对该模型进行了分析说明,给出了基于该模型的地震数据综合管理系统的总体方案以及元数据及元数据库的建设.     

室内人体运动目标的自动跟踪方法

元数据在银行数据仓库中具有重要意义.讨论元数据的分类和作用,分析元数据的管理功能,给出一种基于银行数据仓库的元数据管理系统,对其结构进行分析和说明.实践结果表明,该系统可以加强对数据的分析和管理能力,提高银行数据仓库等决策系统的灵活性和可扩展性.     

数据仓库元数据的界定与分类

元数据是数据仓库研究的热点,目前对元数据有多种定义方式,如：描述数据的数据 ,数据和信息之间的桥梁等,这些面向应用角度的定义,并不能真正表达元数据的内涵．本 文从元数据和基础数据分离过程入手,研究元数据的定义和分类,对元数据的概念内涵进行 深入探讨,提出广义元数据和狭义元数据的概念,扩展元数据的定义,克服面向应用角度定 义元数据的不足．