基于目录路径的元数据管理方法

提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载.实验结果表明,该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势.     

基于目录迁移与复制的元数据服务系统动态负载均衡策略

传统的基于状态的元数据服务系统负载均衡策略通常采用目录迁移策略来达到均衡的目的,然而这种策略易使系统进入新的不均衡状态而产生"抖动"现象。提出一种将目录迁移与目录复制相结合的元数据服务系统动态负载均衡策略,有效解决了传统的单一利用目录迁移来进行负载均衡容易造成"抖动"的缺陷,提高了系统的效率和稳定性。     

基于动态区间映射的数据对象布局算法

高效、可伸缩的数据管理在大规模分布存储系统中日益重要,关键是需要一种能够自动适应存储节点增加或减少的灵活、均衡和可伸缩的数据对象布局与定位方法.提出了一种基于动态区间映射的数据对象布局算法,在均衡数据分配和最少迁移数据方面都是统计意义上最优的,并且支持按照存储节点的权重分配数据和任意的数据对象副本.     

基于对象存储系统的动态负载均衡算法

负载均衡是大规模基于对象存储系统必须要考虑的重要问题。本文为此以系统总响应时间为代价函数,以对象被访问频率为依据,建立了一种将对象复制与对象迁移统一在内的动态负栽均衡模型,并充分利用存储设备的智能实现系统的动态负载均衡。仿真结果表明,在存在大量热点访问和对象分布不均匀的情况下,启用对象复制和对象迁移的负载均衡算法能最大程度地减少系统的平均总响应时间。     

基于对象存储的集群存储系统设计

集群存储是解决大规模数据存储的重要方法。本文提出一种基于对象存储的集群存储系统结构,将文件分为目录路径元数据、文件元数据与数据对象三部分并独立管理。性能比较与分析表明,该方法能够支持超大规模的文件及超大容量的目录,明显地减少网络访问消息数量,提高访问性能,并且解决了因为修改目录而导致的大量元数捂迁移问题。     

基于扩展属性的元数据管理算法

元数据的管理效率对大规模存储系统性能具有重要影响.在深入研究现有元数据管理算法的基础上,提出了一种基于扩展元数据属性的元数据分布算法.该算法通过对文件系统中目录进行编码并将编码作为Hash键值,有效解决了文件重命名导致的数据迁移问题,通过使用标志位,有效地解决了目前文件系统目录删除操作中使用递归遍历方式的低效问题,提升了大规模存储系统的元数据管理效率.     

一种新型分布式元数据管理策略

高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略,并实现了相应的分布式元数据管理系统：利用负载均衡算法,对元数据进行迁移,保证了粗粒度负载信息收集,细粒度调整的均衡策略. 多项实验的结果表明,该策略能实现元数据负载均衡,降低用户请求处理延迟,提高分布式系统的可扩展性和可用性.     

一种分布式元数据的动态管理系统

为得到有效的元数据分布,获得多元数据服务器的负载均衡,提出一种分布式元数据的动态管理系统。利用负载均衡算法选择合适热度的子树,通过子树迁移策略将选定的子树迁移到合适的元数据服务器上进行管理,采用子树复制策略降低元数据服务器负载。实验结果证明,该系统能实现元数据的均匀分布。     

基于QoS的数据迁移模型的设计

结合对象存储的特点,提出基于QoS的存储系统模型。该模型将迁移任务划分为细粒度的迁移请求,使对象存储设备在实现数据迁移的同时能响应I／O请求。元数据服务器按相同的标准给I／O请求和迁移请求分配相应的收益,使对象存储设备能采用收益最大算法调度I／O请求和迁移请求,从而提供更高的服务质量。通过收益预测和带宽预留实现在线最大收益调度算法。实验表明,最大收益算法与通常的迁移优先算法和固定平均迁移率算法相比,对系统的I／O性能影响最小。     

电能表数据采集终端负载自适应均衡方法研究

针对电能表数据采集终端数据量及访问量高导致的负载失衡问题,研究基于元模型的电能表数据采集终端负载自适应均衡方法。将电能表数据采集终端的电能表数据作为模型元数据,经数据提取、转化、加载处理后,将处理完成的数据存储至元数据仓库内。在元数据负载大小未知条件下,创新性地采用基本负载均衡算法分配元数据仓库中元数据的负载,以求解元数据的负载量。当负载过大时,通过迁移负载低节点的目录子树,均衡处理了元数据的负载量,实现了电能表数据采集终端访问负载均衡。实例测试结果表明,该方法应对速度快。该方法降低了电能表数据采集终端负载,解决了元数据请求激增问题,提高了集群负载的均衡程度。     

可伸缩分布式动态区间映射算法

提出一种支持权重分布数据的可伸缩分布式动态区间映射算法.该算法能够在存储节点发生变化时,根据可用的资源情况立即重新均衡数据对象分布,从所有存储节点中并行迁移数据对象,且迁移的数据对象数目是最少的.在此基础上提出分布式节点地址计算算法,支持计算节点通过视图校正算法自主学习,自动适应新的系统规模,消除了现有的集中式访问性能瓶颈,使系统具有高可伸缩性.     

一种元数据服务器集群的负载均衡算法

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章.本文中采用元数据请求的响应时间来衡量一个元数据服务器的负载情况,首先从映射算法上实现静态负载均衡,并针对元数据热度差别大而引起的负载不均衡引入动态负载均衡,通过仿真结果显示其有效性.     

对象存储系统中一种高效的分层对象布局算法

在对象存储系统中,如何有效地在对象存储设备上分布对象是其面临的重大挑战.需要一个能够常数时间内定位对象,同时能公平地分布对象以及自适应存储规模变化的对象布局算法.目前大部分布局算法只能适应单层模式,少数的多层模式对设备配置有严格的要求,而且无法在常数时间内定位对象,自适应性较差.提出了一种新的分层对象布局算法,首先使用最大最小聚类算法将设备集合进行分类,支持灵活的设备配置.然后使用提出的EFAH Hashing算法在集群间和集群内分布对象.理论和实验证明,新的分层对象布局算法可以在常数时间内定位对象,从而减轻元数据服务器的计算量.同时可以在设备之间较公平地分布对象,达到I/O负载均衡的目的.而且在设备集合变化时,迁移较少的对象数以满足对象再次分布的公平性.     

基于对象存储的新型元数据管理策略

在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得哈希值确定存储路径。实验结果表明,该策略在处理元数据重命名操作和修改文件名时,可以避免大量元数据迁移及网络开销问题。     

面向大数据分布式存储的动态负载均衡算法

随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Fe-deration)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。     

可扩展的分布式元数据管理系统设计

为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据集群负载情况调整目录子树,实现元数据信息在元数据集群中的合理存储和分布。实验结果证明,该算法能提高元数据的访问和检索性能,提供可扩展及动态负载均衡的元数据服务,以保证该元数据管理系统的可用性、扩展性及I/O性能不会因存储规模扩大而受到影响,满足高能物理实验日益增长的存储需求。     

信息网格中具有动态变更适应性的元数据发布策略

信息源元数据的动态变更可能造成应用对信息源引用关系不一致，在不改应用程序的条件下，用户不能正确访问信息源。基于网格地址空间模型，使得应用程序通过虚拟层元数据，即应用领域元数据，来间接使用信息源元数据；当信息源元数据变更时，不是改应用程序而是通过调整信息源元数据和应用领域元数据之间的映射来保证应用对信息源引用关系的一致性，从元数据发布的角度出发，提出了一个具有动态适应性的元数据发布算法(Vega adaptive mapping)，通过此算法自动调整信息源元数据和应用领域元数据之间的映射；并将此算法相应的方法和现有的元数据发布方法进行了比较，比较结果表明此方法在适应元数据变更性方面具有一定的优越性。     

弹性分布式缓存动态扩展方法研究

对弹性分布式缓存动态扩展机制实现中的关键问题进行了研究。针对动态扩展时的数据重均衡问题,提出了一种适用于异构环境的热点感知的数据重均衡算法(hotspot sensitive data rebalancing algorithm,HSDRA)。该算法同时考虑内存占用和网络流量的均衡,在线识别热点分区,优先确保其在各缓存节点间均衡分布。针对动态扩展时缓存服务的数据一致性和持续可用性保障问题,分别提出了一种基于两阶段请求的数据访问协议和一种受控的数据迁移算法。实验结果表明,该方法能够在保障数据一致性和持续可用性的要求下实现缓存系统的动态扩展,HSDRA算法与未考虑各分区实际负载的加权静态数据重均衡算法相比响应时间更短。     

基于层次结构的元数据动态管理方法的研究

在大规模分布式存储系统中,元数据高性能服务和扩展性已成为一个重要的研究热点.在元数据服务器(metadata server,MDS)中,将元数据分解为目录对象和文件对象.目录对象为定位性元数据,提供文件所在位置和访问控制;文件对象为描述性元数据,描述文件的数据特性.每个MDS负责所有目录对象和自身的文件对象,同时,以目录对象ID和文件名为关键字的Hash值作为局部元数据查找表的索引,通过Bloom Filter算法将每个MDS的局部元数据查找表压缩成一个摘要,这样既可利用MDS中Cache,提高Cache的命中率,减少磁盘I/O次数,动态扩展MDS,又能够实现快速的元数据查找.     

信息网格中元数据层次化结构模型的研究和应用

数据的透明访问是信息集成技术研究的重点问题之一，分布自治的动态网格环境为数据的透明访问带来了更大的挑战，因此网格在分布式数据的异构透明和位置透明的基础上，提出了名字透明、并行透明、模式变更透明等更高层次的要求，这对于描述资源结构、内容、访问方式的元数据的设计也提出了更高的要求，基于信息资源空间模型的元数据层次化结构模型对屏蔽物理资源模式差异和模式变化，实现物理资源命名和位置独立性，实现资源透明访问的目标具有有益的帮助，最后介绍了支持这种元数据结构的元数据目录服务在铁路信息网格中间件中的设计和实现。