电能表数据采集终端负载自适应均衡方法研究

针对电能表数据采集终端数据量及访问量高导致的负载失衡问题,研究基于元模型的电能表数据采集终端负载自适应均衡方法。将电能表数据采集终端的电能表数据作为模型元数据,经数据提取、转化、加载处理后,将处理完成的数据存储至元数据仓库内。在元数据负载大小未知条件下,创新性地采用基本负载均衡算法分配元数据仓库中元数据的负载,以求解元数据的负载量。当负载过大时,通过迁移负载低节点的目录子树,均衡处理了元数据的负载量,实现了电能表数据采集终端访问负载均衡。实例测试结果表明,该方法应对速度快。该方法降低了电能表数据采集终端负载,解决了元数据请求激增问题,提高了集群负载的均衡程度。     

基于目录迁移与复制的元数据服务系统动态负载均衡策略

传统的基于状态的元数据服务系统负载均衡策略通常采用目录迁移策略来达到均衡的目的,然而这种策略易使系统进入新的不均衡状态而产生"抖动"现象。提出一种将目录迁移与目录复制相结合的元数据服务系统动态负载均衡策略,有效解决了传统的单一利用目录迁移来进行负载均衡容易造成"抖动"的缺陷,提高了系统的效率和稳定性。     

一种元数据服务器集群的负载均衡算法

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章.本文中采用元数据请求的响应时间来衡量一个元数据服务器的负载情况,首先从映射算法上实现静态负载均衡,并针对元数据热度差别大而引起的负载不均衡引入动态负载均衡,通过仿真结果显示其有效性.     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.     

一种算法无关的PVFS负载均衡机制

并行文件系统PVFS的数据服务器负载分配缺少均衡机制,因此无法减轻热点数据服务器负荷。通过文件数据备份的方式将任务迁移,同时解决在迁移过程中的数据服务器与元数据服务器上的数据一致性,将热点数据服务任务转移到较空闲的服务结点上,可以提高整个系统的数据吞吐率。主要涉及了热点监测与报告、迁移源-目的的选取以及数据备份与任务迁移过程三个部分的工作。由于采用了机制与策略分离的设计思想,在该框架下可以采用不同的均衡策略(算法)以适应不同的应用。     

基于目录路径的元数据管理方法

提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载.实验结果表明,该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势.     

基于对象存储的新型元数据管理策略

在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得哈希值确定存储路径。实验结果表明,该策略在处理元数据重命名操作和修改文件名时,可以避免大量元数据迁移及网络开销问题。     

一种新型分布式元数据管理策略

高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略,并实现了相应的分布式元数据管理系统：利用负载均衡算法,对元数据进行迁移,保证了粗粒度负载信息收集,细粒度调整的均衡策略. 多项实验的结果表明,该策略能实现元数据负载均衡,降低用户请求处理延迟,提高分布式系统的可扩展性和可用性.     

基于固态硬盘的云存储分布式缓存策略

为满足海量数据存储的需求,提出一种基于低功耗、高性能固态硬盘的云存储系统分布式缓存策略.该策略对不同存储介质的硬盘虚拟化,将热点访问数据的缓存与存储相结合,实现在不同存储介质之间的热点数据迁移,解决热点元数据的访问一致性与存储服务器的动态负载均衡问题.工作负载压力测试结果表明,该策略可使云存储系统的读峰值速率最高提升约86％,并且能提高存储服务器的吞吐量.     

一种新的频繁子树增量式更新方法

讨论频繁子树增量式更新问题,提出一种新的频繁子树增量式更新算法。提出有效树集概念和增量式更新策略,在更新挖掘时,无须重新运行子树挖掘程序,能充分利用已有的挖掘结果,算法只需要进行一次数据库遍历操作。提出候选子树剪枝策略,在更新挖掘过程中,能大幅减少子树同构次数,有效地提高了算法的运行效率。通过大量实验分析表明,算法有效可行且具有较高的运行效率。     

面向海量空间数据存储的元数据管理机制

为了有效管理海量空间数据存储的元数据,引入了一种基于一致性哈希的分布式元数据服务器管理架构,并在此基础上提出了一种元数据轮式备份策略,将经过一致性哈希算法散列后存储元数据的节点按轮转方式进行数据备份,有效缓解了元数据管理的单点问题与访问瓶颈.最后对轮式备份策略进行测试,得出最佳元数据节点个数备份方案,与单点元数据服务器相比提高了元数据的安全性,降低了访问延迟,并结合虚拟节点改善了分布式元数据服务器的负载均衡.     

EXPLOITING SUBTREES IN AUTO‐PARSED DATA TO IMPROVE DEPENDENCY PARSING

Dependency parsing has attracted considerable interest from researchers and developers in natural language processing. However, to obtain a high‐accuracy dependency parser, supervised techniques require a large volume of hand‐annotated data, which are extremely expensive. This paper presents a simple and effective approach for improving dependency parsing with subtrees derived from unannotated data, which are easy to obtain. First, we use a baseline parser to parse large‐scale unannotated data. Then, we extract subtrees from dependency parse trees in the auto‐parsed data. Next, the extracted subtrees are classified into several sets according to their frequency. Finally, we design new features based on the subtree sets for parsing algorithms. To demonstrate the effectiveness of our proposed approach, we conduct experiments on the English Penn Treebank and Chinese Penn Treebank. The results show that our approach significantly outperforms baseline systems. It also achieves the best accuracy for the Chinese data and an accuracy competitive with the best known systems for the English data.     

存储虚拟化系统的元数据副本一致性管理模型

本文提出一种简洁实用的元数据副本一致性管理新模型MRCC，该模型引入调度器对元数据服务器进行集中管理，不仅可以使系统达到更好的扩展性和可用性，而且可以灵活地实现对元数据副本的一致性控制，更好地发挥元数据副本容错和负载均衡的作用。     

BWMMS元数据分布信息缓存管理

BWMMS是BWFS的分布式文件系统元数据服务子系统。它充分利用系统访问负载的动态性和局部性特征,通过简单的集中决策机制管理元数据请求负载在多个元数据服务器的分布。为降低集中决策点可能的瓶颈限制,集中决策点位于元数据请求处理路径的末端。本文介绍各个元数据服务器上用来降低对后端集中决策点的压力,提高元数据访问效率的元数据分布信息缓存,并通过测试数据评估缓存命中率对后端集中决策点和元数据访问效率的影响。     

HBA: Distributed Metadata Management for Large Cluster-Based Storage Systems

An efficient and distributed scheme for file mapping or file lookup is critical in decentralizing metadata management within a group of metadata servers. This paper presents a novel technique called Hierarchical Bloom Filter Arrays (HBA) to map filenames to the metadata servers holding their metadata. Two levels of probabilistic arrays, namely, the Bloom filter arrays with different levels of accuracies, are used on each metadata server. One array, with lower accuracy and representing the distribution of the entire metadata, trades accuracy for significantly reduced memory overhead, whereas the other array, with higher accuracy, caches partial distribution information and exploits the temporal locality of file access patterns. Both arrays are replicated to all metadata servers to support fast local lookups. We evaluate HBA through extensive trace-driven simulations and implementation in Linux. Simulation results show our HBA design to be highly effective and efficient in improving the performance and scalability of file systems in clusters with 1,000 to 10,000 nodes (or superclusters) and with the amount of data in the petabyte scale or higher. Our implementation indicates that HBA can reduce the metadata operation time of a single-metadata-server architecture by a factor of up to 43.9 when the system is configured with 16 metadata servers.     

最小频繁闭树的增量式更新算法

针对树挖掘算法产生大量频繁子树和树数据库随时间变化的问题,提出最小频繁闭树增量式更新算法以及增量式更新策略,能充分利用已有挖掘知识,无须重新运行树挖掘算法,并且只需进行一次数据库扫描操作。给出一种候选子树剪枝方法,能减少树同构判别次数,有效提高算法的运行效率。通过大量实验结果表明,该算法有效可行且效率较高。     

Dr. Hadoop: an infinite scalable metadata management for Hadoop—How the baby elephant becomes immortal

In this Exa byte scale era, data increases at an exponential rate. This is in turn generating a massive amount of metadata in the file system. Hadoop is the most widely used framework to deal with big data. Due to this growth of huge amount of metadata, however, the efficiency of Hadoop is questioned numerous times by many researchers. Therefore, it is essential to create an efficient and scalable metadata management for Hadoop. Hash-based mapping and subtree partitioning are suitable in distributed metadata management schemes. Subtree partitioning does not uniformly distribute workload among the metadata servers, and metadata needs to be migrated to keep the load roughly balanced. Hash-based mapping suffers from a constraint on the locality of metadata, though it uniformly distributes the load among NameNodes, which are the metadata servers of Hadoop. In this paper, we present a circular metadata management mechanism named dynamic circular metadata splitting (DCMS). DCMS preserves metadata locality using consistent hashing and locality-preserving hashing, keeps replicated metadata for excellent reliability, and dynamically distributes metadata among the NameNodes to keep load balancing. NameNode is a centralized heart of the Hadoop. Keeping the directory tree of all files, failure of which causes the single point of failure (SPOF). DCMS removes Hadoop’s SPOF and provides an efficient and scalable metadata management. The new framework is named ‘Dr. Hadoop’ after the name of the authors.