一种基于目录服务的分布式空间元数据检索方法

本文针对分布式异构空间数据共享中面临的应用问题,提出一种基于目录服务的分布式空间元数据检索方法。在构建分布式空间元数据目录服务实现框架的基础上,以空间位置划分为核心,建立分层目录结构为空间元数据提供逻辑层次的关联和组织基础,进而提出面向多目录服务器的组织方式来支持物理层次的空间元数据目录服务实施,实现了分布式环境下空间元数据的有效检索。     

网格环境下空间元数据目录服务

针对网络环境中分布式空间元数据库整合问题,提出了采用网格技术来实现空间元数据集成的方法。利用网格中间件将已有的分布式空间元数据库节点构建成网格分节点,在管理中心节点上部署目录服务和管理模块,实现了分布式元数据存储、分布式元数据查询、统一的目录服务、元数据管理等功能,有效地整合了网络中分散的空间元数据,为用户提供无缝的一体化目录服务。测试结果表明,该方法简单易行、系统可扩展性强。     

基于MCS的空间元数据目录服务

针对元数据目录服务MCS对多源空间数据管理困难的特点,该文提出一种新的分布式空间元数据目录服务SMCS的设计与实现方法。利用顾及空间关系的元数据分类与层级聚合方法,构建具有双向推理机制的层级目录结构,设计空间元数据的聚合操作和实现接口,并基于分布式目录索引方法进行数据查找和定位。SMCS的验证实验表明,该方法能有效管理地理分布、动态异构的海量空间数据,为网格环境下多源空间数据的高效集成应用服务提供技术支持。     

基于元数据的目录服务体系研究与实现

随着网络技术和计算机技术的迅猛发展,世界各国对于电子政务建设日趋重视,电子政务在国外蓬勃发展,而我国的电子政务起步比较晚,经济发展呈现不平衡态势。针对政务信息化建设中出现的“信息孤岛”等问题,在现有的政务信息资源注册管理模型基础上,提出了基于元数据的目录服务,分析研究了政务信息资源目录服务体系的框架。并提出了基于元数据的政务信息资源的目录服务的实现方法,最终在上海市水务局实现试点应用。     

基于MVC模式空间元数据目录服务的实现

在分析了空间元数据目录服务及其特点的基础上,提出利用MVC模式和XML实现空间元数据目录服务的方案,并给出了系统的详细设计和应用实例。     

基于目录迁移与复制的元数据服务系统动态负载均衡策略

传统的基于状态的元数据服务系统负载均衡策略通常采用目录迁移策略来达到均衡的目的,然而这种策略易使系统进入新的不均衡状态而产生"抖动"现象。提出一种将目录迁移与目录复制相结合的元数据服务系统动态负载均衡策略,有效解决了传统的单一利用目录迁移来进行负载均衡容易造成"抖动"的缺陷,提高了系统的效率和稳定性。     

一种基于网格服务的数据库元数据管理框架

该文主要针对数据网格的分布式异构数据库环境,提出一种基于网格服务来实现数据库元数据采集、存储、查询功能的参考框架。文章讨论了对于异构数据库的元数据,如何实现动/静态信息的管理。通过扩展GlobusToolkit中的MDS(MonitoringandDiscoverService)目录服务模块,使其支持后台关系型数据库,来存储静态元数据,而利用信息采集程序(InformationProvider)来生成动态元数据。整个系统框架建立在网格服务(GridService)基础之上,以网格服务方式提供元数据的访问功能。     

基于元数据的目录服务体系研究与实现

随着网络技术和计算机技术的迅猛发展,世界各国对于电子政务建设日趋重视,电子政务在国外蓬勃发展,而我国的电子政务起步比较晚,经济发展呈现不平衡态势.针对政务信息化建设中出现的"信息孤岛"等问题,在现有的政务信息资源注册管理模型基础上,提出了基于元数据的目录服务,分析研究了政务信息资源目录服务体系的框架.并提出了基于元数据的政务信息资源的目录服务的实现方法,最终在上海市水务局实现试点应用.     

基于LDAP的Internet分布式目录服务的分析与实现

在LDAP基本目录服务模型的基础上，详细分析和实现了适用于Internet应用的具备良好可靠性、可扩展性、负载均衡、管理方便和安全的分布式目录服务。     

LDAP在仿真资源数据网格中的应用研究

文中研究了LDAP目录服务在仿真资源数据网格查询服务中的应用,对于地理上分布的海量的异构仿真数据库,需要一种可以扩展的查询机制来满足对于各种仿真数据库中的元数据进行快速查询的需求,根据LDAP协议特性在该文中举出了两种LDAP目录服务体系结构,详细地分析比较了两种LDAP目录服务器具体部署方案的优缺点和可行性,最后提出一种采用一主多从的LDAP目录服务器部署模式作为实施方案,为异构的仿真资源数据库元数据提供了一种有效快速的查询机制.     

基于层次结构的元数据动态管理方法的研究

在大规模分布式存储系统中,元数据高性能服务和扩展性已成为一个重要的研究热点.在元数据服务器(metadata server,MDS)中,将元数据分解为目录对象和文件对象.目录对象为定位性元数据,提供文件所在位置和访问控制;文件对象为描述性元数据,描述文件的数据特性.每个MDS负责所有目录对象和自身的文件对象,同时,以目录对象ID和文件名为关键字的Hash值作为局部元数据查找表的索引,通过Bloom Filter算法将每个MDS的局部元数据查找表压缩成一个摘要,这样既可利用MDS中Cache,提高Cache的命中率,减少磁盘I/O次数,动态扩展MDS,又能够实现快速的元数据查找.     

基于目录路径的元数据管理方法

提出目录路径属性与目录对象分离的元数据管理方法,扩展了现有的对象存储结构.该方法能够有效避免因为目录属性修改而导致的大量元数据更新与迁移;通过减少前缀目录的重迭缓存提高了元数据服务器Cache的利用率和命中率;通过减少遍历目录路径的开销和充分开发目录的存储局部性,减少了磁盘I/O次数;通过元数据服务器的动态负载均衡避免单个服务器过载.实验结果表明,该方法在提高系统性能、均衡元数据分布以及减少元数据迁移等方面具有明显的优势.     

OCFS：一种基于对象存储结构的可伸缩高性能集群文件系统

提出了一种基于确定性随机分布算法分布元数据和数据对象的可伸缩集群文件系统结构。其中目录路径属性与目录对象分离的元数据管理方法，在提高系统性能、均衡元数据分布和减少元数据迁移等方面具有明显优势。提出的基于动态区间映射的数据对象布局算法，支持权重分布和副本，在均衡数据分布和最少迁移数据方面都具有统计意义上的最优性，有效解决了动态存储系统的数据均衡分布与可伸缩性问题。     

COSMOS文件系统的性能分析

COSMOS文件系统提供单一系统映象和严格的UNIX语义,提供与UNIX文件系统的应用程序二进制兼容,系统中没有引入集中的服务器瓶颈,所有的数据、元数据和目录文件都被分散存储在整个系统中,以提供高性能和良好的可扩展性,测试表明,COSMOS文件系统具有很好的系统带宽和整体性能,系统具有良好的可扩展性,文中讨论了影响系统性能和可扩展性的关键因素,基于作者的实现经验和测试数据,讨论了现有系统中存在的性能瓶颈并且提出了改进的方案。     

Scalable Metadata Management Through OSD+ Devices

We present the design and implementation of both an enhanced new type of OSD device, the OSD+ device, and a metadata cluster based on it. The new OSD+ devices support data objects and directory objects. Unlike “data” objects, present in a traditional OSD, directory objects store file names and attributes, and support metadata-related operations. By using OSD+ devices, we show how the metadata cluster of the Fusion Parallel File System (FPFS) can effectively be managed by all the servers in a system, improving the performance, scalability and availability of the metadata service. We also describe how a directory with millions of files, and accessed by thousands of clients at the same time, is efficiently distributed across several servers to provide high IOPS rates. The performance of our metadata cluster based on OSD+s has been evaluated and compared with that achieved by Lustre. The results show that our proposal obtains a better throughput than Lustre when both use a single metadata server, easily getting improvements of more than 60–80%, and that the performance scales with the number of OSD+s. They also show that FPFS is able to provide a sustained throughput of more than 70,000 creates per second, and more than 120,000 stats per second, for huge directories on a cluster with just 8 OSD+s.     

基于语义关联技术的信息检索策略

为提高在海量数据中的信息检索效率,分析了元数据目录服务技术的现状及其不足,通过引入语义关联技术,将语义关联的信息检索技术与网格信息服务技术有效结合,提出了一种改进的能有效提高检索效率的检索框架,并结合实例进行了描述.实验结果表明,该优化的语义关联查询方法是有效、可行的,能有效提高海量数据中信息检索的查准率和查全率.     

MHS: A distributed metadata management strategy

This paper proposes a novel distributed metadata management strategy to efficiently handle different metadata workloads. It can deliver high performance and scalable metadata service through four techniques, including directory conversion metadata, mimic hierarchical directory structure, flexible partition methods targeted different kinds of metadata of diverse characteristics, and the application of database to metadata backend. Using micro-benchmarks and a prototype system, we firstly demonstrate the performance superiority of our strategy compared to Lazy Hybrid, and then present the detailed performance results and analysis of our strategy on different MDS scales.