基于网格的企业数据集成

基于网格的企业数据集成是一种新的集成模式,是实现企业网格应用的基础。在OGSA的体系结构下,建立企业数据集成拓扑结构和系统模型,研究节点互访过程,数据转换模型,探讨了其中的关键问题。实现在自治高效的管理环境中可伸缩性的数据集成,用户透明地使用企业数据资源。     

一种数据网格副本管理仿真软件

副本管理成为影响数据网格性能的主要因素之一,研究高效的副本管理算法大都依赖于对数据网格副本管理进行仿真.介绍了一种数据网格副本管理仿真软件的设计与实现,并详细介绍了数据网格仿真的一些关键技术的解决方案,如任务调度、任务执行仿真.     

一种基于安全的网格数据副本策略模型

数据网格中数据副本的存在是为了获得对数据的更好的访问性能,同时也是为解决容错问题而采用的一种冗余技术,但系统复杂程度的增加会带来一系列不可预测的安全隐患。安全与容错是既相互统一,又相互矛盾的关系,应将它们综合起来加以研究。为此将数据副本机制与信息安全结合起来,提出一种决定数据资源副本数量的数学模型。该模型综合考虑服务提供者一方经济利益和声誉度,在合理的假设下对一个两目标的优化问题作了简化处理,通过数值计算和分析确定了数据副本数量的最佳限额。     

数据网格中一种基于滑动窗口的副本创建和替换策略

数据网格中,数据副本技术提高了数据的访问速度,减少了带宽的消耗.副本创建策略是数据副本研究中的重要问题之一.提出了在P2P网络环境下,一种基于滑动窗口技术的副本创建和替换策略.使用传输时间比作为副本创建和替换的依据.分析和模拟显示,该方法能在控制访问空间的同时,获得良好的性能.     

一种基于权重的数据网格副本替换策略

针对数据网格中存储站点的容量限制,提出了一种基于权重的数据副本替换策略(WBRR).在网格模拟环境OptorSim上进行的模拟实验结果表明:基于权重的策略相比于传统的副本替换策略,在降低网络利用率的同时缩短了系统的响应时间,达到了提高系统性能的目的.     

一种基于预测的网格数据副本选择算法

分析影响数据副本选择的因素,将灰色系统理论应用于副本响应时间的预测,建立GM(1,1)灰色动态拟合模型;同时应用马尔可夫链预测副本可靠性发展趋势,确定系统状态转移概率矩阵,通过系统状态的划分,以概率形式分析和预测副本可靠性,并给出了两种预测算法描述。仿真实验结果表明,该算法预测效果较好,有利于作出正确的副本选择决策,并能有效实现网格中副本存储节点间的负载平衡。     

数据网格的数据管理策略

数据网格的目标是使数据密集型的高性能计算和数据密集型的数据共享事务处理及科学研究成为可能，数据网格主要包括数据存储系统和数据管理系统两大部分．数据管理系统对所存储的数据进行管理，主要包括数据的传送和复制等操作．文章对数据管理策略进行了详细的分类评述并且讨论了目前数据管理系统中的某些局限性和进一步的工作．     

一种基于对象存储中的元数据组织管理方法

提出了一种动态分区元数据组织管理方法。它混合了动态和静态的方法在MDS机群中分布元数据,并使用散列的技术索引元数据,利用共享存储来存放元数据。整个方法使得元数据访问可以高效地完成,机群的失败接管和扩展获得好的性能。     

大数据存储技术进展

在大数据时代,我们面临着多种数据类型,数据规模以前所未有的速度增长,这给数据存储、管理以及分析带来了很大的挑战。传统的单机存储引擎显然不能满足数据爆炸性增长的需求,需要构建高性能、高可扩展、低成本、易用的分布式存储系统基础设施。本文对不同的分布式存储系统和其中的关键技术的研究进行全面的阐述和分析。     

一种分布式元数据的动态管理系统

为得到有效的元数据分布,获得多元数据服务器的负载均衡,提出一种分布式元数据的动态管理系统。利用负载均衡算法选择合适热度的子树,通过子树迁移策略将选定的子树迁移到合适的元数据服务器上进行管理,采用子树复制策略降低元数据服务器负载。实验结果证明,该系统能实现元数据的均匀分布。     

元数据驱动的分布式数据资源管理技术

采用元数据驱动方法,研究分布式数据资源管理,实现数据的统一组织,提供高效数据共享服务。在对数据进行分类分析基础上,基于元数据定义和管理,开展分布式数据管理的数据检索和缓存。突破分布式数据资源管理关键技术瓶颈,构建分布式资源全局目录,实现目录服务,进行高效传输的数据缓存管理,减少处理、采集、分发的延时。提供基于多副本的动态自适应数据调度方案,解决分布式数据资源管理的数据选择和动态变化问题。     

一种面向海量存储系统的高效元数据集群管理方案

高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata server, MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH-MMS的体系结构,介绍了核心数据结构layout-table、虚拟MDS结构、延迟更新机制及相关算法,并对CH-MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求.     

蓝鲸分布式文件系统元数据服务

文件系统元数据请求占据了所有请求50%以上的比例,文件系统元数据服务对整个文件系统有着重要的影响。该文介绍了蓝鲸分布式文件系统的元数据服务器集群(BWMMS)的设计方法。BWMMS通过高扩展的系统结构和简单灵活的元数据请求处理协议,完成元数据服务的协同处理过程。初步评估表明,BWMMS的元数据管理机制能够提供较好的元数据处理性能,具有较高的扩展能力。     

BESⅢ分布式计算的元数据管理

北京谱仪III(BESIII)高能物理实验产生PB量级的实验数据,海量数据的处理和分析对计算资源提出较大挑战。分布式计算是整合异构计算资源和解决计算资源短缺的可行方案。根据BESIII实验需求对分布式计算所需的元数据管理进行研究,提出数据文件的元数据模型,利用中间件软件DIRAC的目录服务设计并实现元数据管理系统。该系统利用树型目录结构、物理文件名动态构建和虚拟数据集等技术,组织和存储各种类型的元数据,实现查询请求、逻辑文件以及物理文件之间的映射,使用数字证书和开放安全套接层协议保证系统安全。将该系统应用于实验数据分析和处理中,测试结果表明,当并发用户访问量为300时,查询时间仅为0.3 s,证明该系统性能较好,可以满足BESIII实验的应用需要。     

基于银行数据仓库的元数据管理系统

元数据在银行数据仓库中具有重要意义。讨论元数据的分类和作用,分析元数据的管理功能,给出一种基于银行数据仓库的元数据管理系统,对其结构进行分析和说明。实践结果表明,该系统可以加强对数据的分析和管理能力,提高银行数据仓库等决策系统的灵活性和可扩展性。     

一种适用于数据网格环境的节点管理策略

针对数据网格的需求,将系统中的节点根据管理域以及网络邻近特性进行组织,同时,根据管理的需求以及节点自身的处理能力,将其组织成为一个分层同构的体系结构.加入系统中的节点粒度可以任意调整,而粗粒度的节点内部对于系统中其他节点是透明的,提高了系统的灵活性,并提高了系统的可扩展性与可管理性.系统中的节点之间根据不同的数据访问规则构成一个多层次、跨管理域的分布式合作缓存,从而降低了主干网带宽的压力.     

Metadata for Managing Grid Resources in Data Mining Applications

The Grid is an infrastructure for resource sharing and coordinated use of those resources in dynamic heterogeneous distributed environments. The effective use of a Grid requires the definition of metadata for managing the heterogeneity of involved resources that include computers, data, network facilities, and software tools provided by different organizations. Metadata management becomes a key issue when complex applications, such as data-intensive simulations and data mining applications, are executed on a Grid. This paper discusses metadata models for heterogeneous resource management in Grid-based data mining applications. In particular, it discusses how resources are represented and managed in the Knowledge Grid, a framework for Grid-enabled distributed data mining. The paper illustrates how XML-based metadata is used to describe data mining tools, data sources, mining models, and execution plans, and how metadata is used for the design and execution of distributed knowledge discovery applications on Grids.     

BWMMS元数据分布信息缓存管理

BWMMS是BWFS的分布式文件系统元数据服务子系统。它充分利用系统访问负载的动态性和局部性特征,通过简单的集中决策机制管理元数据请求负载在多个元数据服务器的分布。为降低集中决策点可能的瓶颈限制,集中决策点位于元数据请求处理路径的末端。本文介绍各个元数据服务器上用来降低对后端集中决策点的压力,提高元数据访问效率的元数据分布信息缓存,并通过测试数据评估缓存命中率对后端集中决策点和元数据访问效率的影响。     

一种基于数据网格技术的MODIS空间数据服务模型研究

介绍了MODIS数据共享与资源服务现状,研究了一种基于3层结构的MODIS数据服务模型,详细介绍了数据服务模型的管理和分发机制。为了确保数据服务模型的可扩展性和平台无关性,设计了基于XML的可扩展性数据访问语言和数据目录服务。最后给出了在空间信息网格试验床上的示范验证,并对实验结果进行分析。     

GridDaEn数据网格中的元数据预取与缓存策略

因数据网格系统部署在广域网环境,所以网络传输延时将成为影响其服务质量(QoS)的主要因素之一。在对预取技术进行了深入细致的探讨之后,本文利用空间换取时间的思想提出了一种元数据的预取与缓存策略。考虑到Grid-DaEn系统中元数据自身的特点,还提出了一种新颖的元数据预取算法DHMP。