生物数据网格的应用研究

网格研究的背景和生物科学发展所提出对数据处理的要求出发，引入了生物数据网格．介绍了目前一些用于生物数据管理及计算的网格系统，提出了一个生物数据网格框架，描述了在调控基因的生物数据网格上进行数据挖掘的过程和相应的机制。     

基于网格环境的数据管理研究

分析了网格环境下数据资源不同于其他资源的特点，针对这些特点论述了网格数据管理所面临的问题．据此分析了面向文件的数据管理服务和面向数据库的数据管理服务的实现。     

基于数据网格环境的连接操作算法

数据网格是一种分布式数据管理体系结构，能够为分布在网格中的资源提供协同的管理机制．数据库管理系统在数据网格中发挥着重要作用，在各种数据库操作中，连接操作是一种最常用也是最耗时的操作，到目前为止，尚未有文献提出数据网格环境下的连接操作算法．主要对数据网格环境下海量数据的连接操作算法进行了研究，针对网格中各结点之间网络带宽异构的特点，采取关系缩减算法、行分块传输技术和流水线并行机制来减少查询的响应时间．理论分析和实验结果证明，算法在减少网络通信开销、增加I／0和CPU并行、降低响应时间方面具有较好的性能．     

医学数据网格中数据一致性问题研究及实现

分析了数据网格中数据不一致问题的产生以及数据网格中一致性服务的主要内容．基于数据访问特点，深入研究了数据网格中的一致性策略．结合上海医学网格第一阶段，即耳鼻喉医学网格的实际设计实现了一种新的数据一致性算法．最后还提出了在更为复杂的上海医学网格第二阶段，即乳腺癌医学网格中的一致性维护算法的思想．     

数据网格中的数据管理服务框架分析

分析了欧洲数据网格项目中数据管理中间件的体系结构和基本实现。所有的服务都是紧密结合OGSA体系结构并基于Web Service技术原型。目前的数据管理体系结构是模块化的，主要部件有复制定位服务、复制元数据服务、复制优化服务、复制订阅等。详细分析了数据管理各个部分的结构并给出了将来的方向。     

网格环境下数据资源管理的研究

本文就数据管理技术在网格中的应用做了概要叙述。首先,对网格技术的概念和体系结构进行了简要解释。然后,对数据管理技术在网格的应用中提出了需求分析,并给出了具体的实现要求。最后介绍了Vi-jayshankar Raman等创建的一种数据管理模式…虚拟数据服务,并对该服务模式做了简要评述,提出个人见解。     

P2P技术在网格文件管理中的应用

目前把网格分为两类：计算网格和数据网格。计算网格目标在于通过大量计算节点的协作来减少应用程序的执行时问。数据网格提供解决大量数据管理的问题的方法。目前网格文件传输软件例如Grid FTP使用Client／Server结构，在性能和结构上存在问题。将网格和P2P结合起来，提出一种新的非集中式的、高效的数据网格文件管理协议。     

Griddaen数据网格系统的设计与关键技术实现

科学计算领域中的科学数据呈现爆炸式增长，未来的科学计算将以数据为中心，数据网格计算技术成为解决复杂海量科学数据的访问和管理的一种有效技术。设计和实现的Gfiddaen数据网格系统，可以管理多个分布异构的存储资源的数据，为用户提供统一的数据访问。重点介绍了数据网格系统体系结构，以及系统的设计原则和目标，并讨论了系统主要关键技术的实现。     

网格环境中的多维数据信息集成访问研究

在实际的应用环境中，网格数据管理需要集成已有的信息资源，并通过发布领域相关的元数据获得领域内信息数据的集成访问。该文以油气勘探开发领域内的信息资源为主要研究对象，在分析了它的多维度、多层次、结构化特点的基础上，设计了一种对已有数据库集成访问的网格构件IAC。同时，给出了描述IAC代理数据内容及映射关系的元数据模式，并讨论了该构件在应用网格体系结构中的作用。     

数据网格中数据交互处理模式研究

作为业界的研究新热点——网格技术,随着其应用领域的拓展,其具体的应用网格也由单纯的计算网格发展到数据网格、拾遗网格、信息服务网格等应用重点不同的具体应用网格。该文简单探讨了数据网格的体系结构及应用场景,并着重对在数据网格中所出现的不同数据交互处理模式进行了探讨。针对其应用条件和场合的不同,将数据网格中的数据交互处理模式分为三大类六个不同的处理模式,对每种模式的具体工作机制进行了探讨,并给出了一定的应用描述。     

海量数据处理中的网格技术应用

网格是继Internet和Web之后第三次信息技术革命,最终将改变分布式资源的共享和服务方式。该文主要讨论了海量数据的产生、存储、处理,以及其对数据网格技术的需求,分析了欧洲数据网格和LHC计算网格的功能,并探讨了网格技术研究的最新情况。     

数据网格中基于MAS的复制管理研究

数据网格是网格环境下的一种数据管理和存储架构,通常使用数据复制技术来获得更好的数据访问效率和容错性能,提出了一种基于MAS的复制管理模型,解决数据网格中数据高度自治和动态带来的管理难题,探讨了基于MAS的实现架构,给出了Agent的结构和协作过程,将复制管理和复制优化策略封装于Agent智能模块中,结合实际应用使用Optorsim仿真器对模型和复制优化策略进行分析,并对经济模型的基于二项分布的估价函数进行了改进,仿真结果表明模型能够提供高效的复制管理服务.     

Metadata for Managing Grid Resources in Data Mining Applications

The Grid is an infrastructure for resource sharing and coordinated use of those resources in dynamic heterogeneous distributed environments. The effective use of a Grid requires the definition of metadata for managing the heterogeneity of involved resources that include computers, data, network facilities, and software tools provided by different organizations. Metadata management becomes a key issue when complex applications, such as data-intensive simulations and data mining applications, are executed on a Grid. This paper discusses metadata models for heterogeneous resource management in Grid-based data mining applications. In particular, it discusses how resources are represented and managed in the Knowledge Grid, a framework for Grid-enabled distributed data mining. The paper illustrates how XML-based metadata is used to describe data mining tools, data sources, mining models, and execution plans, and how metadata is used for the design and execution of distributed knowledge discovery applications on Grids.     

数据网格技术在淮河水质预报系统中的应用

数据网格是网络环境下有效共享和管理存储资源和分布式数据资源的大规模、可扩展的框架结构,它适应数据密集型应用对网络环境下数据共享和处理的需要,并给用户提供透明访问远程异构数据资源的机制。论文将数据网格技术应用到水质预报系统中,有效解决了水质预报系统中有效获取、处理淮河流域Tb、Pb的水情、水质数据等难题,并获得了较好的实用效果。     

数据库网格:基于网格的多数据库系统

近年来,数据网格技术的快速发展为广域分布环境下的海量数据共享提供了强有力的支持。数据库网格是指主要由各种数据库管理系统构成的数据网格环境,其技术难点是在网格环境下研究解决分布式查询、事务、多数据源视图等传统的数据库领域的问题。该文通过讨论数据网格、数据库网格和多数据库的概念和特点,并比较上述问题在多数据库和数据库网格环境下的异同,对数据库网格的特点进行了总结,对数据库网格技术的研究和发展方向进行了探讨和展望。     

Analysis of Scheduling and Replica Optimisation Strategies for Data Grids Using OptorSim

Many current international scientific projects are based on large scale applications that are both computationally complex and require the management of large amounts of distributed data. Grid computing is fast emerging as the solution to the problems posed by these applications. To evaluate the impact of resource optimisation algorithms, simulation of the Grid environment can be used to achieve important performance results before any algorithms are deployed on the Grid. In this paper, we study the effects of various job scheduling and data replication strategies and compare them in a variety of Grid scenarios using several performance metrics. We use the Grid simulator , and base our simulations on a world-wide Grid testbed for data intensive high energy physics experiments. Our results show that scheduling algorithms which take into account both the file access cost of jobs and the workload of computing resources are the most effective at optimising computing and storage resources as well as improving the job throughput. The results also show that, in most cases, the economy-based replication strategies which we have developed improve the Grid performance under changing network loads.     

基于蚂蚁算法的数据网格副本选择策略

在分布着大量数据和计算能力的数据网格环境中,采用数据副本是提高网格应用可用性的重要方法。如何对数据网格中大量的数据副本进行优化选择是影响数据网格性能的重要因素。因此提出一种基于蚂蚁算法的数据网格副本选择策略,并在网格仿真器OptorSim中对该算法进行实现及性能分析。仿真实验结果表明该算法可以减少数据访问延迟及带宽消耗,并有效做到网格中存储节点间的负载平衡。     

网格环境中数据统一访问的设计和实现

网格中汇集了大量分布、异构、多管理域的数据资源,使得网格用户对数据的访问变得非常复杂,必须为用户提供行之有效的方法,实现方便、高效、透明、统一的数据访问。本文描述了基于操作系统之上的文件层面的数据统一访问实现方法。这种方法采用虚拟数据集的机制将汇聚在网格中的存储系统抽象成一个虚拟一体化系统,实现了网格数数据的统一视图和一种网格环境中的数据统一访问方法。     

Enhanced Dynamic Hierarchical Replication and Weighted Scheduling Strategy in Data Grid

The Data Grid provides massive aggregated computing resources and distributed storage space to deal with data-intensive applications. Due to the limitation of available resources in the grid as well as production of large volumes of data, efficient use of the Grid resources becomes an important challenge. Data replication is a key optimization technique for reducing access latency and managing large data by storing data in a wise manner. Effective scheduling in the Grid can reduce the amount of data transferred among nodes by submitting a job to a node where most of the requested data files are available. In this paper two strategies are proposed, first a novel job scheduling strategy called Weighted Scheduling Strategy (WSS) that uses hierarchical scheduling to reduce the search time for an appropriate computing node. It considers the number of jobs waiting in a queue, the location of the required data for the job and the computing capacity of the sites Second, a dynamic data replication strategy, called Enhanced Dynamic Hierarchical Replication (EDHR) that improves file access time. This strategy is an enhanced version of the Dynamic Hierarchical Replication strategy. It uses an economic model for file deletion when there is not enough space for the replica. The economic model is based on the future value of a data file. Best replica placement plays an important role for obtaining maximum benefit from replication as well as reducing storage cost and mean job execution time. So, it is considered in this paper. The proposed strategies are implemented by OptorSim, the European Data Grid simulator. Experiment results show that the proposed strategies achieve better performance by minimizing the data access time and avoiding unnecessary replication.