海量数据处理中的网格技术应用

网格是继Internet和Web之后第三次信息技术革命,最终将改变分布式资源的共享和服务方式。该文主要讨论了海量数据的产生、存储、处理,以及其对数据网格技术的需求,分析了欧洲数据网格和LHC计算网格的功能,并探讨了网格技术研究的最新情况。     

医学数据网格中数据一致性问题研究及实现

分析了数据网格中数据不一致问题的产生以及数据网格中一致性服务的主要内容．基于数据访问特点，深入研究了数据网格中的一致性策略．结合上海医学网格第一阶段，即耳鼻喉医学网格的实际设计实现了一种新的数据一致性算法．最后还提出了在更为复杂的上海医学网格第二阶段，即乳腺癌医学网格中的一致性维护算法的思想．     

数据网格任务调度模拟器的设计*

通过对数据网格模型及任务调度过程进行分析,归纳了数据网格任务调度流程,定义了数据网格的任务执行时间和执行花费。对网格模拟器GridSim进行扩展,增加了数据网格任务调度的模拟功能,介绍了扩展后的模拟器体系结构、工作流程和关键技术。通过实验表明,该任务调度模拟器可以满足数据网格优化理论研究的需要,能够对任务调度策略的性能进行比较。     

数据网格中数据交互处理模式研究

作为业界的研究新热点——网格技术,随着其应用领域的拓展,其具体的应用网格也由单纯的计算网格发展到数据网格、拾遗网格、信息服务网格等应用重点不同的具体应用网格。该文简单探讨了数据网格的体系结构及应用场景,并着重对在数据网格中所出现的不同数据交互处理模式进行了探讨。针对其应用条件和场合的不同,将数据网格中的数据交互处理模式分为三大类六个不同的处理模式,对每种模式的具体工作机制进行了探讨,并给出了一定的应用描述。     

采用动态投票机制的数据网格副本一致性维护

针对网格动态性引起副本数据一致性维护困难的问题,根据网格的动态特性建立了网格系统模型和副本一致性维护模型;提出了适用于低在线率情况的动态投票机制,并在此基础上给出了一种副本数据一致性维护算法,从全局有序性和读一致性等方面证明了该算法的正确性.最后通过模拟实验对副本数取值及可扩展性等方面进行分析,探讨了网格动态性对数据一致性维护的影响.     

基于遥感数据访问与集成的网格中间件

借助数据网格强大的数据管理功能，可以整合分散复杂的遥感数据，为遥感数据处理提供一致的存取环境。遥感数据访问与集成网格中间件的研究目的是为访问分散的、异构的遥感数据提供统一的网格服务接口，使孤立的遥感数据之间实现资源共享。该文利用OGSA-DAI设计，实现了遥感数据访问和集成网格服务，构建了一个高性能遥感数据共享系统，分析了系统的关键性技术及实际应用。     

gFDT:用于数据网格的高速数据传输模块

数据网格中的数据具有分布的、异构的和海量的特点。这使得数据的复制和迁移既不同于局域网内的数据传输特性,又有别于广域网上的数据传输要求。因此,我们希望针对数据网格对数据传输的需求,构建一个可以与数据网格良好整合的传输模块。本文在分析了现有数据网格中数据及其传输的特点以后,提出并实现了一个用于数据网格环境的可同时支持多种数据传输协议的客户端数据传输模块。通过在实际的网格环境下进行的测试表明本模块可有效提高数据网格的数据传输速度。     

P2P技术在网格文件管理中的应用

目前把网格分为两类：计算网格和数据网格。计算网格目标在于通过大量计算节点的协作来减少应用程序的执行时问。数据网格提供解决大量数据管理的问题的方法。目前网格文件传输软件例如Grid FTP使用Client／Server结构，在性能和结构上存在问题。将网格和P2P结合起来，提出一种新的非集中式的、高效的数据网格文件管理协议。     

一种数据网格副本管理仿真软件

副本管理成为影响数据网格性能的主要因素之一,研究高效的副本管理算法大都依赖于对数据网格副本管理进行仿真.介绍了一种数据网格副本管理仿真软件的设计与实现,并详细介绍了数据网格仿真的一些关键技术的解决方案,如任务调度、任务执行仿真.     

网格数据访问中间件的设计与实现

网格服务的一个重要目标是实现数据资源的共享,然而网格环境的复杂性阻碍了对数据的有效访问。利用中间件屏蔽底层的复杂性,实现对网格环境下跨平台,异构数据资源的统一访问是当前研究的重点。该文结合中科院科学数据网格项目的特点,阐述了在开放网格服务架构下用中间件来实现网格中数据的统一访问的原理,并给出了实现的方法。     

基于网格服务的数据发布系统

网格的核心任务是管理分布在Internet广域环境中的各种类型的软硬件资源,为基于Internet的分布式应用提供一个统一的、虚拟的共享资源的计算平台。如何将数据库资源并入现有的网格架构,满足更加广泛的网格应用的数据访问需求,已经成为一项亟待解决的课题。文章提出了一套网格环境中的数据发布系统的设计方案,以网格服务的形式封装对数据库的访问,实现跨越异构网络环境、异构操作系统环境和异构数据库平台的统一访问模式,从而将数据库资源加入到网格环境中。     

基于负载均衡的网格数据移动服务

网格是一种新兴的基于Internet的并行和分布式计算框架。该文提出了一种网格环境下基于负载均衡的数据移动服务。对网格环境下的数据移动需求及其产生的问题进行了详细的分析，并对数据移动服务的概要设计和详细设计进行了具体的分析。     

基于语义的数据网格服务

探讨一种基于Wrapper—Mediator结构的支持语义的数据网格服务机制。首先探讨这种机制的总体结构,包括利用基于本体的语义来封装各个异质数据源,并通过Mediator结构来实现对各种异质数据源的支持,以及通过OTX算法来实现虚拟数据源VDS来支持OGSA-DAI接口标准。然后讨论其数据访问机制,即扩展XML代数来支持基于语义的数据访问。最后介绍一种支持语义的网格通信机制及其通信原语。     

数据网格信息服务体系的研究与设计

网格信息服务是网格中间件的核心部分之一,提供各种分布式网格资源的静态与动态信息。现有的网格中间件几乎都是针对计算网格设计的,它们所提供的信息服务不能胜任数据网格的要求。论文主要对数据网格中的信息服务体系进行研究和设计。     

聚类分析方法在网格技术中的应用

建立在网格基础上的数据挖掘结合了网格技术的优点,能够对各种信息载体中分布的海量信息进行高效的处理、分析和挖掘。本文分析了网格技术与聚类分析方法的特点,使用基于网格方法的数据分析方法将空间划分为由（超）矩形网格单元组成的网格,然后在网格单元上进行聚类分析,以达到更加深入的进行数据挖掘分析之目的,     

面向网格服务流程的空间数据共享标准研究

研究网格环境中空间信息的表达规范和数据资源描述机制,是建立空间数据共享与协同服务的第一步,也是数据资源整合和互操作的前提。目前多数研究集中在相关标准的内容组成和具体实施方法上,缺乏针对数据服务具体环节和协同的具体环节处理过程的标准映射关系研究。通过面向网格环境中的数据服务体系结构,基于操作流程和处理环节对相关标准进行分析,总结空间资源描述环节和相应标准规范的映射关系,研究建立分布异构空间数据共享的资源描述机制和元数据策略。以空间信息网格平台的应用实验为基础,详细介绍了空间数据资源网格化描述模型。     

A multiple parallel download scheme with server throughput and client bandwidth considerations for data grids

Though computer technology advances quickly, the computing speed and storage capacity of a single computer still cannot satisfy the requirements of many applications. As a result, grids have emerged to utilize the collective power of many computers. One of them, the data grid, provides a mechanism for handling a large amount of data. One of the characteristics of a data grid is to replicate files to many different computers such that a popular file would be more available. If a grid site does not have a file, it will have to download it from other grid sites. Thus, the parallel download method, which allows a user to download different parts of a file from various computers simultaneously, is used to decrease download time.However, multiple parallel downloads will affect one another. Thus if all jobs in the grid system use parallel download, the problem of resource competition and conflict will happen. In this paper, we propose a parallel download scheme considering the server output throughput limits and client input bandwidth constraints. Experimental results show that the proposed download scheme outperforms static and dynamic parallel download schemes.     

数据网格中的数据复制技术研究

数据复制技术是数据网格系统中广泛采用的改善网格系统性能的关键技术之一。与传统分布式系统应用领域中的复制相比，数据网格中的复制技术在复制目标、复制粒度、复制关键技术等方面表现出独特性质。本文将数据复制技术概括为副本创建、数据传输、副本删除、副本选择、副本一致性管理、安全管理等环节，深入分析、探讨了数据网格系统中数据复制的各项关键技术，为建立综合的数据网格复制策略和技术框架提供了全面的技术分析。最后，对数据复制技术下一步的研究方向作了分析和预测。     

生物数据网格的应用研究

网格研究的背景和生物科学发展所提出对数据处理的要求出发，引入了生物数据网格．介绍了目前一些用于生物数据管理及计算的网格系统，提出了一个生物数据网格框架，描述了在调控基因的生物数据网格上进行数据挖掘的过程和相应的机制。