一种网格数据挖掘应用系统的设计

数据挖掘算法广泛地应用于数据分析。工业、科学和商业领域需要分析地理上分布的大量数据集,而网格能有效地提供高性能应用和分布式的基础设施。为了利用网格实现数据挖掘和知识表示,文中根据知识网格的概念,在GlobusToolkit的基础上,分析了知识网格的体系结构和它的主要组件,根据数据挖掘的过程设计了一种网格数据挖掘系统软件模型,并指出了该模型应提供的服务,这些服务会屏蔽所有关于网格底层的所有细节,使最终用户只关心知识发现的过程。     

一种网格数据挖掘应用系统的设计

数据挖掘算法广泛地应用于数据分析。工业、科学和商业领域需要分析地理上分布的大量数据集，而网格能有效地提供高性能应用和分布式的基础设施。为了利用网格实现数据挖掘和知识表示，文中根据知识网格的概念，在Globus Toolkit的基础上．分析了知识网格的体系结构和它的主要组件，根据数据挖掘的过程设计了一种网格数据挖掘系统软件模型，并指出了该模型应提供的服务，这些服务会屏蔽所有关于网格底层的所有细节，使最终用户只关心知识发现的过程。     

数据挖掘在网格中的应用

网格计算是分布计算的一个新的重要的分支,它主要是实现了大规模资源的共享,并且达到了高性能。在许多应用中,需要对大量的数据集进行分析,而这些数据通常是地理上分布的大规模的数据,并且复杂度不断在增加。对于以上的这些应用,网格技术提供了有效的支持,介绍了网格的基础设施以及分布式数据挖掘。     

基于网格的分布式数据挖掘

针对分布式数据挖掘和网格计算的特点,本文详细分析了目前主流的几种网格体系结构,设计了一种基于开放网格服务架构的Web服务资源框架的分布式数据挖掘整体架构,通过应用描述了它们的具体数据挖掘流程。应用结果验证了该架构在网格环境下进行分布式数据挖掘的可行性和高效性。     

基于知识网格的数据挖掘

工业、科学、商务等领域的数据通常分布在不同的地方,需要在不同的地点对其进行分布式维护。只有使用计算功能超强的分布式、并行处理系统才能分析这些领域所产生的超大规模数据集。网格为分布式知识发现应用中的计算提供了有效支持。为了在网格上进行数据挖掘的开发,本文提供了一个称之为知识网格的系统,讨论如何应用知识网格设计实施数据挖掘应用,并说明如何搜索网格资源、编制软件和数据组件,以及数据挖掘应用在网格上的执行过程。     

基于网格的数据挖掘体系结构

随着科学技术的飞速发展以及各种网格体系结构的应用和普及,计算机网络系统环境变得非常复杂并难以管理和统一,尤其是内部软件系统的运行以及各种细节技术问题,给现在的网络环境带来了更大的挑战性。通过科学合理利用网格数据挖掘体系就能够实现网络资源的共享,为网络资源提供一个安全多样化的运行氛围和体制。本文针对网格数据挖掘体系进行了探讨和分析,通过对放网格服务体系(OGSA)思想体系的阐述,并采用分层描述的方法,围绕功能、结构、调度成本和网格服务目标等进行了讲述。     

网格的数据挖掘*

网格是网络计算、分布式计算和高性能计算技术研究的热点。随着科学计算领域中的数据剧烈增长以及未来网格计算环境下广域分布的海量数据共享成为现实,数据挖掘技术将在挖掘有效的信息、发现新的知识和规律发挥着重要的作用。结合网格的特点,概述了网格数据挖掘的特点和关键技术,重点讨论了网格数据挖掘的体系结构和基本过程,最后给出了基于OGSA的网格数据挖掘的例子。     

基于网格的分布式数据挖掘模型研究

基于网格的分布式知识发现和挖掘越来越受到学术界的重视。分析了现有的分布式数据挖掘系统的不足,提出了一种基于OGSI.NET的分布式数据挖掘的框架模型,并给出了该模型的软件部署方案。     

网格环境下的数据挖掘体系设计

数据挖掘能帮助理解和发现数据中的隐含信息,然而,由于数据的多源性和地理分布性,传统的数据挖掘技术很难适应虚拟组织参与的复杂方案.文章在陈述数据挖掘与网格研究现状的基础上,提出了网格环境下的三层垂直类数据挖掘体系结构,详细介绍了体系中的各种网格服务内容,阐明了服务的横向与纵向组合形式,并针对该体系结构提出了基于Globus的实施设想.该设计为在网格环境中开展数据挖掘提供了新思路,具体实施则有待深入研究.     

基于网格服务的数据挖掘应用研究

建立在网格基础上的数据挖掘结合了网格技术的优点,能够对Internet上广域分布的海量信息进行高效的处理、分析和挖掘。分析了网格与数据挖掘的特点,并结合网格与数据挖掘的过程和关键技术,详细介绍了开放网格服务体系结构、层次功能、网格服务及其接口,基于OGSA的网格数据挖掘的例子和应用验证了数据挖掘网格系统的可行性和高效性。     

基于网格服务的分布式数据挖掘

在分析传统分布式数据挖掘平台不足的基础上,结合网格服务的思想,提出了基于网格服务的分布式数据挖掘平台,同时在该平台上,实现了分布式BP网络分类算法（GBPC-GS）。仿真实验表明,与单机环境相比,随着网格节点数增加,算法的平均耗时明显下降,同时CPU的负载也下降了约40%。     

基于数据网格进行知识关联规则挖掘方法研究

摘要：数据网格是在计算网格的基础上发展起来的网格技术,具有资源共享、协同工作、虚拟组织以及对分布式数据库群进行处理和分析的特点,在知识发现领域具有重要的研究价值。因此,本文提出了一种基于数据网格进行知识关联规则挖掘的方法。该方法采用数据网格树对动态数据网格进行全局控制和管理,采用挖掘作业命令的形式触发域挖掘作业,采用素数存储的方法进行了关联规则挖掘。通过仿真实验表明该挖掘方法在数据库群和数据网格关联规则挖掘方面具有优势。     

基于知识网格服务的分布式数据挖掘研究

广域网中存在地理上分布的海量的各种数据,分析和处理这些数据需要利用高性能的分布式并行处理系统,网格能够满足这种要求.知识网格就是使用基本的网格服务(通信服务、信息服务、授权服务和资源管理服务)去建立特定的分布式并行知识发现工具和服务.结合知识网格特点,讨论了知识网格的体系结构和支持知识挖掘应用的服务集.运用分布式数据挖掘的元学习模型,给出了利用知识网格提供的知识挖掘服务实现分布式数据挖掘的过程.     

网格数据挖掘中关联规则挖掘方案的研究

文章对网格数据挖掘中的关联规则挖掘问题进行了探讨，给出了两种实现方案，一是采用局部一局部的通信模式，各个站点的通信负载比较均衡；二是采用局部一全局的通信模式，减少了各局部站点的通信负荷，实现了各局部站点的完全异步，但对全局站点的性能要求较高。     

面向云计算的数据挖掘系统架构研究*

随着计算机网络技术特别是云计算的发展,传统的数据挖掘系统已不能再适应新的变化了的情况。在基于云计算平台的数据挖掘系统解决方案尚未形成明确的框架情况下。结合当前数据挖掘系统的优缺点及云计算的优势,构建了一种面向云计算的数据挖掘系统架构,并对其中的重要组成模块进行了详尽地描述,该框架有利于解决当前数据挖掘系统存在的数据共享性差、扩展性低及价格昂贵等一系列问题;也不失为今后面向云计算平台的数据挖掘系统架构研究提供一定的参考性作用。     

Service-oriented middleware for distributed data mining on the grid

Distribution of data and computation allows for solving larger problems and executing applications that are distributed in nature. The grid is a distributed computing infrastructure that enables coordinated resource sharing within dynamic organizations consisting of individuals, institutions, and resources. The grid extends the distributed and parallel computing paradigms allowing for resource negotiation and dynamical allocation, heterogeneity, open protocols, and services. Grid environments can be used both for compute-intensive tasks and data intensive applications by exploiting their resources, services, and data access mechanisms. Data mining algorithms and knowledge discovery processes are both compute and data intensive, therefore the grid can offer a computing and data management infrastructure for supporting decentralized and parallel data analysis. This paper discusses how grid computing can be used to support distributed data mining. Research activities in grid-based data mining and some challenges in this area are presented along with some promising future directions for developing grid-based distributed data mining.     

Distributed data mining patterns and services: an architecture and experiments

Distributed data mining implements techniques for analyzing data on distributed computing systems by exploiting data distribution and parallel algorithms. The grid is a computing infrastructure for implementing distributed high‐performance applications and solving complex problems, offering effective support to the implementation and use of data mining and knowledge discovery systems. The Web Services Resource Framework has become the standard for the implementation of grid services and applications, and it can be exploited for developing high‐level services for distributed data mining applications. This paper describes how distributed data mining patterns, such as collective learning, ensemble learning, and meta‐learning models, can be implemented as Web Services Resource Framework mining services by exploiting the grid infrastructure. The goal of this work was to design a distributed architectural model that can be exploited for different distributed mining patterns deployed as grid services for the analysis of dispersed data sources. In order to validate such an approach, we presented also the implementation of two clustering algorithms on the developed architecture. In particular, the distributed k‐means and distributed expectation maximization were exploited as pilot examples to show the suitability of the implemented service‐oriented framework. An extensive evaluation of its performance was provided. Copyright © 2011 John Wiley & Sons, Ltd.     

SDPG: Spatial data processing grid

Spatial applications will gain high complexity as the volume of spatial data in-creases rapidly. A suitable data processing and computing infrastructure for spatial applications needs to be established. Over the past decade, grid has become a powerful computing environment for data intensive and computing intensive applications. Integrating grid computing with spatial data processing technology, the authors designed a spatial data processing grid (called SDPG) to address the related problems. Requirements of spatial applications are examined and the architec-ture of SDPG is described in this paper. Key technologies for implementing SDPG are discussed with emuhasis.     

基于分类挖掘的网格资源分配研究

根据用户访问网格资源的历史信息,采用分类算法对此信息进行挖掘,得出用户使用集群资源的访问规则和模式,在此基础上构造一种基于分类挖掘的资源调度模型、用户调度UA算法以及资源调度CDMRA算法,分别将用户请求调度到各个集群中闲置的CPU资源.实验证明,采用基于分类挖掘的资源分配策略相比其他算法可以减少资源分配过程中对资源的重新分配次数,可以提高网格资源的利用率.     

校园数据网格环境框架研究

随着因特网和信息系统的快速发展,信息资源迅速膨胀,使得信息集成技术成为目前的研究热点.为了解决目前对校园信息资源缺乏有效管理手段的问题,提出了一个基于数据网格技术的校园数据网格环境框架.该框架利用OGSA-DAI技术,构建了一个层次化的信息集成模型,从而实现了校园信息资源的全面共享和高效整合,解决了信息资源的异构集成、位置透明访问、统一访问接口等问题,并对通过多层次的安全体系,来保证整个校园数据网格的安全.