基于网格服务的分布式数据挖掘

在分析传统分布式数据挖掘平台不足的基础上,结合网格服务的思想,提出了基于网格服务的分布式数据挖掘平台,同时在该平台上,实现了分布式BP网络分类算法（GBPC-GS）。仿真实验表明,与单机环境相比,随着网格节点数增加,算法的平均耗时明显下降,同时CPU的负载也下降了约40%。     

基于知识网格服务的分布式数据挖掘研究

广域网中存在地理上分布的海量的各种数据,分析和处理这些数据需要利用高性能的分布式并行处理系统,网格能够满足这种要求.知识网格就是使用基本的网格服务(通信服务、信息服务、授权服务和资源管理服务)去建立特定的分布式并行知识发现工具和服务.结合知识网格特点,讨论了知识网格的体系结构和支持知识挖掘应用的服务集.运用分布式数据挖掘的元学习模型,给出了利用知识网格提供的知识挖掘服务实现分布式数据挖掘的过程.     

一种宏观网络数据挖掘网格系统

研究宏观网络安全数据挖掘系统的目的是保护大型网络中关键网络基础设施的可用性、机密性和完整性。为此,首先提出了一种宏观网络数据挖掘的系统框架;然后分析了宏观网络挖掘子系统和态势分析子系统; 最后利用网格计算技术实现了该平台, 并给出了其运行环境。该系统具有可扩展性, 能有效进行宏观网络的数据挖掘和实时势态感知。     

面向云计算的数据挖掘系统架构研究*

随着计算机网络技术特别是云计算的发展,传统的数据挖掘系统已不能再适应新的变化了的情况。在基于云计算平台的数据挖掘系统解决方案尚未形成明确的框架情况下。结合当前数据挖掘系统的优缺点及云计算的优势,构建了一种面向云计算的数据挖掘系统架构,并对其中的重要组成模块进行了详尽地描述,该框架有利于解决当前数据挖掘系统存在的数据共享性差、扩展性低及价格昂贵等一系列问题;也不失为今后面向云计算平台的数据挖掘系统架构研究提供一定的参考性作用。     

Service-oriented middleware for distributed data mining on the grid

Distribution of data and computation allows for solving larger problems and executing applications that are distributed in nature. The grid is a distributed computing infrastructure that enables coordinated resource sharing within dynamic organizations consisting of individuals, institutions, and resources. The grid extends the distributed and parallel computing paradigms allowing for resource negotiation and dynamical allocation, heterogeneity, open protocols, and services. Grid environments can be used both for compute-intensive tasks and data intensive applications by exploiting their resources, services, and data access mechanisms. Data mining algorithms and knowledge discovery processes are both compute and data intensive, therefore the grid can offer a computing and data management infrastructure for supporting decentralized and parallel data analysis. This paper discusses how grid computing can be used to support distributed data mining. Research activities in grid-based data mining and some challenges in this area are presented along with some promising future directions for developing grid-based distributed data mining.     

分布式计算技术发展研究

分布式计算技术是把网络上分散于各处的资源汇聚起来，利用空闲的计算容量完成各种大规模、复杂的计算和数据处理任务。文中回顾了分布式计算技术发展历程，并对不同阶段的技术进行了对比研究；一种技术的体系结构是技术的骨架和灵魂，对分布式计算主流技术的体系结构进行了研讨，从而阐明了Web服务、网格计算等新型分布式计算技术的进步性和时代性。     

面向企业信用评估的分布式隐私保护数据挖掘

介绍企业信用评估和当前隐私保护数据挖掘技术的最新进展,利用适用于企业信用评估的大规模分布式隐私保护数据挖掘架构,讨论了基于该架构的面向企业信用评估的分布式隐私保护数据挖掘。该研究不仅将有助于大规模分布式环境下的隐私保护数据挖掘系统的研发,而且能够有力推动“信用中国”的建设步伐,以达到更好地服务经济的目的。     

离群数据之间模式相似性的分布式挖掘

提出了分布式系统中各站点离群数据之间模式相似性挖掘算法,该算法首先利用基于距离的离群数据挖掘算法挖掘各自站点的离群数据,然后计算离群数据的知识集,最后依据各站点知识集的分布情况来判断离群数据之间的类别相似性和行为相似性。     

网格体系结构研究

通过对国内外网格体系结构的深入研究,揭示了网格体系结构的发展历程,使读者对网格体系结构有一个清晰整体的认识。描述了3个最具代表性的网格体系结构,对网格计算的进一步发展有一定的指导意义。     

网格服务及调用模型研究

开放网格服务体系结构（OGSA）是在Globus网格计算工具包和Web Service技术融合的基础上提出的一套规范和标准.OGSA以服务为中心,将一切都抽象为服务,网格服务是OGSA的基本概念.在介绍了网格服务的思想之后,分析了OGSA的架构体系,讨论了网格服务的组成以及典型标准接口的功能描述,研究了创建网格服务实例的过程,提出了一个网格服务调用模型,并对其处理过程进行了描述.     

The Weka4WS framework for distributed data mining in service‐oriented Grids

The service‐oriented architecture paradigm can be exploited for the implementation of data and knowledge‐based applications in distributed environments. The Web services resource framework (WSRF) has recently emerged as the standard for the implementation of Grid services and applications. WSRF can be exploited for developing high‐level services for distributed data mining applications. This paper describes Weka4WS, a framework that extends the widely used open source Weka toolkit to support distributed data mining on WSRF‐enabled Grids. Weka4WS adopts the WSRF technology for running remote data mining algorithms and managing distributed computations. The Weka4WS user interface supports the execution of both local and remote data mining tasks. On every computing node, a WSRF‐compliant Web service is used to expose all the data mining algorithms provided by the Weka library. The paper describes the design and implementation of Weka4WS using the WSRF libraries and services provided by Globus Toolkit 4. A performance analysis of Weka4WS for executing distributed data mining tasks in different network scenarios is presented. Copyright © 2008 John Wiley & Sons, Ltd.     

网格计算及网格体系结构研究综述

网格计算是继Internet和Web技术之后，信息技术的第3次革命，最终将改变分布式资源的共享和服务方式。对网格计算进行了简单介绍，重点介绍网格系统构建的核心技术，即网格体系结构的研究及最新进展情况。且着重介绍了以协议为中心的5层沙漏结构和以服务为中心的新一代网格体系结构OGSA。     

基于网格的分布式数据挖掘

针对分布式数据挖掘和网格计算的特点,本文详细分析了目前主流的几种网格体系结构,设计了一种基于开放网格服务架构的Web服务资源框架的分布式数据挖掘整体架构,通过应用描述了它们的具体数据挖掘流程。应用结果验证了该架构在网格环境下进行分布式数据挖掘的可行性和高效性。     

基于分类挖掘的网格资源分配研究

根据用户访问网格资源的历史信息,采用分类算法对此信息进行挖掘,得出用户使用集群资源的访问规则和模式,在此基础上构造一种基于分类挖掘的资源调度模型、用户调度UA算法以及资源调度CDMRA算法,分别将用户请求调度到各个集群中闲置的CPU资源.实验证明,采用基于分类挖掘的资源分配策略相比其他算法可以减少资源分配过程中对资源的重新分配次数,可以提高网格资源的利用率.     

面向数据流的频繁模式挖掘研究*

数据流的无限性、高速性使得经典的频繁模式挖掘方法难以适用到数据流中。针对数据流的特点,对数据流中频繁模式挖掘问题进行了研究,提出了数据流频繁模式挖掘算法FP-SegCount。该算法将数据流分段并利用改进的FP-growth算法挖掘分段中的频繁项集,然后利用Count-Min Sketch进行项集计数。算法解决了压缩统计和计算快速高效的问题。通过实验分析,FP-SegCount算法是有效的。     

时空轨迹大数据分布式蜂群模式挖掘算法

针对时空轨迹大数据的蜂群模式挖掘需求,提出了一种高效的基于MapReduce的分布式蜂群模式挖掘算法。首先,提出了基于最大移动目标集的对象集闭合蜂群模式概念,并利用最小时间支集优化了串行挖掘算法;其次,提出了蜂群模式的并行化挖掘模型,利用蜂群模式时间域无关性,并行化了聚类与子时间域上的蜂群模式挖掘过程;第三,设计了一个基于MapReduce链式架构的分布式并行挖掘算法,通过四个阶段快速地实现了蜂群模式的并行挖掘;最后,在Hadoop平台上,使用真实交通轨迹大数据集对分布式算法的有效性和高效性进行了验证与分析。     

数据挖掘在网格中的应用

网格计算是分布计算的一个新的重要的分支,它主要是实现了大规模资源的共享,并且达到了高性能。在许多应用中,需要对大量的数据集进行分析,而这些数据通常是地理上分布的大规模的数据,并且复杂度不断在增加。对于以上的这些应用,网格技术提供了有效的支持,介绍了网格的基础设施以及分布式数据挖掘。     

面向林业管护的分布式数据挖掘系统的研究

首先,本文介绍了分布式数据挖掘技术、其研究现状及在林业中的应用前景;其次,设计了一个针对数字林业管护的分布式数据挖掘系统,并详细研究了各个部件的功能及系统的工作原理;最后,选择一个应用环节,引入遗传算法,具体的实现数据挖掘技术在数字林业建设中的应用.     

分布式隐私保护数据挖掘研究*

隐私保护挖掘是近年来数据挖掘领域的热点之一,主要研究在避免敏感数据泄露的同时在数据中挖掘出潜在的知识。实际应用中,大量的数据分别存放在多个站点,因此分布式隐私保护数据挖掘(distributed privacy preserving data mining, DPPDM)的研究更具有实际意义。对该领域的研究进行了详细的阐述,比较了各种方法的优缺点,对现有方法进行了分类和总结,最后指出了该领域未来的研究方向。     

基于数据网格进行知识关联规则挖掘方法研究

摘要：数据网格是在计算网格的基础上发展起来的网格技术,具有资源共享、协同工作、虚拟组织以及对分布式数据库群进行处理和分析的特点,在知识发现领域具有重要的研究价值。因此,本文提出了一种基于数据网格进行知识关联规则挖掘的方法。该方法采用数据网格树对动态数据网格进行全局控制和管理,采用挖掘作业命令的形式触发域挖掘作业,采用素数存储的方法进行了关联规则挖掘。通过仿真实验表明该挖掘方法在数据库群和数据网格关联规则挖掘方面具有优势。