数据挖掘方法本体研究

数据挖掘是包含多个阶段的知识发现过程。一个简单、但典型的数据挖掘过程可能包括数据预处理阶段,数据挖掘算法的应用阶段,以及对挖掘结果的可视化处理阶段。在每个阶段,都会有多个算法或方法供数据挖掘工作者选择,但仅有一些算法和方法组合是有效的。即使是数据挖掘领域的专家,也可能会忽略一些重要的、有助于知识发现的数据挖掘算法或方法。本文中,我们将讨论使用本体的方法来协助数据挖掘工作者在实施数据挖掘过程中对众多可供选择的算法和方法进行选择。     

我国水文数据挖掘技术研究的回顾与展望

水文科学研究的领域面临来自许多方面的不确定性和非确知问题。引入数据挖掘的理论与技术,结合水文科学发展的需要,充分应用以计算机技术为基础的现代信息技术,研究水文数据挖掘的理论、技术和方法,为解决水文科学研究面临的问题提供了新的思路。当前,水文数据挖掘研究还处于起步阶段,研究内容多集中在水文数据的单项和局部数据的模拟与处理方面,对基于水文数据库的全局性多因素数据挖掘涉及很少,在数据挖掘技术与水文数据适应性方面所进行的研究也还很不够。为了充分发挥数据挖掘发现知识的作用,需要在水文主题数据库和多维数据立方、水文序列的分类、聚类和关联规则挖掘技术及优化算法以及水文序列的相似性、周期性和其它序列模式挖掘方面开展进一步研究,并向形成水文数据挖掘软件及数据平台方向发展。     

面向服务的云数据挖掘引擎的研究

数据挖掘算法处理海量数据时,扩展性受到制约。在商业和科学研究的各个领域,知识发现的过程和需求差异较大,需要有效的机制来设计和运行各种类型的分布式数据挖掘应用。提出了一种面向服务的云数据挖掘引擎的框架CloudDM。不同于基于网格的分布式数据挖掘框架,CloudDM利用开源云计算平台Hadoop处理海量数据的能力,以面向服务的形式支持分布式数据挖掘应用的设计和运行,并描述面向服务的云数据挖掘引擎系统的关键部件和实现技术。依据面向服务的软件体系结构和基于云平台的数据挖掘引擎,可以有效解决海量数据挖掘中的海量数据存储、数据处理和数据挖掘算法互操作性等问题。     

数据挖掘算法在医疗管理中的应用研究

数据挖掘是从海量数据当中挖掘出有价值知识的过程,统计学、机器学习、方式辨识、数据库等学科是数据挖掘的技术来源。文章主要阐述了数据挖掘算法的相关知识,分析了完成数据挖掘的核心技术,尤其是决策树算法,并对数据挖掘在医疗管理中的运用进行了研究,希望能为管理者对医疗管理数据的深入挖掘提供一些参考。     

基于web挖掘的用户服务研究

数据丰富而知识贫乏导致了知识发现和数据挖掘领域的出现。基于Web的数据挖掘，是从Web海量的数据中自动、智能地抽取隐藏于这些数据中的知识，分析了Web挖掘技术的概念、特点、技术等。根据Web数据挖掘最流行的分类，可以分为Web内容挖掘、Web结构挖掘和Web使用记录挖掘。其中Web使用挖掘就是运用数据挖掘的思想来对服务器日志进行分析处理。该文根据Web数据挖掘的最近研究状况，主要论述了一个更新的频繁路径集的挖掘浏览模式在Web用户个性化服务中的应用，同时，还对发现的知识讨论了其在在线服务中的应用并给出了相应算法。     

数据流中一种基于滑动窗口的前K个频繁项集挖掘算法

数据流频繁项集挖掘是当今数据挖掘和知识学习领域重要的研究课题之一。数据流高速性、连续性、无界性、实时性对挖掘算法在时间和空间方面提出了更高的要求。传统的数据挖掘算法由于其存储结构需要频繁地维护,其挖掘方式的精度和速度较低,空间、时间效率不高。在基于粒计算和ECLAT算法的基础上提出一种挖掘数据流滑动窗口中top-K频繁项集算法,采用二进制方式存储项,利用位移运算实现增量更新,实施与运算计算项集支持度,同时利用二分查找法插入到项目序表中,输出前K个频繁项。实验结果表明,该算法在K取值不太高时具有较好的时空高效性。     

数据流中一种基于滑动窗口的前K个

数据流频繁项集挖掘是当今数据挖掘和知识学习领域重要的研究课题之一。数据流高速性、连续性、无界性、实时性对挖掘算法在时间和空间方面提出了更高的要求。传统的数据挖掘算法由于其存储结构需要频繁地维护,其挖掘方式的精度和速度较低,空间、时间效率不高。在基于粒计算和ECLAT算法的基础上提出一种挖掘数据流滑动窗口中topK频繁项集算法,采用二进制方式存储项,利用位移运算实现增量更新,实施与运算计算项集支持度,同时利用二分查找法插入到项目序表中,输出前K个频繁项。实验结果表明,该算法在K取值不太高时具有较好的时空高     

基于数据处理的数据挖掘隐私保护技术分析

随着数据挖掘技术的发展与应用,如何在得到准确的挖掘结果的同时保护隐私信息不被泄露,已经成为必须解决的问题.基于数据处理的数据挖掘隐私保护是一种有效的途径,通过采用不同的数据处理技术,出现了基于数据匿名、数据变换、数据加密、数据清洗、数据阻塞等技术的隐私保护算法.文中对基于数据处理的数据挖掘隐私保护技术进行了总结,对各类算法的基本原理、特点进行了探讨.在对已有技术和算法深入对比分析的基础上,给出了数据挖掘隐私保护算法的评价标准.     

并行关联规则挖掘综述

关联规则发现作为数据挖掘的重要研究内容，在许多实际领域内得到了广泛的应用。因为在挖掘过程中涉及到大量的数据和计算，高性能计算成为大规模数据挖掘应用的一个重要组成部分。该文介绍了当前并行关联规则挖掘方面的研究进展，对一些典型算法进行了分析和评价，从并行度、负载平衡以及和数据库的集成等方面展望了并行关联规则挖掘的研究方向。     

一个数据挖掘工具的设计与实现

数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的过程，这些模型和关系可以用来做出预测，该文介绍了一人数据挖掘工具的设计，以Apriori算法为核心，实现了数据挖掘中基于数据库的几种常用挖掘方法，包括基于关系数据库的数据挖掘，不完整数据库中的数据挖掘和根据兴趣度测量来挖掘感兴趣知识的异常关联规则挖掘。     

图像纹理特征数据挖掘软件原型的设计与实现

为了实现图像处理与分析的自动化、智能化,把数据挖掘引入到图像处理与分析领域,针对图像纹理数据的特点,在深入研究数据挖掘软件的基础上,提出了一种图像纹理特征数据挖掘的理想的系统结构;介绍了基于图像(遥感图像)数据挖掘的软件原型系统RSImageMiner中图像纹理特征数据挖掘模块的各子功能模块的设计与实现;并以图像纹理分割为例,给出实验结果及分析。实验表明,该软件原型能得到较满意的图像纹理特征,并能有效地指导图像处理与分析。     

一种实用的软件数据挖掘模型

文中提出了一种将数据挖掘应用于软件工程学中的模型,数据挖掘是一个涉及多领域的交叉学科,它拥有许多成熟的技术。其中,基于“部分重复性”理论的挖掘方法便是数据挖掘的重要技术之一。在对复杂数据的处理过程中,“部分重复性”理论通过建立“中心函数”、“浮动域”和“正确度”指标,提供了一种分类优劣的评价标准。与传统方法相比较,这种方法更加直观、更加高效、更加易于实现,而且能够发现有价值的知识模式。     

过程数据挖掘及进展

工业过程已是一个海量的数据源,需要从中提取知识以支持过程优化。分析了工业过程数据的特点,将数据挖掘的思想引入生产过程优化中,提出了工业过程数据挖掘的概念,即是一个不依赖精确的数学模型,而自动或半自动地从工业过程数据中提取有用的知识,以支持过程变量预报、过程优化及过程故障诊断的特殊数据处理过程。总结了过程数据挖掘在过程变量预报、过程监视与优化及过程故障诊断中的研究进展,得出过程数据挖掘应在算法的设计、商业软件的开发及过程数据仓库与过程数据挖掘的集成三方面开展创新工作的结论。     

软件工程数据挖掘研究进展

随着计算机软件的规模不断扩大,手工获取、开发和维护软件所需的信息越来越困难。数据挖掘技术可从软件工程数据中自动发现所需信息,加快软件开发进程。对软件工程数据挖掘的研究进展进行了综述。概述了软件工程数据挖掘的基本概念与技术挑战;详细评述了在软件工程各个阶段,数据挖掘技术所能发现的信息/知识,以及获取这些信息/知识的意义、难点、步骤和方法,重点介绍了数据预处理和数据表示方法;对软件工程数据挖掘研究的发展趋势进行了展望。     

ClowdFlows: Online workflows for distributed big data mining

The paper presents a platform for distributed computing, developed using the latest software technologies and computing paradigms to enable big data mining. The platform, called ClowdFlows, is implemented as a cloud-based web application with a graphical user interface which supports the construction and execution of data mining workflows, including web services used as workflow components. As a web application, the ClowdFlows platform poses no software requirements and can be used from any modern browser, including mobile devices. The constructed workflows can be declared either as private or public, which enables sharing the developed solutions, data and results on the web and in scientific publications. The server-side software of ClowdFlows can be multiplied and distributed to any number of computing nodes. From a developer’s perspective the platform is easy to extend and supports distributed development with packages. The paper focuses on big data processing in the batch and real-time processing mode. Big data analytics is provided through several algorithms, including novel ensemble techniques, implemented using the map-reduce paradigm and a special stream mining module for continuous parallel workflow execution. The batch mode and real-time processing mode are demonstrated with practical use cases. Performance analysis shows the benefit of using all available data for learning in distributed mode compared to using only subsets of data in non-distributed mode. The ability of ClowdFlows to handle big data sets and its nearly perfect linear speedup is demonstrated.     

面向离散制造业数据挖掘技术研究与应用

在对离散制造企业生产过程中的物流数据特点进行充分分析的基础上,利用数据挖掘技术建立面向零部件物流成本的供应商选择优化模型;研究了针对应用问题的关联规则处理策略以完成对所发现知识的理解和利用。提出了改进的Apriori算法并研制一个数据挖掘系统平台来对此构想进行具体的实现。     

第四代GIS软件研究

地理信息系统是国家空间数据基础设施建设的重要组成部分,对国民经济建设和国家安全有着重要的意义,文中总结了GIS软件的发展历史与技术特点,结合IT技术的发展,指出了现有软件存在的不足,并分析了技术原因,根括了第四代GIS软件的研究目标和技术体系,提出了发展我国第四代GIS软件步骤的建议。     

基于数据仓库的煤矿历史数据分析

目前煤矿中积累了大量的历史数据,为了有效利用这些数据,利用数据仓库作为煤矿历史数据分析方法,设计了基于数据仓库的煤矿历史数据分析系统,给出了其软件体系结构和模块功能,并对建立数据仓库关键技术进行了详细描述。结果表明利用数据仓库来分析煤矿历史数据,是可行的和有价值的。     

数据挖掘的实施分析

在介绍数据挖掘技术的基础上 ,讨论了数据挖掘的实施过程 ,分析并给出了实施有效挖掘的具体步骤 ,重点分析了其过程中的技术手段和核心环节。指出了数据挖掘的成功取决于对数据的合理处理及算法选择。     

基于数据仓库的Web日志挖掘技术研究

Web日志挖掘是目前Web挖掘研究的一个重点.针对Web日志挖掘中存在的问题,给出了基于数据仓库技术的Web日志挖掘方案,就数据预处理、数据立方体设计及数据挖掘技术的应用进行了较为深入的探讨.并以一个Web站点日志为例,详细阐述了Web日志数据预处理、Web日志立方体设计以及数据挖掘算法的实现过程,并实现了一个Web日志多维数据集,能够有效解决Web日志分析中的难题.