信息安全在数据挖掘中的应用

隐私保密是数据挖掘应用中正迅速发展的研究领域.重点讨论了数据保密的两种方法:值一类成员关系、值变形,并在此基础上给出了保密程度量化的确定.数据挖掘的任务是研究并提出整合数据的模型,文中利用贝叶斯规则重构数据的原始分布,并将此方法应用于决策树的生成,得到了3种构建决策树的算法:全局算法、分类算法、局部算法,并且通过理论分析得出局部算法和分类算法比全局算法的效率高.     

利用数据挖掘技术对公交乘客特征状况的分析

分类在数据挖掘中是一项非常重要的任务.分类的目的是学会一个分类函数或分类模型,该模型能把数据库中的数据项映射到给定类别中的某一个,从而用于数据分类或预测.决策树是归纳学习和数据挖掘的重要方法,通常用来形成分类器和预测模型.主要研究了数据挖掘中的一种基于决策树的分类算法,以及在公交系统数据预测中的应用.在此基础上进一步讨论了ID3算法存在的一些问题并给出了解决方案和实现过程.其研究结果对开发交通规划决策支持系统具有重要的参考价值.     

决策树算法及其核心技术

决策树是归纳学习和数据挖掘的重要方法，通常用来形成分类器和预测模型。概述了决策树分类算法，指出了决策树算法的核心技术：测试属性的选择和树枝修剪技术。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。最后，通过一个实例说明决策树分类在实际生产中的应用。     

PSO-BP网络模型在数据分类中的应用

分类技术是数据挖掘的重要分支,常见的分类方法有决策树、统计方法、机器学习方法、BP神经网络方法等.本文针对标准BP网络存在的一些缺陷,结合一种进化算法微粒群(PSO)算法,建立了一种用于数据分类的网络模型.该模型充分利用微粒群算法的全局寻优特性,优化BP网络的权值和阈值,既保证了BP网络能收敛到全局最优解,加快了BP网络的收敛速度和收敛精度,又提高了待分类数据的识别准确率.仿真实验结果表明此模型较BP网络具有较好的分类识别性能.     

决策树算法及其在乳腺疾病图像数据挖掘中的应用

介绍了ID3决策树算法建立决策树的基本原理，着重介绍了决策树的修剪问题和两种典型的修剪算法－减少分类错误修剪算法和最小代价－复杂度修剪算法，并利用介绍的决策树算法和修剪算法对乳腺疾病图像进行数据挖掘，得到了一些有实际参考价值的规则，获得了很高的分类准确率，证明了决策树算法在医学图像数据挖掘领域有着广泛的应用前景。     

基于数据挖掘的知识获取与发现

利用数据挖掘技术，提出一种从局部模式向全局模式进行数据融合的模型，并对局部模式的数据挖掘进行了探讨，提出基于事实的物理维度和基于事实数据信息的两种不同出发点的分类聚类模型与算法，并对两者作出了比较，结果是在实际应用中均能较好地解决问题,能起到辅助决策的功能。     

决策树算法在天气评估中的应用

分类算法是数据挖掘中的一个最重要技术．本文分析了决策树分类算法中的ID3算法和C4．5算法．利用它们建立天气评估的决策树模型．研究了该决策树模型在天气评估中的应用，分析了决策树算法应用于数据分类和知识发现的过程和特点．同时文章中也指出了分类算法的不足之处和待解决的问题。     

数据挖掘中决策树分类算法的研究与改进

决策树分类算法是数据挖掘中一个重要的内容,而ID3算法又是决策树分类算法中的一种重要方法且被广泛应用。然而在实际应用过程中,现存的决策树算法也存在着很多不足之处,如计算效率低下、多值偏向等。为了解决这些问题,提出了一种基于ID3算法的加权简化信息熵算法,它提高了决策树的构建速度,减少了算法的计算运行时间,同时也克服了ID3算法往往偏向于选择取值较多的属性作为测试属性的缺陷。并且随着数据规模的增大,决策树的分类性能表现得越好。     

决策树与随机森林

决策树算法是数据挖掘领域的一个研究热点。决策树代表的是对象属性与对象值之间的一种映射关系,以树状结构表现,在实际中应用广泛。笔者首先介绍了信息论,重点阐述了三种典型的决策树分类算法原理,并分析了不同算法的优缺点,最后介绍了基于决策树的随机森林算法及其在机器学习中的作用。     

决策树算法在专业方向指导中的应用

数据挖掘就是从海量的数据中挖掘出可能有潜在价值的信息的技术。决策树方法是一种典型的分类算法．首先对数据进行处理,利用归纳算法生成可读的规则和决策树模型,然后使用决策树模型对新数据进行分析。该文以大学生专业方向指导辅助系统的开发过程为实例从理论上论述了数据挖掘的概念、数据挖掘研究内容和本质以及进行数据挖掘的主要方法。讲述了使用MATLAB7．0开发实现决策树算法子系统的方法和实现,并且对生成的决策树模型进行分析。     

基于局部信息的全局数据挖掘研究*

重点综述了基于局部信息的全局数据挖掘方法。根据数据挖掘的过程,将该问题的研究划分成三个阶段,即利用粒度数据表示进行挖掘、利用局部信息改善全局挖掘的效率和利用局部模式结果获得全局数据理解,并对每个阶段进行了分类论述。最后总结了全文并指明了未来的研究方向。     

基于网格服务的GEP分布式函数挖掘算法

提出了一种基于网格服务的GEP分布式函数挖掘算法(DFMGEP-GS),它将网格服务与GEP算法相结合,既成功地实现了在网格平台下的GEP函数挖掘,又提高了每个网格节点上GEP算法的全局寻优性;同时证明了在网格环境下由局部数据模型生成全局数据模型的方法.仿真实验结果表明,对于函数类型已知的数据,随着数据集的增大,在成功挖掘到目标函数的情况下,DFMGEP-GS算法的平均耗时最少,而且随着网格节点的增加,DFMGEP-GS的收敛速度最大提高了约17倍;对于函数类型未知的复杂数据集,DFMGEP-GS算法挖掘所得到的模型的误差最小.     

快速挖掘全局频繁项目集

分布式环境中，全局频繁项目集的挖掘是数据挖掘中最重要的研究课题之一．传统的全局频繁项目集挖掘算法采用Apriori算法框架，须多遍扫描数据库并产生大量的候选项目集，且通过传送局部频繁项目集求全局频繁项目集的网络通信代价高．为此，提出了一种分布数据库的全局频繁项目集快速挖掘算法——FMAGF.FMAGF算法采用传送条件频繁模式树或条件模式基来挖掘全局频繁项目集，可有效地减小网络通信量，提高全局频繁项目集挖掘效率．理论分析和实验结果表明提出的算法是有效可行的．     

快速挖掘全局最大频繁项目集

挖掘最大频繁项目集是多种数据挖掘应用中的关键问题.现行可用的最大频繁项目集挖掘算法大多基于单机环境,针对分布式环境下的全局最大频繁项目集挖掘尚不多见.若将基于单机环境的最大频繁项目集挖掘算法运用于分布式环境,或运用分布式环境下的全局频繁项目集挖掘算法来挖掘全局最大频繁项目集,均会产生大量的候选频繁项目集,且网络通信代价高.为此,提出了快速挖掘全局最大频繁项目集算法FMGMFI(fast mining global maximum frequent itemsets),该算法采用FP-tree存储结构,可方便地从各局部FP-tree的相关路径中得到项目集的频度,同时采用自顶向下和自底向上的双向搜索策略,可有效地降低网络通信代价.实验结果表明,FMGMF算法是有效、可行的.     

快速挖掘频繁项集的并行算法

传统的挖掘频繁项集的并行算法存在数据偏移、通信量大、同步次数较多和扫描数据库次数较多等问题。针对这些问题,提出了一种快速挖掘频繁项集的并行算法(FPMFI)。FPMFI算法让各计算机节点独立地计算局部频繁项集,然后与中心节点交互实现数据汇总,最终获得全局频繁项集。理论分析和实验结果表明FPMFI算法是有效的。     

Merging local patterns using an evolutionary approach

This paper describes a Decentralized Agent-based model for Theory Synthesis (DATS) implemented by MASETS, a Multi-Agent System for Evolutionary Theory Synthesis. The main contributions are the following: first, a method for the synthesis of a global theory from distributed local theories. Second, a conflict resolution mechanism, based on genetic algorithms, that deals with collision/contradictions in the knowledge discovered by different agents at their corresponding locations. Third, a system-level classification procedure that improves the results obtained from both: the monolithic classifier and the best local classifier. And fourth, a method for mining very large datasets that allows for divide-and-conquer mining followed by merging of discoveries. The model is validated with an experimental application run on 15 datasets. Results show that the global theory outperforms all the local theories, and the monolithic theory (obtained from mining the concatenation of all the available distributed data), in a statistically significant way.     

基于FP树的全局最大频繁项集挖掘算法

挖掘最大频繁项集是多种数据挖掘应用了更新最大频繁候选项集集合,需要反复地扫描整个数据库,而且大部分算法是单机算法,全局最大频繁项集挖掘算法并不多见.为此提出MGMF算法,该算法利用FP-树结构,类似FP-树挖掘方法,一遍就可以挖掘出所有的最大频繁项集,并且超集检测非常简单、快捷.另外MGMF算法采用了分布式PDDM算法播报消息的思想,具有很好的拓展性和并行性.实验证明MGMF算法是有效可行的.     

Efficient mining of maximal frequent itemsets from databases on a cluster of workstations

In this paper, we propose two parallel algorithms for mining maximal frequent itemsets from databases. A frequent itemset is maximal if none of its supersets is frequent. One parallel algorithm is named distributed max-miner (DMM), and it requires very low communication and synchronization overhead in distributed computing systems. DMM has the local mining phase and the global mining phase. During the local mining phase, each node mines the local database to discover the local maximal frequent itemsets, then they form a set of maximal candidate itemsets for the top-down search in the subsequent global mining phase. A new prefix tree data structure is developed to facilitate the storage and counting of the global candidate itemsets of different sizes. This global mining phase using the prefix tree can work with any local mining algorithm. Another parallel algorithm, named parallel max-miner (PMM), is a parallel version of the sequential max-miner algorithm (Proc of ACM SIGMOD Int Conf on Management of Data, 1998, pp 85–93). Most of existing mining algorithms discover the frequent k-itemsets on the kth pass over the databases, and then generate the candidate (k + 1)-itemsets for the next pass. Compared to those level-wise algorithms, PMM looks ahead at each pass and prunes more candidate itemsets by checking the frequencies of their supersets. Both DMM and PMM were implemented on a cluster of workstations, and their performance was evaluated for various cases. They demonstrate very good performance and scalability even when there are large maximal frequent itemsets (i.e., long patterns) in databases.

Multi-objective optimization based privacy preserving distributed data mining in Peer-to-Peer networks

This paper proposes a scalable, local privacy-preserving algorithm for distributed Peer-to-Peer (P2P) data aggregation useful for many advanced data mining/analysis tasks such as average/sum computation, decision tree induction, feature selection, and more. Unlike most multi-party privacy-preserving data mining algorithms, this approach works in an asynchronous manner through local interactions and it is highly scalable. It particularly deals with the distributed computation of the sum of a set of numbers stored at different peers in a P2P network in the context of a P2P web mining application. The proposed optimization-based privacy-preserving technique for computing the sum allows different peers to specify different privacy requirements without having to adhere to a global set of parameters for the chosen privacy model. Since distributed sum computation is a frequently used primitive, the proposed approach is likely to have significant impact on many data mining tasks such as multi-party privacy-preserving clustering, frequent itemset mining, and statistical aggregate computation.     

分布环境中的并行频繁模式挖掘算法

频繁模式的并行挖掘算法是数据挖掘中重要的研究课题。目前已经提出的并行算法大多是基于Apriori或基于FP-tree。由于两者的固有局限性,而且在计算过程中需要多次同步,因而具有较低的性能。文章提出了一种基于分布数据库的并行挖掘算法。该算法尽可能地让每个处理器独立地挖掘,每个处理器基于前缀树采用深度优先搜索的策略挖掘局部频繁模式集,并通过相关性质尽量减少候选全局频繁模式的规模,减少网络的通信量和同步次数以提高挖掘效率。