决策树C4.5算法在数据挖掘中的分析及其应用

决策树是归纳学习和数据挖掘的重要方法,通常用来形成分类器和预测模型。分类器是数据挖掘的一种基本方法。本文对分类器的基本概念、C4.5算法、决策树的构建和剪枝进行了介绍,然后将C4.5算法应用于篮球比赛的技术统计分析中,通过对这些数据分析从而得到一些较实用的预测胜负规则。     

基于Hadoop平台的C4.5算法的分析与研究

如何能从海量数据中以更快速、高效、低成本的方式挖掘出有价值的信息成为如今数据挖掘技术面临的新课题。文中在研究Hadoop平台的特征和决策树的C4.5算法的过程中,决定在决策树算法领域中引入云计算思维,实现其在Ha-doop平台上的并行化,并且采用MapReduce模型来解决海量数据挖掘问题。最后用打高尔夫球的数据集对新的算法进行验证。实验结果表明对海量数据,基于Hadoop平台的决策树算法可以明显提高数据挖掘的效率,具有可观的高效性和可扩展性,在一定程度上解决了C4.5算法在处理海量数据时计算量大、构建决策树时间长的问题。     

基于SPMD的C4.5并行决策树加速分析

决策树分类方法是解决数据挖掘、模式识别中分类任务的有效方法,然而,在大规模的数据集上运行时,其运行效率受到严重影响。文中选取决策树的代表算法C4.5算法为研究对象,利用算法固有的并行性对其进行优化研究。文中利用MATLAB实现串行的C4.5决策树,并对构成该决策树的子函数进行运行时间分析,从而确定信息增益率计算的复杂性为限制算法速度的关键因素。针对此计算瓶颈,结合决策树算法在子节点分割以及最优分裂属性选择等方面的并行性,纵向划分数据,构建了并行的C4.5决策树,并利用MATLAB并行计算池功能以及SPMD设计实现。对并行后决策树运行时间验证结果表明,将C4.5决策树并行化后,并行决策树的构建时间显著缩短,实现了算法的加速。     

决策树C4.5算法在学生成绩管理系统中的分析及其应用

本文详细论述了C4.5算法的原理及计算过程,并运用C4.5算法对某高校2011级电子信息工程专业的学生成绩数据进行分析。首先确定数据挖掘对象,进行样本采集,选择影响成绩的重要属性;然后运用C4.5算法对成绩数据进行分析挖掘从而生成决策树,为今后的教学工作提供指导,以此提高学生的成绩。     

决策树分类算法C4.5中连续属性过程处理的改进

决策树分类算法C4.5是数据挖掘中最常用、最经典的分类算法。但是C4.5算法也存在一些不足之处,针对C4.5算法处理连续属性比较耗时的特点,本文对连续的处理过程进行改进,以提高算法的计算效率。改进的C4.5算法与原C4.5算法相比,在构造决策树时具有相同的准确率和更高的计算速度。     

决策树算法在纳税信用等级评定中的应用研究

纳税信用等级评定的实现是需要对大量税收数据进行分析和判定的结果,决策树是进行数据挖掘和分类的常用工具,其中以C4.5算法最为流行。如何应用数据挖掘技术改变纳税信用等级手工评定的现状是当前税务系统税收信息化工作难点之一。文章主要讨论如何应用C4.5算法构造纳税信用等级评定决策树,通过对纳税人涉税数据的采集、预处理、属性选择、决策树生成和剪枝等一系列过程最终生成纳税信用等级评定决策树,并根据生成的决策树实现对纳税人纳税信用等级的判决。     

知识发现在2型糖尿病数据处理中的应用研究

目的:首次将知识发现理论引入到2型糖尿病发病相关因素数据处理中,从大量实测数据中识别出有效的、潜在的、有用的、可理解的发病规律。方法:根据2型糖尿病数据的特点,选用数据挖掘C4.5算法对17072条有效的整群抽样横断面健康调查数据进行决策树分类。结果:通过训练模型给出糖尿病患病与否的决策分类树,该决策树可以直观地给出发病相关因素的不同层次的相对影响,经实验测试结果对于未患病的正确识别率为92.05%,对于患病的正确识别率为80.90%,同时得出了血糖值为5.85的分类临界值。结论:决策分类树结果同目前认识的高危因素趋于一致,说明数据挖掘C4.5算法适用于2型糖尿病的发病相关因素数据分析处理,是2型糖尿病数据处理的一种新方法,其在疾病的宏观控制中有着广阔的应用前景。     

基于决策树C4.5算法的奖学金评价体系构建——以湖南农业大学为例

本文针对高校奖学金评定中存在受学校、专业等因素影响的问题,以湖南农业大学为例,通过对大学生综合测评信息有关属性的数据分析,建立了奖学金评价体系数据集,并采用C4.5算法,构建了奖学金评价体系决策树。     

基于IF-THEN规则的决策树裁剪算法

决策树是机器学习和数据挖掘领域中一种基本的学习方法。文中分析了C4.5算法以及该算法不足之处,提出了一种决策树裁剪算法,其中以规则信息量作为判断标准。实验结果表明这种方法可以提高最终模型的预测精度,并能够很好克服数据中的噪音。     

基于贝叶斯方法的决策树分类算法

针对数据挖掘的特点和本质,充分利用贝叶斯方法和决策树分类的优点,将贝叶斯的先验信息方法与决策树分类的信息增益方法相结合,提出了一种新的数据挖掘分类算法(BD1.0算法),并对此算法进行了设计和分析。实验分析表明,该算法可以处理不一致或者不完整数据等“脏数据”,比单纯使用贝叶斯方法或决策树方法具有更高的准确率,而且与C4.5算法具有近似的时间复杂度。     

数据挖掘技术在高校就业工作中的应用研究

对于高校就业管理信息系统中积累的大量数据,运用数据挖掘算法中的决策村方法挖掘出潜在的有用的信息,为高校开展就业工作提供决策支持.根据就业数据的特点,采用C4.5决策树算法,对就业数据进行预处理,选取决策属性,实现挖掘算法并抽取规则知识,由规则知识指出哪些决策属性决定了就业单位的类别.挖掘结果表明,该算法能够正确将就业数据分类,并得到若干有价值的结论,供决策分析.     

基于决策树规则的分类算法研究

在商业利益的驱动下,人们不断地深入研究决策树算法.为了提高分类的精度,提出了一种基于决策树规则的分类算法.通过C4.5决策树算法得出决策规则,计算决策规则的长度,准确率与覆盖率,对所得的决策规则依次按照规则长度与准确率的乘积大小、长度的大小、覆盖率的大小对规则集进行排序构造分类器,选择优选权最高的规则进行匹配分类.实验结果表明,与C4.5算法相比,该方法的分类精度有所提高.     

隐私保护的分布式决策树分类算法的研究*

针对分布式决策树构造过程中的隐私保护问题,引入安全多方计算方法设计了可以保护隐私的分布式C4.5决策树分类算法。该算法适用于数据集垂直分布和水平分布两种情况,同时提出了一种新的隐私保护程度的度量方法。实验结果证明设计的隐私保护分布式决策树分类算法不仅很好地保护了原始数据不泄露,同时保持了较高的分类精度。     

基于不平衡数据集的级联决策树改进算法

提出一种针对客户离网问题的改进决策树分类算法——M-AdaBoost级联决策树。采用级联式的思想构造多个基于AdaBoost决策树分类器,通过设定子分类器的判决信息,组合成级联式决策树。实验结果表明,该方法相对于单一的C4.5决策树、传统的AdaBoost决策树以及随机森林具有更好的分类效果。     

竞争选择分裂属性的决策树分类模型

构建决策树分类器关键是选择分裂属性。通过分析信息增益和增益比率、Gini索引、基于Goodman-Kruskal关联索引这三种选择分裂属性的标准,提出了一种改进经典决策树分类器C4.5算法的方法(竞争选择分裂属性的决策树分类模型),它综合三种选择分裂属性的标准,通过竞争机制选择最佳分裂属性。实验结果表明它在大多数情况下,使得不牺牲分类精确度而获得更小的决策树成为了可能。     

基于属性纯度的决策树归纳算法

基于粗糙集的决策树算法由于粒化冲突与噪声影响容易导致特征选择的失效。提出属性纯度并结合属性依赖度来构建决策树归纳算法。采用统计集成策略来建立属性纯度,表示决策分类关于条件分类的识别性,并用于相应的属性特征选择;分析属性纯度与属性依赖度的同质性和异态性,采用先属性依赖度后属性纯度选择节点的方法,改进基于粗糙集的决策树算法。决策表例分析与数据实验对比均表明所提算法的有效性与改进性。     

Characterization and Parallelization of Decision-Tree Induction

This paper examines the performance and memory-access behavior of the C4.5 decision-tree induction program, a representative example of data mining applications, for both uniprocessor and parallel implementations. The goals of this paper are to characterize C4.5, in particular its memory hierarchy usage, and to decrease the run-time of C4.5 via algorithmic improvement and parallelization. Performance is studied via RSIM, an execution driven simulator, for three uniprocessor models that exploit instruction level parallelism to varying degrees. This paper makes the following four contributions. The first contribution is presenting a complete characterization of the C4.5 decision-tree induction program. The results show that with the exception of the input data set, the working set fits into an 8-Kbyte data cache; the instruction working set also fits into an 8-Kbyte instruction cache. For data sets larger than the L2 cache, performance is limited by accesses to main memory. The results further establish that four-way issue can provide up to a factor of two performance improvement over single-issue for larger L2 caches; for smaller L2 caches, out-of-order dispatch provides a large performance improvement over in-order dispatch. The second contribution made by this paper is examining the effect on the memory hierarchy of changing the layout of the input dataset in memory, showing again that the performance is limited by memory accesses. One proposed data layout decreases the dynamic instruction count by up to 24%, but usually results in lower performance due to worse cache behavior. Another proposed data layout does not improve the dynamic instruction count over the original layout, but has better cache behavior and decreases the run-time by up to a factor of two. Third, this paper presents the first decision-tree induction program parallelized for a ccNUMA architecture. A method for splitting the decision tree hash table is discussed that allows the hash table to be updated and accessed simultaneously without the use of locks. The performance of the parallel version is compared to the original version of C4.5 and a uniprocessor version of C4.5 using the best data layout found. Speedup curves from a six-processor Sun E4000 SMP system show a speedup on the induction step of 3.99, and simulation results show that the performance is mostly unaffected by increasing the remote memory access time until it is over a factor of ten greater than the local memory access time. Last, this paper characterizes the parallelized decision-tree induction program. Compared to the uniprocessor version, the parallel version exerts significantly less pressure on the memory hierarchy, with the exception of having a much larger first level data working set.     

基于时序模式匹配的k-近邻分类在流失预测中的应用

为了解决电信行业中如何预测用户流失的问题，该文提出了一种基于时序模式匹配的k-近邻分类方法。与传统的预测方法（如基于决策树的方法）相比，该方法分类时序数据时，不需要将时序数据离散化为非时序数据。该文详细描述了算法的设计以及在真实的电信数据上的应用。与C4.5方法的实验结果比较，表明了该方法有效地保留了时序的完整性，在一定程度上提高了预测准确率。     

利用数据挖掘技术对公交乘客特征状况的分析

分类在数据挖掘中是一项非常重要的任务.分类的目的是学会一个分类函数或分类模型,该模型能把数据库中的数据项映射到给定类别中的某一个,从而用于数据分类或预测.决策树是归纳学习和数据挖掘的重要方法,通常用来形成分类器和预测模型.主要研究了数据挖掘中的一种基于决策树的分类算法,以及在公交系统数据预测中的应用.在此基础上进一步讨论了ID3算法存在的一些问题并给出了解决方案和实现过程.其研究结果对开发交通规划决策支持系统具有重要的参考价值.     

分布式决策树挖掘的隐私保护研究

数据挖掘中的隐私保护是试图在不精确访问原始数据值的前提下,挖掘出准确的模式与规则.围绕分布式决策树挖掘的隐私保护问题展开研究,提出一种基于同态加密技术的决策树挖掘算法,使各参与方在不共享其隐私信息的前提下达到集中式挖掘的效果.理论分析和实验结果表明,该算法具有很好的隐私性、准确性和适用性.