共查询到18条相似文献,搜索用时 171 毫秒
1.
针对决策树算法在分类时的多值偏向问题,提出了一种合理的基于相关系数的MID3算法的改进算法。该算法在生成决策树的过程中,将属性与分类结果之间的相关关系引入决策树节点的属性选择中,从而在一定程度上解决ID3算法的多值倾向问题,同时考虑系统两层节点从全局上优化树的结构。利用UCI数据集样本进行实验,将本文算法与ID3算法进行对比,得到了算法的效率的比较结果。实验结论表明,算法提高了数据的平均分类准确率,生成的决策树结构更加合理。 相似文献
2.
3.
4.
ID3算法的一种改进算法 总被引:33,自引:5,他引:33
决策树是归纳学习和数据挖掘的重要方法,通常用来形成分类器和预测模型。ID3算法是决策树中的核心算法,文章针对ID3算法倾向于取值较多的属性的缺点,引进用户兴趣度对ID3算法作了改进,并通过实验对改进前后的算法进行了比较,实验表明,改进后的算法是有效的。 相似文献
5.
决策树算法的一种改进算法 总被引:2,自引:0,他引:2
决策树是归纳学习和数据挖掘的重要方法,主要用于分类和预测.ID3算法是决策树中应用最广泛的算法,通过对数据挖掘中决策树的基本思想进行阐述,讨论了ID3算法倾向于取值较多属性的缺点,引入无关度对ID3算法作了改进.实验数据结果分析表明,改进后的算法能得到更合理、更有效的规则. 相似文献
6.
决策树算法的研究及优化 总被引:16,自引:3,他引:16
决策树算法是数据挖掘中的一个比较活跃的研究领域,是对分类问题进行深入分析的一种方法,但构造最优决策树是一个NP困难问题。文中首先介绍了ID3算法的基本思想,然后讨论了决策树算法中的难点问题,针对ID3算法中所存在的不足,提出了一种利用优化法的思想来改进信息增益的算法,并且与ID3算法进行了实验对比。通过实验表明,这种方法从树的规模和分类精度都优于许多决策树算法,使决策效率明显提高。 相似文献
7.
决策树算法是数据挖掘中的一个比较活跃的研究领域,是对分类问题进行深入分析的一种方法,但构造最优决策树是一个NP困难问题.文中首先介绍了ID3算法的基本思想,然后讨论了决策树算法中的难点问题,针对ID3算法中所存在的不足,提出了一种利用优化法的思想来改进信息增益的算法,并且与ID3算法进行了实验对比.通过实验表明,这种方法从树的规模和分类精度都优于许多决策树算法,使决策效率明显提高. 相似文献
8.
《计算机应用与软件》2016,(1)
通过分析ID3算法的基本原理及其多值偏向问题,结合矫正函数提出一种决策树优化算法。首先通过引进矫正函数对ID3算法进行改进,从而克服其多值偏向问题,然后运用数学中泰勒公式和麦克劳林公式的性质,对信息增益公式进行近似简化。标准数据集UCI上的实验结果表明,优化后的ID3算法不仅解决了原ID3算法的多值偏向问题,而且在构建决策树的过程中,既提高了平均分类准确率,又降低了构建决策树的复杂度,并且还缩短了决策树的生成时间。当数据集中的样本数较大时,优化后的ID3算法的效率得到了明显的提高。 相似文献
9.
10.
基于修正系数的决策树分类算法 总被引:2,自引:1,他引:1
ID3算法是决策树算法中的经典算法,但存在多值偏向问题.一些改进的ID3算法虽避免了多值偏向问题,但多存在主观性强,没有考虑属性信息熵等问题.为了解决该问题,提出了一种基于修正系数的决策树分类算法MC.该算法利用修正系数降低取值个数多的属性的信息增益,并通过实验与ID3算法进行了比较,结果表明,当样本集中各属性取值个数不同时,算法MC在生成决策树的结点总数和分类准确率上明显优于ID3算法. 相似文献
11.
在构造决策树的过程中,分裂属性选择的标准直接影响分类的效果。分析了现有改进的ID3算法不同程度地存在学习效率偏低和对多值属性重要性的主观评测等问题,提出一种高效而且可靠的基于灰色关联度的决策树改进算法。该算法通过灰色关联分析建立各特征属性与类别属性之间的关系,进而利用灰色关联度来修正取值较多但非重要属性的信息增益。通过实验与其它ID3改进算法进行了比较,验证了改进后的算法是有效的。 相似文献
12.
13.
对ID3算法的基本原理及其主要不足以及现有几种改进算法的优缺点进行了简要分析,针对ID3算法的主要不足即倾向于多值属性的选取,利用粗糙集理论和数学相关知识点对其进行了一定程度的改进。理论分析和实验结果表明,改进后的算法在一定程度上不仅较好地解决了ID3算法的多值偏向问题而且大大简化了算法的计算过程,明显提高了算法分类准确度和执行效率。 相似文献
14.
This paper presents a novel algorithm named ID6NB for extending decision tree induced by Quinlan’s non-incremental ID3 algorithm. The presented approach is aimed at suggesting the solutions for few unhandled exceptions of the Decision tree induction algorithms such as (i) the situation in which the majority voting makes incorrect decision (generating two different types of rules for same data), and (ii) in case of dimensionality reduction by decision tree induction algorithms, the determination of appropriate attribute at a node where two or more attributes have equal highest information gain. Exception due to majority voting is handled with the help of Naive Bayes algorithm and also novel solutions are given for dimensionality reduction. As a result, the classification accuracy has drastically improved. An extensive experimental evaluation on a number of real and synthetic databases shows that ID6NB is a state-of-the-art classification algorithm that outperforms well than other methods of decision tree learning. 相似文献
15.
A novel unsupervised classification approach for network anomaly detection by k-Means clustering and ID3 decision tree learning methods 总被引:1,自引:0,他引:1
This paper presents a novel host-based combinatorial method based on k-Means clustering and ID3 decision tree learning algorithms
for unsupervised classification of anomalous and normal activities in computer network ARP traffic. The k-Means clustering
method is first applied to the normal training instances to partition it into k clusters using Euclidean distance similarity. An ID3 decision tree is constructed on each cluster. Anomaly scores from the
k-Means clustering algorithm and decisions of the ID3 decision trees are extracted. A special algorithm is used to combine
results of the two algorithms and obtain final anomaly score values. The threshold rule is applied for making the decision
on the test instance normality. Experiments are performed on captured network ARP traffic. Some anomaly criteria has been
defined and applied to the captured ARP traffic to generate normal training instances. Performance of the proposed approach
is evaluated using five defined measures and empirically compared with the performance of individual k-Means clustering and
ID3 decision tree classification algorithms and the other proposed approaches based on Markovian chains and stochastic learning
automata. Experimental results show that the proposed approach has specificity and positive predictive value of as high as
96 and 98%, respectively. 相似文献
16.
17.
Incremental Induction of Decision Trees 总被引:36,自引:11,他引:25
Paul E. Utgoff 《Machine Learning》1989,4(2):161-186
This article presents an incremental algorithm for inducing decision trees equivalent to those formed by Quinlan's nonincremental ID3 algorithm, given the same training instances. The new algorithm, named ID5R, lets one apply the ID3 induction process to learning tasks in which training instances are presented serially. Although the basic tree-building algorithms differ only in how the decision trees are constructed, experiments show that incremental training makes it possible to select training instances more carefully, which can result in smaller decision trees. The ID3 algorithm and its variants are compared in terms of theoretical complexity and empirical behavior. 相似文献
18.
ID3算法是目前最具有影响力的一种决策树构造算法,但仍然有许多的缺点,例如在多值属性偏向方面的问题、计算时间复杂度高、效率不高等问题。提出了一种基于斯皮尔曼等级相关系数的ID3决策树构造优化算法,利用相关系数克服了ID3算法在多值属性偏向方面的问题,在一定程度上提高了算法的分类准确率。利用相关数学知识对计算过程进行了化简,减少了ID3算法在log运算上的运行时间。最后通过实验验证了优化后的算法是可行的,且在准确率和运行速度方面都有更好的表现。 相似文献