基于相容粗糙集技术的连续值属性决策树归纳

决策树是常用的数据挖掘方法,扩展属性的选择是决策树归纳的核心问题。基于离散化方法的连续值决策 树归纳在选择扩展属性时,需要度量每一个条件属性的每一个割点的分类不确定性,并通过这些割点的不确定性选择 扩展属性,其计算时间复杂度高。针对这一问题,提出了一种基于相容粗糙集技术的连续值属性决策树归纳方法。该 方法首先利用相容粗糙集技术选择扩展属性,然后找出该属性的最优割点,分割样例集并递归地构建决策树。从理论 上分析了该算法的计算时间复杂度,并在多个数据集上进行了实验。实验结果及对实验结果的统计分析均表明,提出 的方法在计算复杂度和分类精度方面均优于其他相关方法。     

分支合并对决策树归纳学习的影响

传统的决策树构建方法,由于其选择扩展属性时的归纳偏置,导致属性值较多的属性总会被优先选择,从而导致树的规模过大,并且泛化能力下降,因此需对其进行简化.剪枝是简化的一种,分为预剪枝和后剪枝.该文主要针对预剪枝中的分支合并进行研究.文中研究了分支合并对决策树归纳学习的影响;具体讨论了在决策树的产生过程中,选择适当的分支合并策略对决策树进行分钟合并处理后,能否增强树的可理解性,减少树的复杂程度以及提高树的泛化精度;基于信息增益,分析了分支合并后决策树的复杂程度,设计实现了一种基于正例比的分支合并算法SSID和一种基于最大增益补偿的分支合并算法MCID.实验结果显示:SSID和MCID所得到的决策树在可理解性和泛化精度方面均明显优于See5.     

两种模糊决策树算法的对比研究

模糊决策树归纳是从具有模糊表示的示例中学习规则的一种重要方法,从符号值属性类分明的数据中提取规则可视为模糊决策树归纳的一种特殊情况。由于构建最优的模糊决策树是NP-hard,因此,针对启发式算法的研究是非常必要的。该文主要对两种启发式算法即FuzzyID3和Min-Ambiguity算法应用于符号值属性并且类分明情况所作的分析比较。通过实验与理论分析,发现FuzzyID3算法应用于符号值属性类分明的数据库时从训练准确度、测试准确度和树的规模等方面都要优于Min-Ambiguity算法。     

示例学习中的一类新算法

在示例学习这一机器学习的分支领域中有两类非常重要的算法,其中一个是以ＩＤ３为代表算法,其知识表示是用决策树。在是ＡＱ算法,其知识表示是产生式规则。ＩＤ３的优点是匹配速度快,但其规则数目太多,ＡＱ虽然能生成数目相对ＩＤ３不十分多的产生式规则,钵民ＩＤ３相比却慢得多,因此就示例学习这一领域提出了一种新的算法ＨＰ,这一算法是基于ｎ维欧几里空间中的超平面提出的,对一个正例集和一个反例集,这一算法的规则只有     

一种新的基于属性—值对的决策树归纳算法

决策树归纳算法ID3是实例学习中具有代表性的学习方法。文中针对ID3易偏向于值数较多属性的缺陷,提出一种新的基于属性－值对的决策树归纳算法AVPI,它所产生的决策树大小及测试速度均优于ID3。该算法应用于色彩匹配系统,取得了较好效果。     

归纳学习算法CAP2的研究与应用

本文提出以实例空间中状态划分概率的大小作为启发式信息，以提供的正反实例集为依据，基于二叉树分类方法的示例式归纳学习算法ＣＡＰ２．它输出的分类规则是谓词演算表达式．该算法可根据用户对精度的要求控制分类深度，得到不同精度的规则，并能处理连续数据、噪音数据和利用用户提供的背景知识，既适用于同时给定概念的正、反例集的情况，也适用于只给正例集的情况．本文还介绍了ＣＡＰ２算法的应用情况，并和著名的ＩＤ３算法进行了比较．ＣＡＰ２已嵌入到一个自动知识获取系统．     

基于粗糙集合理论的决策树生成

决策树算法是一种采用发治策略的自顶向下的归纳算法，传统的决策树算法往往是基于信息论度量的。文章以粗糙集合理论中的区分观点为基础，提出了两种新型的属性选择判据：区分度和区分价值。实验结果表明，采用区分价值的属性选择策略所生成的决策树要明显优于基于熵的属性选择策略。     

基于粗糙集技术的决策树归纳

ID3算法是一种典型的决策树归纳算法,它以信息增益作为选择扩展属性根结点的标准,并递归地生成决策树。但ID3算法倾向于选取属性取值较多的属性作为根结点,而且它假设训练集中各类别样例的比例应与实际问题领域里各类别样例的比例相同。提出一种新的基于粗糙集技术的决策树归纳算法,它是一种完全数据驱动的归纳算法,可以克服ID3算法的上述不足。     

决策树算法及其核心技术

决策树是归纳学习和数据挖掘的重要方法，通常用来形成分类器和预测模型。概述了决策树分类算法，指出了决策树算法的核心技术：测试属性的选择和树枝修剪技术。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。最后，通过一个实例说明决策树分类在实际生产中的应用。     

基于模仿学习的决策树码率自适应算法研究

码率自适应（ABR）算法是提升流媒体服务质量的有效方法，主要分为启发式算法和基于学习的算法两类。传统的启发式算法基于固定的规则，难以应对多变的网络环境，基于深度强化学习的算法映射表达能力较好，但其鲁棒性不佳且可解释性较差。针对上述问题，提出一种基于模仿学习的决策树码率自适应算法ABRTree。针对帧级别直播传输系统设计有效的专家ABR算法，并对专家算法的时序经验数据进行离散化处理。采用分类回归树作为码率决策的基础模型，基于专家算法给出的示例数据，采用DAgger算法进行决策树的训练。在此基础上，通过剪枝操作剔除出现较少的样本，从而提升决策树模型的泛化性。实验结果表明，ABRTree在多种视频场景下均能保证画面质量，同时取得较低的端到端延时和较少的卡顿，相比BBA、HYSA和FrameMPC算法，ABRTree算法的QoE性能可以提升1.0%～29.1%，且决策树模型能够直观表达输入特征与码率决策之间的关系，具有较好的可解释性和映射表达能力。     

Knowledge-based system for text classification using ID6NB algorithm

This paper presents a novel algorithm named ID6NB for extending decision tree induced by Quinlan’s non-incremental ID3 algorithm. The presented approach is aimed at suggesting the solutions for few unhandled exceptions of the Decision tree induction algorithms such as (i) the situation in which the majority voting makes incorrect decision (generating two different types of rules for same data), and (ii) in case of dimensionality reduction by decision tree induction algorithms, the determination of appropriate attribute at a node where two or more attributes have equal highest information gain. Exception due to majority voting is handled with the help of Naive Bayes algorithm and also novel solutions are given for dimensionality reduction. As a result, the classification accuracy has drastically improved. An extensive experimental evaluation on a number of real and synthetic databases shows that ID6NB is a state-of-the-art classification algorithm that outperforms well than other methods of decision tree learning.     

Creating Decision Trees from Rules using RBDT‐1

Most of the methods that generate decision trees for a specific problem use the examples of data instances in the decision tree–generation process. This article proposes a method called RBDT‐1—rule‐based decision tree—for learning a decision tree from a set of decision rules that cover the data instances rather than from the data instances themselves. The goal is to create on demand a short and accurate decision tree from a stable or dynamically changing set of rules. The rules could be generated by an expert, by an inductive rule learning program that induces decision rules from the examples of decision instances such as AQ‐type rule induction programs, or extracted from a tree generated by another method, such as the ID3 or C4.5. In terms of tree complexity (number of nodes and leaves in the decision tree), RBDT‐1 compares favorably with AQDT‐1 and AQDT‐2, which are methods that create decision trees from rules. RBDT‐1 also compares favorably with ID3 while it is as effective as C4.5 where both (ID3 and C4.5) are well‐known methods that generate decision trees from data examples. Experiments show that the classification accuracies of the decision trees produced by all methods under comparison are indistinguishable.     

ID3算法的一种改进算法

决策树是归纳学习和数据挖掘的重要方法,通常用来形成分类器和预测模型。ID3算法是决策树中的核心算法,文章针对ID3算法倾向于取值较多的属性的缺点,引进用户兴趣度对ID3算法作了改进,并通过实验对改进前后的算法进行了比较,实验表明,改进后的算法是有效的。     

模糊决策树算法与清晰决策树算法的比较研究

ID3算法是一种典型的决策树归纳算法,这种算法在假定示例的属性值和分类值是确定的前提下,使用信息熵作为启发式建立一棵清晰的决策树。针对现实世界中存在的不确定性,人们提出了另一种决策树归纳算法,即模糊决策树算法,它是清晰决策树算法的一种推广。这两种算法在实际应用中各有自己的优劣之处,针对一个具体问题的知识获取过程,选取哪一种算法目前还没有一个较明确的依据。该文从5个方面对这两种算法进行了详细的比较,指出了属性为连续值时这两种算法的异同及优缺点,其目的是在为解决具体问题时怎样选择这两种算法提供一些有用的线索。     

一种基于改进DRNN网络的决策树构建方法

决策树是数据挖掘和归纳学习的重要方法。本文介绍了ID3算法,ID3算法存在着倾向于取值较多属性的缺点;神经网络也可以用来分类,但是神经网络不易于分类规则的提取。在遗传算法优化的DRNN网络的基础上,提出了使用差量法构建决策树的方法。该方法既具有神经网络分类的高精度,而且分类规则比较直观。实验数据分析表明,本文提出的方法更加接近实际情况,能够更好的进行预测和分类。     

Region-based image retrieval with high-level semantics using decision tree learning

Semantic-based image retrieval has attracted great interest in recent years. This paper proposes a region-based image retrieval system with high-level semantic learning. The key features of the system are: (1) it supports both query by keyword and query by region of interest. The system segments an image into different regions and extracts low-level features of each region. From these features, high-level concepts are obtained using a proposed decision tree-based learning algorithm named DT-ST. During retrieval, a set of images whose semantic concept matches the query is returned. Experiments on a standard real-world image database confirm that the proposed system significantly improves the retrieval performance, compared with a conventional content-based image retrieval system. (2) The proposed decision tree induction method DT-ST for image semantic learning is different from other decision tree induction algorithms in that it makes use of the semantic templates to discretize continuous-valued region features and avoids the difficult image feature discretization problem. Furthermore, it introduces a hybrid tree simplification method to handle the noise and tree fragmentation problems, thereby improving the classification performance of the tree. Experimental results indicate that DT-ST outperforms two well-established decision tree induction algorithms ID3 and C4.5 in image semantic learning.     

决策树算法的一种改进算法

决策树是归纳学习和数据挖掘的重要方法,主要用于分类和预测.ID3算法是决策树中应用最广泛的算法,通过对数据挖掘中决策树的基本思想进行阐述,讨论了ID3算法倾向于取值较多属性的缺点,引入无关度对ID3算法作了改进.实验数据结果分析表明,改进后的算法能得到更合理、更有效的规则.