一种新的基于粗糙集模型的决策树算法

在基于粗糙集模型的决策树生成算法中,由于分类的精确性,导致生成算法在对实例进行划分时往往过于细化,无法避免少数特殊实例对决策树造成的不良影响,使得生成的决策树过于庞大,不便于理解,同时也降低了其对未来数据的分类和预测能力。针对上述问题,该文给出一个新的基于粗糙集模型的决策树生成算法,引入了抑制因子。对即将扩张的结点,除了常用的终止条件外,再加入一个终止条件：若样本的抑制因子大于给定的阈值,便不再扩展该结点。有效地避免了划分过细的问题,也不会生成过于庞大的决策树,便于用户理解。     

粗糙集和决策树方法在IDS中的应用研究

入侵检测系统（IDS）是数据挖掘的一个热门应用领域。为了解决当前建立的入侵检测系统缺少有效性的问题，文中首先介绍入侵检测系统产生的背景和入侵检测系统的特点，分析决策树归纳学习的过程，从数据挖掘的角度，首先使用粗糙集进行属性约简，运用决策树学习方法对入侵检测数据进行归纳学习。从结果看出粗糙集和决策树学习方法在建立入侵检测系统上的有效性和实用性。     

基于粗糙集的决策树ID3算法

针对传统ID3算法计算过程复杂以及存在信息冗余的问题,提出了一种改进算法——基于粗糙集属性约简的简化ID3算法.该算法利用粗糙集中属性约简的性质删掉了系统中多余的知识,在保证同样的分类能力下使得分类系统更简洁,同时借助了泰勒公式对熵公式进行化简,使得计算更简便,然后把改进的算法用到实例中去,并用相关数据库上的大量数据编程进行仿真实验,最后得出的仿真结果证明了所提出算法的正确性与可行性,不仅能够有效降低信息重复度,减少了冗余规则,还保证了算法精度,同时为把ID3算法更好地应用到现实生活实例中提供了一定的参考价值.     

基于变精度粗糙集的决策树优化算法研究

应用变精度粗糙集理论,提出了一种利用新的启发式函数构造决策树的方法。该方法以变精度粗糙集的分类质量的量度作为信息函数,对条件属性进行选择。和ID3算法比较,本方法充分考虑了属性间的依赖性和冗余性,尤其考虑了训练数据中的噪声数据,允许在构造决策树的过程中划入正域的实例类别存在一定的不一致性,可简化生成的决策树,提高决策树的泛化能力。     

粗糙集和决策树方法在IDS中的应用研究

人侵检测系统(IDS)是数据挖掘的一个热门应用领域.为了解决当前建立的入侵检测系统缺少有效性的问题,文中首先介绍入侵检测系统产生的背景和入侵检测系统的特点,分析决策树归纳学习的过程,从数据挖掘的角度,首先使用粗糙集进行属性约简,运用决策树学习方法对入侵检测数据进行归纳学习.从结果看出粗糙集和决策树学习方法在建立入侵检测系统上的有效性和实用性.     

基于粗糙集与属性值聚类的决策树改进算法

采用粗糙集理论和属性值聚类相结合的方法,从决策树最优化的三个原则对其进行优化。首先,采用粗糙集理论的约简功能求出相对核,并利用信息熵作为启发信息求出相对约简,以此来保证生成决策树的路径最短和减少决策树的节点数。其次,在选择特征属性时,在信息熵增益最大的前提下,根据属性值间的相异性距离来对属性值聚类使其能够接近单峰分布。通过对UCI数据实验分析,结果表明很大程度上减少了决策树的节点数和决策树的深度。     

基于粗糙集理论的决策树分类方法

决策树是数据挖掘中常用的分类方法。本文提出了基于粗糙集的决策树方法,利用粗糙集近似精确度来选择决策树的根节点,分支由分类产生。该方法计算简单,易于理解。本文还提出用悲观剪枝法简化决策树,提高决策树的预测与分类能力。实例说明了本文方法均简单有效。     

基于相容粗糙集技术的连续值属性决策树归纳

决策树是常用的数据挖掘方法,扩展属性的选择是决策树归纳的核心问题。基于离散化方法的连续值决策 树归纳在选择扩展属性时,需要度量每一个条件属性的每一个割点的分类不确定性,并通过这些割点的不确定性选择 扩展属性,其计算时间复杂度高。针对这一问题,提出了一种基于相容粗糙集技术的连续值属性决策树归纳方法。该 方法首先利用相容粗糙集技术选择扩展属性,然后找出该属性的最优割点,分割样例集并递归地构建决策树。从理论 上分析了该算法的计算时间复杂度,并在多个数据集上进行了实验。实验结果及对实验结果的统计分析均表明,提出 的方法在计算复杂度和分类精度方面均优于其他相关方法。     

决策树算法研究综述

简要回顾了数据挖掘的应用背景和常用的数据挖掘方法，重点研究了数据挖掘方法中的决策树算法，并对其主要成就进行评述．提出今后开展研究的建议：     

基于属性约简的决策树算法研究

针对数据集中无关的、干扰的属性会降低决策树算法性能的问题,提出了一个新的决策树算法,此算法根据对测试属性进行约简选择,提出以测试属性和决策属性的相似性作为决策树的启发规则来构建决策树,同时使用了分类阈值设定方法简化决策树的生成过程。实验证明,该算法运行效率和预测精度都优于传统的ID3算法。     

一种基于粗糙集构造决策树的新方法

在构造决策树的过程中,分离属性选择的标准直接影响分类的效果。基于粗糙集的理论提出了加权平均粗糙度的概念,将其作为选择分离属性的标准。经实验证明,用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较,复杂性低,且能有效提高分类效果。     

基于粗集的多准则决策分析

多准则决策分析(MCDA)用于解决分类、分级、选择、排序和描述问题,随着现实世界正变得由数据所驱动,传统的 MCDA 方法面临着更多的挑战.粗集方法是 MCDA 的有用工具,在多准则决策问题的分类框架下,从二元关系的角度对粗集方法的研究现状进行了评述,包括二元关系的建立、定义粗糙近似、导出决策规则和规则应用,并通过文献研究得出了基于粗集的 MCDA 方法的发展动态.     

基于MapReduce的决策树算法并行化

针对传统决策树算法不能解决海量数据挖掘以及ID3算法的多值偏向问题,设计和实现了一种基于MapReduce架构的并行决策树分类算法。该算法采用属性相似度作为测试属性的选择标准来避免ID3算法的多值偏向问题,采用MapReduce模型来解决海量数据挖掘问题。在用普通PC搭建的Hadoop集群的实验结果表明:基于MapReduce的决策树算法可以处理大规模数据的分类问题,具有较好的可扩展性,在保证分类正确率的情况下能获得接近线性的加速比。     

Induction of multiple fuzzy decision trees based on rough set technique

The integration of fuzzy sets and rough sets can lead to a hybrid soft-computing technique which has been applied successfully to many fields such as machine learning, pattern recognition and image processing. The key to this soft-computing technique is how to set up and make use of the fuzzy attribute reduct in fuzzy rough set theory. Given a fuzzy information system, we may find many fuzzy attribute reducts and each of them can have different contributions to decision-making. If only one of the fuzzy attribute reducts, which may be the most important one, is selected to induce decision rules, some useful information hidden in the other reducts for the decision-making will be losing unavoidably. To sufficiently make use of the information provided by every individual fuzzy attribute reduct in a fuzzy information system, this paper presents a novel induction of multiple fuzzy decision trees based on rough set technique. The induction consists of three stages. First several fuzzy attribute reducts are found by a similarity based approach, and then a fuzzy decision tree for each fuzzy attribute reduct is generated according to the fuzzy ID3 algorithm. The fuzzy integral is finally considered as a fusion tool to integrate the generated decision trees, which combines together all outputs of the multiple fuzzy decision trees and forms the final decision result. An illustration is given to show the proposed fusion scheme. A numerical experiment on real data indicates that the proposed multiple tree induction is superior to the single tree induction based on the individual reduct or on the entire feature set for learning problems with many attributes.     

基于粗集理论的决策表知识获取方法研究

对决策表各条件分类和决策分类集合之间的关系进行了研究,提出了直接从各分类中计算决策表核及属性约简方法：依据属性约简,创建了一个多变量决策树;在此基础上,阐述了提取决策表中蕴含规则的方法,从而省去了在约简后的决策表中计算值约简步骤;通过实例,验证了这些方法的有效性。     

加权粗糙集的矩阵表示

在加权近似空间中提出了关系矩阵和布尔列向量加权α下乘法和加权α上乘法的概念。证明了加权α下乘法就是加权下近似,加权α上乘法就是加权上近似,从而为加权粗糙集（可变精度粗糙集、经典粗糙集）的计算和研究提供了一种新的矩阵方法。最后给出了计算加权上下近似的算法。     

新的决策树构造方法

决策树算法是数据挖掘中的一个比较活跃的研究领域,是对分类问题进行深入分析的一种方法。但构造最优决策树是一个NP难问题。首先介绍了ID3算法的基本思想,然后针对算法中存在的不足,引入了广义相关函数的概念,提出了一种以条件属性和决策属性之间的广义相关函数作为属性选择标准的决策树构造方法,并且与ID3算法进行了实验比较。实验表明,这种方法不但可以优化决策树模型,而且用该方法构造的决策树的预测精度也得到明显改善。     

一种基于灰色关联度的决策树改进算法

在构造决策树的过程中,分裂属性选择的标准直接影响分类的效果。分析了现有改进的ID3算法不同程度地存在学习效率偏低和对多值属性重要性的主观评测等问题,提出一种高效而且可靠的基于灰色关联度的决策树改进算法。该算法通过灰色关联分析建立各特征属性与类别属性之间的关系,进而利用灰色关联度来修正取值较多但非重要属性的信息增益。通过实验与其它ID3改进算法进行了比较,验证了改进后的算法是有效的。     

基于模糊集和粗糙集联系度的商务决策系统

粗糙集理论和模糊集理论都是研究信息系统中知识的不完整、不确定性问题,把集对分析中的联系度概念应用于粗糙集中,说明了粗糙集联系度与下近似集和上近似集的值化的关系,将粗糙集联系度理论与模糊集理论相结合,提出了一种基于模糊集和粗糙集联系度的综合评价方法,实例验证了该方法对一大类复杂信息系统的知识发现具有一定的应用价值。