基于粗集和熵的多变量决策树的构造算法

多变量决策树是一种有效用于分类的数据挖掘方法，构造的关键是根据属性之间的相关性选择合适的属性组合作为节点。针对传统方法中用相对核进行多变量检验中属性选择存在的不足，首先对每个节点包含的属性个数加以限制，然后由重新定义的属性依赖度和基于条件熵的距离函数选择相关的属性组合作为节点，从而提出一种新的构造算法。实例说明，该算法不仅有效降低了树的高度，而且还兼顾了分类的可读性。     

一种多变量决策树方法研究

单变量的决策树算法造成树的规模庞大,规则复杂,不易理解.本文结合粗糙集原理中的相对核及加权粗糙度的方法,提出了一种新的多变量决策树算法.通过实例表明,本文的多变量决策树方法产生的决策树比传统的ID3算法构造的决策树更简单,具有较好的分类效果.     

增量式的多变量决策树构造算法研究

针对增量数据集,结合粗糙集理论和多变量决策树的优点,给出了增量式的多变量决策树构造算法。该算法针对新增样本与已有规则集产生矛盾,即条件属性相匹配,而决策属性不匹配的情况,计算条件属性相对于决策属性的核,如果核不为空,则计算核相对于决策属性的相对泛化,根据不同的结果形成不同的子集,最终形成不同的决策树分支。该算法很好地避免了在处理增量数据集时,不断重构决策树。实例证明该算法的正确性,对处理小增量数据集具有良好的性能。     

增量式的多变量决策树构造算法研究

针对增量数据集,结合粗糙集理论和多变量决策树的优点,给出了增量式的多变量决策树构造算法.该算法针对新增样本与已有规则集产生矛盾,即条件属性相匹配,而决策属性不匹配的情况,计算条件属性相对于决策属性的核,如果核不为空,则计算核相对于决策属性的相对泛化,根据不同的结果形成不同的子集,最终形成不同的决策树分支.该算法很好地避免了在处理增量数据集时,不断重构决策树.实例证明该算法的正确性,对处理小增量数据集具有良好的性能.     

一种基于粗糙集理论的决策树构造方法

采用粗糙集理论中的属性重要度作为挑选测试属性的指标来构造决策树,形成了一种新的决策树分类算法S_D_Tree,在计算挑选测试属性的时间复杂度为O(|C||n|)。实验结果表明,该算法可以构建一个较简洁的决策树,与C4.5算法相比较,具有更好的预测准确率。     

基于粗糙集的多变量决策树构造方法

本文利用粗糙集理论中条件属性相对于决策属性的核，解决多变量检验中属性的选择问题．另外，定义了２个等价关系相对泛化的概念，并将它用于解决多变量检验的构造问题．通过一个例子，对本文提出的多变量决策树方法与著名的单变量决策树（ＩＤ３）方法进行了比较，结果表明前者比后者更简单．同时，对几种多变量决策树方法做了初步的对比分析．     

一种基于属性加权的决策树算法

ID3算法和C4．5算法是简单而有效的决策树分类算法,但其应用于复杂决策问题上存在准确性差的问题。本文提出了一种新的基于属性加权决策树算法,基于粗集理论提出通过属性对决策影响程度的不同进行加权来构建决策树,提高了决策结果准确性。通过属性加权标记属性的重要性,权值可以从训练数据中学习得到。实验结果表明,算法明显提高了决策结果的准确率。     

基于属性纯度的决策树归纳算法

基于粗糙集的决策树算法由于粒化冲突与噪声影响容易导致特征选择的失效。提出属性纯度并结合属性依赖度来构建决策树归纳算法。采用统计集成策略来建立属性纯度,表示决策分类关于条件分类的识别性,并用于相应的属性特征选择;分析属性纯度与属性依赖度的同质性和异态性,采用先属性依赖度后属性纯度选择节点的方法,改进基于粗糙集的决策树算法。决策表例分析与数据实验对比均表明所提算法的有效性与改进性。     

一种基于粗糙集的最小约简算法

随着计算机技术的发展,急剧产生海量的数据。如何从这些数据中提取有用的信息是一个重要的问题。一种新的数据分析方法——粗糙集理论被提出。该理论在分类的意义下定义了模糊性和不确定性的概念,是一种处理不确定和不精确问题的新型数学工具。文中首先对近年兴起的粗糙集的基本概念进行了叙述,在此基础上运用粗糙集理论提出一种新的约简算法。     

一种基于粗糙集构造决策树的新方法

在构造决策树的过程中,分离属性选择的标准直接影响分类的效果。基于粗糙集的理论提出了加权平均粗糙度的概念,将其作为选择分离属性的标准。经实验证明,用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较,复杂性低,且能有效提高分类效果。     

基于决策分类熵的决策树构造算法及应用

为了更好地完成金融数据集上的分类挖掘任务,以粗糙集理论为基础提出决策分类熵的概念,进而以属性的决策分类熵为属性分裂度量提出基于决策分类熵的决策树构造算法,并针对过拟合问题提出一种抑制参数来实现树规模的良好控制。实例分析及金融数据集上的实验表明：相比经典的C4.5决策树算法,新算法能够较好地克服其缺点和不足,构建更优的决策树,能够更好地完成分类任务。     

基于粗集和距离函数的决策树构造方法

决策树是一种有效用于分类的数据挖掘方法.在决策树构造算法中,粗集理论的相对核已被应用于解决多变量检验中属性的选择问题.考虑到决策树技术和粗集的优缺点,将二者结合起来,先对每个结点包含的属性个数加以限制,再用属性相关度和De Mantaras距离函数选择相关的属性组合作为属性选择的标准,给出一种新的构造算法.该算法的优点是能有效降低树的高度,而且增强了分类规则的可读性.     

决策树ID3算法的分析与优化

对ID3算法的基本原理及其主要不足以及现有几种改进算法的优缺点进行了简要分析,针对ID3算法的主要不足即倾向于多值属性的选取,利用粗糙集理论和数学相关知识点对其进行了一定程度的改进。理论分析和实验结果表明,改进后的算法在一定程度上不仅较好地解决了ID3算法的多值偏向问题而且大大简化了算法的计算过程,明显提高了算法分类准确度和执行效率。     

利用差别矩阵构造决策树

分析了基于正区域、基于粗糙边界和基于依赖度的属性选择标准的关系,证明了这三种属性选择标准彼此等价。以正区域的属性选择标准为代表,分析了基于正区域的决策树生成算法的优点和不足。针对这些不足,提出基于差别元素的大小为新的属性选择标准。用新的属性选择标准生成的决策树一般具有叶子数目较少,叶子的平均深度也较小,且叶子具有较强的泛化能力。用一实例说明了新的属性选择标准的优越性。     

基于决策协调度的最简决策树生成算法

在构造决策树的过程中,分离属性的选择方法直接影响着分类效果.采用粗糙集理论中决策协调度为分离属性的标准,提出条件确定度概念,并以此来控制树的增长.实例表明,与基于信息熵的ID3算法相比,该方法无需进行属性约简就可以得到复杂性较低的决策树,且能有效提高分类效果.     

利用粒分辩关系构建决策树的算法探讨

针对信息增益算法以信息量的大小确定首选属性和基于粗集算法以核属性为首选属性构建决策树的不准确问题,以粒理论为基础,将属性按其自然取值划分为若干基本粒,以条件粒的长度(粒分辩量)和该粒对决策粒分辩关系(分辩类别)为依据确定划分属性,采用简洁的算式解决了多属性的择优难题。理论和实例分析的结果表明,该算法具有建树精准简洁有效以及时空复杂度低的特点。     

一种粗糙集-决策树结合的入侵检测方法

针对入侵检测系统收集数据海量、高维、检测模型复杂和检测准确率低等问题,采用粗糙集属性约简的优势寻找与判断入侵与否相关的属性,利用决策树分类算法生成模型并对网络连接进行入侵预测分类检测,从而提出了一种粗糙集属性约简和决策树预测分类相结合的网络入侵检测方法.实验结果表明,该方法在入侵检测准确率上有很大的提高,对DoS攻击、Probe攻击和R2L攻击的检测效果均有所提高,同时大大降低了检测的误报率.     

一个关于特殊决策表的处理方法

在实际情况中,为了体现对象的模糊性和在决策中的重要性,往往给每个对象赋以隶属度和权重,这类对象就构成了一个特殊的决策表。对此类决策表进行了研究,给出了相关的粗糙集模型、定义、定理,并在此基础上提出了一个属性约简算法。最后用实例验证了所给粗糙集模型以及属性约简算法的可行性。     

粗糙集与决策树在电子邮件分类与过滤中的应用

垃圾邮件的识别与过滤是目前研究的热点问题之一。而粗糙集是一种新的处理模糊和不确定性知识的数据分析工具,已被成功地应用到许多有关分类的领域。将粗糙集与决策树结合,提出一个基于RS-DT的邮件分类方案与模型,并进行了实验及结果分析。通过与朴素贝叶斯模型及SVM的比较,表明提出的基于RS-DT的模型可以降低把正常邮件错分为垃圾邮件的比率,提高过滤系统的自学习能力。