属性频率划分和信息熵离散化的决策树算法

决策树是数据挖掘任务中分类的常用方法。在构造决策树的过程中,节点划分属性选择的度量直接影响决策树分类的效果。基于粗糙集的属性频率函数方法度量属性重要性,并用于分枝划分属性的选择和决策树的预剪枝,提出一种决策树学习算法。同时,为了能处理数值型属性,利用数据集的统计性质为启发式知识,提出了一种改进的数值型属性信息熵离散化算法。实验结果表明,新的离散化方法计算效率有明显提高,新的决策树算法与基于信息熵的决策树算法相比较,结构简单,且能有效提高分类效果。     

基于决策协调度的最简决策树生成算法

在构造决策树的过程中,分离属性的选择方法直接影响着分类效果.采用粗糙集理论中决策协调度为分离属性的标准,提出条件确定度概念,并以此来控制树的增长.实例表明,与基于信息熵的ID3算法相比,该方法无需进行属性约简就可以得到复杂性较低的决策树,且能有效提高分类效果.     

基于聚类的决策树连续属性离散化改进算法

基于信息熵的二元分割算法离散连续属性,在对连续属性较多,数据量较大的数据集进行分析预测中,存在不足。实验表明,在决策树算法中结合改进后的k-means算法作为连续属性离散化算法,在连续属性较多的数据实例中可以构造出更好的决策树。     

一种多变量决策树的构造与研究

单变量决策树算法造成树的规模庞大、规则复杂、不易理解,而多变量决策树是一种有效用于分类的数据挖掘方法,构造的关键是根据属性之间的相关性选择合适的属性组合构成一个新的属性作为节点。结合粗糙集原理中的知识依赖性度量和信息系统中条件属性集的离散度概念,提出了一种多变量决策树的构造算法（RD）。在UCI上部分数据集的实验结果表明,提出的多变量决策树算法的分类效果与传统的ID3算法以及基于核方法的多变量决策树的分类效果相比,有一定的提高。     

基于相关性的类偏好敏感决策树算法

针对决策者在面对几个分类结果时会有选择其中某一个结果的倾向性这一事实,提出了一种基于相关性的类偏好敏感决策树分类算法（CPSDT）。该算法引入了类偏好度、偏好代价矩阵等概念。为弥补在传统决策树构造过程中,选择分裂属性时未考虑非类属性之间相关性的不足,该算法在进行学习之前先采用基于相关性的特征预筛选排除属性冗余并重新构造了基于相关性的属性选择因子。经实验证明,该算法能够有效减小决策树规模,且能够在实现对偏好类的高精度预测的同时保证决策树拥有较好的整体精度。     

一种基于粗糙集构造决策树的新方法

在构造决策树的过程中，分离属性选择的标准直接影响分类的效果。基于粗糙集的理论提出了加权平均粗糙度的概念，将其作为选择分离属性的标准。经实验证明，用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较，复杂性低，且能有效提高分类效果。     

基于多尺度粗糙集模型的决策树优化算法

针对经典决策树算法构造的决策树结构复杂、缺乏对噪声数据适应能力等局限性,基于多尺度粗糙集模型提出一种新的决策树构造算法。算法引入尺度变量和尺度函数概念,采用不同尺度下近似分类精度选择测试属性构造决策树,使用抑制因子对决策树进行修剪,有效地去除了噪声规则。结果表明该算法构造的决策树简单有效,对噪声数据有一定的抗干扰性,且能满足不同用户对决策精度的要求。     

基于变精度粗糙集的决策树构造改进算法

针对决策树构造中存在的最优属性选择困难、抗噪声能力差等问题,提出了一种新的基于变精度粗糙集模型的决策树构造算法.该算法采用近似分类精度作为节点选择属性的启发函数,与传统基于粗糙集的决策树构造算法相比,该算法构造的决策树结构简单,提高了决策树的泛化能力,同时对噪声也有一定的抑制能力.     

基于粗糙集理论与CAIM准则的C4.5改进算法

C4.5算法是一种非常有影响力的决策树生成算法,但该方法生成的决策树分类精度不高,分支较多,规模较大.针对C4.5算法存在的上述问题,本文提出了一种基于粗糙集理论与CAIM准则的C4.5改进算法.该算法采用基于CAIM准则的离散化方法对连续属性进行处理,使离散化过程中的信息丢失程度降低,提高分类精度.对离散化后的样本用基于粗糙集理论的属性约简方法进行属性约简,剔除冗余属性,减小生成的决策树规模.通过实验验证,该算法可以有效提高C4.5算法生成的决策树分类精度,降低决策树的规模.     

具有高可理解性的二分决策树生成算法研究

二分离散化是决策树生成中处理连续属性最常用的方法,对于连续属性较多的问题,生成的决策树庞大,知识表示难以理解.针对两类分类问题,提出一种基于属性变换的多区间离散化方法--RCAT,该方法首先将连续属性转化为某类别的概率属性,此概率属性的二分法结果对应于原连续属性的多区间划分,然后对这些区间的边缘进行优化,获得原连续属性的信息熵增益,最后采用悲观剪枝与无损合并剪枝技术对RCAT决策树进行简化.对多个领域的数据集进行实验,结果表明:对比二分离散化,RCAT算法的执行效率高,生成的决策树在保持分类精度的同时,树的规模小,可理解性强.     

基于粗糙集的决策树算法在体检系统中的研究

基于粗糙集的理论全面考虑了分离属性每个划分对整个分类的贡献程度,把这些贡献度进行汇总,避免局部最佳效应。在此基础上结合变精度模型,用变精度近似精度来代替近似精度,提出了一种新的变精度分支汇总粗糙度的概念,把变精度分支汇总粗糙度作为属性选择标准构造决策树。既提高了属性选择的准确度又有效克服噪声数据的影响,使生成的决策树灵活泛化能力更强。将算法应用于武汉市康龙逸君健康体检中心的信息管理系统,经实际数据验证,该算法生成的决策树复杂度低,分类效果好。     

基于变精度粗糙集的决策树改进方法

基于变精度粗糙集理论提出了具有置信度规则决策树的新的构造方法,该方法采用β-边界域的大小作为选择分类属性的标准,并对叶节点的置信度进行了重新的定义。经实验证明,该方法能有效提高分类效率且更加容易理解。     

一种基于灰色关联度的决策树改进算法

在构造决策树的过程中,分裂属性选择的标准直接影响分类的效果。分析了现有改进的ID3算法不同程度地存在学习效率偏低和对多值属性重要性的主观评测等问题,提出一种高效而且可靠的基于灰色关联度的决策树改进算法。该算法通过灰色关联分析建立各特征属性与类别属性之间的关系,进而利用灰色关联度来修正取值较多但非重要属性的信息增益。通过实验与其它ID3改进算法进行了比较,验证了改进后的算法是有效的。     

基于决策支持度的决策树生成算法

从条件属性对决策支持程度不同的角度出发,引入了决策支持度的概念,提出了一种以其为启发式信息的决策树生成算法。实验分析表明,相对于传统的决策树生成算法,此算法改善了决策树的结构,有效提高了决策分类的精度。     

变精度粗集模型在决策树生成过程中的应用

Pawlak粗集模型所描述的分类是完全精确的,而没有某种程度上的近似。在利用Pawlak粗集模型构造决策树的过程中,生成方法会将少数特殊实例特化出来,使生成的决策树过于庞大,从而降低了决策树对未来数据的预测和分类能力。利用变精度粗集模型,对基于Pawlak粗集模型的决策树生成方法进行改进,提出变精度明确区的概念,允许在构造决策树的过程中划入明确区的实例类别存在一定的不一致性,可简化生成的决策树,提高决策树的泛化能力。     

基于相对决策嫡的决策树算法及其在入侵检测中的应用

为了弥补传统决策树算法的不足,提出一种基于相对决策熵的决策树算法DTRDE。首先,将Shannon提出的信息熵引入到粗糙集理论中,定义一个相对决策熵的概念,并利用相对决策熵来度量属性的重要性;其次,在算法DTRDE中,采用基于相对决策熵的属性重要性以及粗糙集中的属性依赖性来选择分离属性,并且利用粗糙集中的属性约简技术来删除冗余的属性,旨在降低算法的计算复杂性;最后,将该算法应用于网络入侵检测。在KDD Cup99数据集上的实验表明,DTRDE算法比传统的基于信息熵的算法具有更高的检测率,而其计算开销则与传统方法接近。