基于VPRS的决策树算法中处理噪音数据的新方法

噪音数据是影响决策树训练效率和结果集质量的重要因素。目前的树剪枝方法不能消除噪音数据对选择决策树测试节点属性的影响。为改变这种状况,基于变精度Rough集(VPRS)模型,提出了一个在决策树算法中处理噪音数据的新方法---预剪枝法,该方法在进行选择属性的计算之前基于变精度正区域求取属性修正的分类模式,来消除噪音数据的对选择属性以及生成叶节点的影响。利用该方法对基本ID3决策树算法进行了改进。分析和实验表明,与先剪枝方法相比,该方法能进一步减小决策树的规模和训练时间。     

变精度粗集模型在决策树生成过程中的应用

Pawlak粗集模型所描述的分类是完全精确的,而没有某种程度上的近似。在利用Pawlak粗集模型构造决策树的过程中,生成方法会将少数特殊实例特化出来,使生成的决策树过于庞大,从而降低了决策树对未来数据的预测和分类能力。利用变精度粗集模型,对基于Pawlak粗集模型的决策树生成方法进行改进,提出变精度明确区的概念,允许在构造决策树的过程中划入明确区的实例类别存在一定的不一致性,可简化生成的决策树,提高决策树的泛化能力。     

基于粗糙集理论的决策树分类方法

决策树是数据挖掘中常用的分类方法。本文提出了基于粗糙集的决策树方法,利用粗糙集近似精确度来选择决策树的根节点,分支由分类产生。该方法计算简单,易于理解。本文还提出用悲观剪枝法简化决策树,提高决策树的预测与分类能力。实例说明了本文方法均简单有效。     

基于条件误分类的决策树剪枝算法

在建立决策树分类模型时,剪枝的方法直接影响分类器的分类效果。通过研究基于误差率的剪枝算法,引入条件误差的概念,改进剪枝标准的评估方法,针对决策树的模型进行优化,提出条件误差剪枝方法,并将其应用于C4.5算法中。实验结果表明,条件误差剪枝方法有效地解决剪枝不充分和过剪枝的情况,在一定程度上提高了准确率。     

属性频率划分和信息熵离散化的决策树算法

决策树是数据挖掘任务中分类的常用方法。在构造决策树的过程中,节点划分属性选择的度量直接影响决策树分类的效果。基于粗糙集的属性频率函数方法度量属性重要性,并用于分枝划分属性的选择和决策树的预剪枝,提出一种决策树学习算法。同时,为了能处理数值型属性,利用数据集的统计性质为启发式知识,提出了一种改进的数值型属性信息熵离散化算法。实验结果表明,新的离散化方法计算效率有明显提高,新的决策树算法与基于信息熵的决策树算法相比较,结构简单,且能有效提高分类效果。     

一种健壮有效的决策树改进模型

提出了一种健壮有效的决策树改进模型AJD3.该决策树模型基于经典的ID3决策树模型,在属性的选取上进行了改进.利用引入属性优先关联度参数计算节点的修正信息增益,并选择具有最高修正增益的属性作为当前节点的测试属性.实验表明,AID3决策树模型在提高分类准确率的同时,有效地增强了模型的健壮性.     

一种单位代价收益决策树剪枝算法

目前关于决策树剪枝优化方面的研究主要集中于预剪枝和后剪枝算法。然而,这些剪枝算法通常作用于传统的决策树分类算法,在代价敏感学习与剪枝优化算法相结合方面还没有较好的研究成果。基于经济学中的效益成本分析理论,提出代价收益矩阵及单位代价收益等相关概念,采用单位代价收益最大化原则对决策树叶节点的类标号进行分配,并通过与预剪枝策略相结合,设计一种新型的决策树剪枝算法。通过对生成的决策树进行单位代价收益剪枝,使其具有代价敏感性,能够很好地解决实际问题。实验结果表明,该算法能生成较小规模的决策树,且与REP、EBP算法相比具有较好的分类效果。     

基于赤池信息准则的分类回归决策树剪枝算法

决策树剪枝可以提高决策树的分类准确度。代价复杂度剪枝（ CCP）等常用的剪枝算法,都以降低决策树的误判率作为剪枝依据。引入赤池信息准则（ AIC）评价决策树的优良性,并提出了基于AIC的决策树剪枝算法,将分类正确概率和复杂度的综合评价作为剪枝依据。通过实例分析,基于AIC的剪枝算法能够得到高分类准确度的决策树,并没有出现过拟合或剪枝不充足等问题。     

一种两阶段决策树建树方法及其应用

提出一种新颖的两阶段决策树建树方法；在对数据集进行较粗的分类后，通过遗传算法寻找规则集来建立决策树叶子节点.该方法可以同时对多个属性进行度量，并避免了决策树的剪枝过程。     

分支合并对决策树归纳学习的影响

传统的决策树构建方法,由于其选择扩展属性时的归纳偏置,导致属性值较多的属性总会被优先选择,从而导致树的规模过大,并且泛化能力下降,因此需对其进行简化.剪枝是简化的一种,分为预剪枝和后剪枝.该文主要针对预剪枝中的分支合并进行研究.文中研究了分支合并对决策树归纳学习的影响;具体讨论了在决策树的产生过程中,选择适当的分支合并策略对决策树进行分钟合并处理后,能否增强树的可理解性,减少树的复杂程度以及提高树的泛化精度;基于信息增益,分析了分支合并后决策树的复杂程度,设计实现了一种基于正例比的分支合并算法SSID和一种基于最大增益补偿的分支合并算法MCID.实验结果显示:SSID和MCID所得到的决策树在可理解性和泛化精度方面均明显优于See5.     

基于强化正域的属性约简方法

属性约简是粗糙集理论的核心内容之一。通过对多种约简方法进行比较,为了得到更好的结果,在传统基于属性依赖度的约简方法基础上,定义更精确的强化正域概念。通过对边界域的精确划分,得出各条件属性对决策属性的强化依赖度,并用自顶向下的启发式搜索算法得到约简结果。采用UCI标准数据集对基于强化正域约简方法REPR进行测试,约简数据后构建的决策树规模小,分类精度高。实验结果表明,相比于经典方法,REPR能更有效地对决策表进行属性约简。     

面向混合数据的代价敏感三支决策边界域分类方法

针对现有三支决策模型的研究对象多为单一性数据的决策系统,对于混合数据边界域样本处理的研究相对较少,本文面向混合数据提出了基于核属性的代价敏感三支决策边界域分类方法。该方法基于正域约简计算混合邻域决策系统的核属性集,在此基础上计算混合邻域类,并利用三支决策规则分别将对象划分到各决策类的正域、边界域和负域;提出了一种基于代价敏感学习的三支决策边界域分类方法,并构造了误分类代价的计算方法,以此划分边界域中的对象。通过对UCI上的10个数据集进行实验对比与分析,进一步验证了本文方法,为处理边界域样本提供了一种可行有效的方法。     

基于知识的模型自动选择策略

模型自动选择是决策支持系统智能化发展的必然要求。针对目前实用算法较少的现状,提出一种模型自动选择策略。基于知识框架描述模型,根据事实库和知识库提取相应规则生成推理树,结合经验和专业知识实现模型自动选择。实验结果表明,该策略具有较高的命中率。     

基于粗糙集的决策树构造算法

针对ID3算法构造决策树复杂、分类效率不高问题,基于粗糙集理论提出一种决策树构造算法。该算法采用加权分类粗糙度作为节点选择属性的启发函数,与信息增益相比,能全面地刻画属性分类的综合贡献能力,并且计算简单。为消除噪声对选择属性和生成叶节点的影响,利用变精度粗糙集模型对该算法进行优化。实验结果表明,该算法构造的决策树在规模与分类效率上均优于ID3算法。     

基于联合属性重要度的决策风险最小化属性约简

经典粗糙集属性约简基本都是保持正域、负域和边界域不变,而决策粗糙集对属性的增减过程不具备单调性,因此不可能同时保持3个区域均不变。在决策粗糙集模型中,作出决策更应该考虑风险最小化原则,因此提出一种改进的风险最小化属性约简方法,在属性的选取过程中同时考虑所选取的属性子集对决策的划分能力,即联合属性重要度以及风险最小化。实验证明所提方法是有效的。     

新的基于区分对象集的邻域粗糙集属性约简算法

基于正域的属性约简算法是利用"下近似"思想,仅考虑被正确区分样本数的约简算法。借鉴"上近似"的思想,利用"邻域信息粒"的概念定义了区分对象集,探讨了其基本性质,并提出了基于区分对象集的属性重要度度量及启发式属性约简算法。该约简算法既考虑信息决策表的相对正域,也考虑以核属性为启发信息逐个增加条件属性时对边界域样本的影响。通过实例分析,说明了所提算法的可行性,并且以6个UCI标准数据集为实验对象,与基于正域的属性约简算法进行对比实验。实验结果说明,采用提出的约简算法得到的约简属性集,与基于正域的属性约简算法相比,在进行分类任务时的分类精度能够保持不变或有所提高。     

基于粗糙集理论与CAIM准则的C4.5改进算法

C4.5算法是一种非常有影响力的决策树生成算法,但该方法生成的决策树分类精度不高,分支较多,规模较大.针对C4.5算法存在的上述问题,本文提出了一种基于粗糙集理论与CAIM准则的C4.5改进算法.该算法采用基于CAIM准则的离散化方法对连续属性进行处理,使离散化过程中的信息丢失程度降低,提高分类精度.对离散化后的样本用基于粗糙集理论的属性约简方法进行属性约简,剔除冗余属性,减小生成的决策树规模.通过实验验证,该算法可以有效提高C4.5算法生成的决策树分类精度,降低决策树的规模.     

An incremental decision tree algorithm based on rough sets and its application in intrusion detection

As we know, learning in real world is interactive, incremental and dynamical in multiple dimensions, where new data could be appeared at anytime from anywhere and of any type. Therefore, incremental learning is of more and more importance in real world data mining scenarios. Decision trees, due to their characteristics, have been widely used for incremental learning. In this paper, we propose a novel incremental decision tree algorithm based on rough set theory. To improve the computation efficiency of our algorithm, when a new instance arrives, according to the given decision tree adaptation strategies, the algorithm will only modify some existing leaf node in the currently active decision tree or add a new leaf node to the tree, which can avoid the high time complexity of the traditional incremental methods for rebuilding decision trees too many times. Moreover, the rough set based attribute reduction method is used to filter out the redundant attributes from the original set of attributes. And we adopt the two basic notions of rough sets: significance of attributes and dependency of attributes, as the heuristic information for the selection of splitting attributes. Finally, we apply the proposed algorithm to intrusion detection. The experimental results demonstrate that our algorithm can provide competitive solutions to incremental learning.     

变精度粗糙集模型在决策树构造中的应用

针对ID3算法构造决策树复杂、分类效率不高等问题,本文基于变精度粗糙集模型提出了一种新的决策树构造算法。该算法采用加权分类粗糙度作为节点选择属性的启发函数,与信息增益相比,该标准更能够全面地刻画属性分类的综合贡献能力,计算简单,并且可以消除噪声数据对选择属性和生成叶节点的影响。实验结果证明,本算法构造的决策树在规模与分类效率上均优于ID3算法。