基于粗集的决策树构建的探讨

决策树是对未知数据进行分类预测的一种方法。自顶向下的决策树生成算法关键是对结点属性值的选择。近似精度是RS中描述信息系统模糊程度的参量,能够准确地刻画粗集。文中在典型的ID3算法的基础上提出了基于RS的算法。该算法基于近似精度大的属性选择根结点,分支由分类产生。该算法计算简单,且分类使决策树和粗集更易理解。     

基于粗集的决策树构建的探讨

决策树是对未知数据进行分类预测的一种方法。自顶向下的决策树生成算法关键是对结点属性值的选择。近似精度是RS中描述信息系统模糊程度的参量，能够准确地刻画粗集。文中在典型的ID3算法的基础上提出了基于RS的算法。该算法基于近似精度大的属性选择根结点，分支由分类产生。该算法计算简单，且分类使决策树和粗集更易理解。     

基于决策树生成及剪枝的数据集优化及其应用

为提高智能模型的识别精度,增强其泛化能力,需要对用于智能建模的数据集中的对象类别异常进行检测和修正。在进行数据集和决策树形式化描述的基础上,将基尼指数增益率作为确定连续条件属性最优二分原则,采用递归算法生成叶节点中对象为同一类别的二叉决策树。利用信息熵评价决策树剪除叶节点中对象的类别分布效果,实现数据集类别异常的类别修正。决策树的生成和剪枝本质上是完成基于基尼指数和信息熵的连续条件属性数据空间分割和合并类别修正。实验和实际应用验证了决策树生成和剪枝是数据集类别优化的有效方法。     

变精度粗糙集模型在决策树构造中的应用

针对ID3算法构造决策树复杂、分类效率不高等问题,本文基于变精度粗糙集模型提出了一种新的决策树构造算法。该算法采用加权分类粗糙度作为节点选择属性的启发函数,与信息增益相比,该标准更能够全面地刻画属性分类的综合贡献能力,计算简单,并且可以消除噪声数据对选择属性和生成叶节点的影响。实验结果证明,本算法构造的决策树在规模与分类效率上均优于ID3算法。     

用遗传算法构造二元决策树

决策树的方法是一种优化的过程,遗传算法是模拟自然进化的通用全局搜索算法,文中将遗传算法应用到做到决策树,提出了采用遗传算法求解二元决策树的非叶结点的权值矢量,进而构造二元决策松的方法,并讨论了遗传算法的评介函数构造和编码方法,重点说明了如何对遗传算法进行改进,提高算法效率,然后分析了影响二元决策树错误分类率的因素,并用实例验证该方法构造的二元决策树对样本分类具有很高的辨识率。     

一种模型决策森林算法

随机森林(RF)具有抗噪能力强,预测准确率高,能够处理高维数据等优点,因此在机器学习领域得到了广泛的应用。模型决策树(MDT)是一种加速的决策树算法,虽然能够提高决策树算法的训练效率,但是随着非纯伪叶结点规模的增大,模型决策树的精度也在下降。针对上述问题,提出了一种模型决策森林算法(MDF)以提高模型决策树的分类精度。MDF算法将MDT作为基分类器,利用随机森林的思想,生成多棵模型决策树。算法首先通过旋转矩阵得到不同的样本子集,然后在这些样本子集上训练出多棵不同的模型决策树,再将这些树通过投票的方式进行集成,最后根据得到的模型决策森林给出分类结果。在标准数据集上的实验结果表明,提出的模型决策森林在分类精度上明显优于模型决策树算法,并且MDF在树的数量较少时也能取到不错的精度,避免了因树的数量增加时间复杂度增高的问题。     

基于粗糙集的决策树构造算法

针对ID3算法构造决策树复杂、分类效率不高问题,基于粗糙集理论提出一种决策树构造算法。该算法采用加权分类粗糙度作为节点选择属性的启发函数,与信息增益相比,能全面地刻画属性分类的综合贡献能力,并且计算简单。为消除噪声对选择属性和生成叶节点的影响,利用变精度粗糙集模型对该算法进行优化。实验结果表明,该算法构造的决策树在规模与分类效率上均优于ID3算法。     

基于VPRS的决策树算法中处理噪音数据的新方法

噪音数据是影响决策树训练效率和结果集质量的重要因素。目前的树剪枝方法不能消除噪音数据对选择决策树测试节点属性的影响。为改变这种状况,基于变精度Rough集(VPRS)模型,提出了一个在决策树算法中处理噪音数据的新方法---预剪枝法,该方法在进行选择属性的计算之前基于变精度正区域求取属性修正的分类模式,来消除噪音数据的对选择属性以及生成叶节点的影响。利用该方法对基本ID3决策树算法进行了改进。分析和实验表明,与先剪枝方法相比,该方法能进一步减小决策树的规模和训练时间。     

基于增益得分的噪声发现算法

在现实数据集中不可避免地存在噪声,如何检测并去除噪声是数据挖掘中的一项重要研究内容。本文提出了一种基于增益的得分算法来检测噪声。为了检验该算法的有效性,以决策树为工具。在产生决策树之前,先用该算法去除训练集中的噪声,以免噪声导致决策树过大和过度拟合。对12个UCI数据集利用该算法去噪,再用C4.5生成决策树,实验结果表明,与不去噪时生成的决策树相比,改善了分类精度,且树尺寸明显减小。     

FDTU:针对不确定数据的快速决策树生成算法

目前,针对不确定数据分类分析的决策树算法,如DTU等具有较高的时间复杂度.因此,在利用决策树算法处理不确定数据时,如何能够在保证准确度的同时降低时间开销成为一个重要问题.基于样本属性相互独立的假设提出了不确定独立信息增益的概念和快速不确定决策树算法FDTU (fast decision tree for uncertain data),降低了决策树生成的运行时间.在UCI数据集上的实验表明,相对于不确定决策树算法DTU,FDTU算法具有相近的分类准确度,同时显著地降低了生成决策树所需的运行时间.     

一种基于属性加权的决策树算法

ID3算法和C4．5算法是简单而有效的决策树分类算法,但其应用于复杂决策问题上存在准确性差的问题。本文提出了一种新的基于属性加权决策树算法,基于粗集理论提出通过属性对决策影响程度的不同进行加权来构建决策树,提高了决策结果准确性。通过属性加权标记属性的重要性,权值可以从训练数据中学习得到。实验结果表明,算法明显提高了决策结果的准确率。     

基于信息熵和几何轮廓相似度的多变量决策树

现有的多变量决策树在分类准确性与树结构复杂性两方面优于单变量决策树,但其训练时间却高于单变量决策树,使得现有的多变量决策树不适用于快速响应的分类任务.针对现有多变量决策树训练时间高的问题,提出了基于信息熵和几何轮廓相似度的多变量决策树(IEMDT).该算法利用几何轮廓相似度函数的一对一映射特性,将n维空间样本点投影到一维空间的数轴上,进而形成有序的投影点集合,然后通过类别边界和信息增益计算最优分割点集将有序投影点集合划分为多个子集,接着分别对每个子集继续投影分割,最终生成决策树.在8个数据集上的实验结果表明：IEMDT具有较低的训练时间,并且具有较高的分类准确性.     

C4.5决策树展示算法的设计

分析了现有的展示C4.5算法结果决策树的方法的不足,设计了一种利用多叉树结构的直接输出来实现决策树展示的算法。在客户关系管理(CRM)应用于电信运营的研究项目中,该算法在数据挖掘平台上得到应用,实践证明,提高了决策树分类的效率和展示的直观性。     

基于主成分分析的多变量决策树构造方法

大多数决策树构造方法在每个节点上只检验单个属性,这种单变量决策树忽视了信息系统中广泛存在的属性间的关联作用,而且修剪时往往代价很大。针对以上两点,提出了一种基于主成分分薪的多变量决策树构造方法,提取信息系统中的若干主成分来构造决策树。实验结果表明,这是一种操作简单,效率很高的决策树生成方法。     

区间值属性的单调决策树算法*

目前存在的一些区间值属性决策树算法都是在无序情况下设计的,未考虑条件属性和决策属性之间的序关系.针对这些算法处理有序分类问题的不足,提出区间值属性的单调决策树算法,用于处理区间值属性的单调分类问题.该算法利用可能度确定区间值属性的序关系,使用排序互信息度量区间值属性的单调一致程度,通过排序互信息的最大化选取扩展属性.此外,将非平衡割点应用到区间值属性决策树构建过程中,减少排序互信息的计算次数,提高计算效率.实验表明文中算法提高了效率和测试精度.     

自组织决策树的联想记忆在线学习模型*

针对多源数据在线学习环境下的联想记忆建模问题,并综合考虑计算高效性、噪声鲁棒性等目标,提出基于自组织决策树的联想记忆在线学习模型.首先根据模式数据内在结构进行类内信息增强和噪声约简,然后基于信息熵增益的决策树算法对约简后数据进行子域划分,最后通过子域关系学习建模多源数据的联想关系.理论分析模型的学习稳定性.实验表明,文中模型在含噪数据在线分类学习和异联想建模问题上具有优良性能.     

一种改进决策树剪枝算法的研究

决策树归纳方法的剪枝过程是为了消除最终生成的决策树对训练集的过度适应以及减少结点的数量,但最终生成的决策树依然过于庞大。而有些应用对于决策树的精度要求不是很高。通过对剪枝过程加以优化,使得在牺牲少量精度的同时结点的数量大大减少,从而提高生成规则的可理解性。     

基于欧氏距离的支持向量机决策树构造方法

SVM决策树是解决多分类问题的有效方法之一,由于分类器组合策略不同,构成的决策树构型以及分类精确度也各有差异。提出基于欧氏距离的SVM决策树构造方法,通过两种欧氏距离组合策略,生成不同构型的SVM决策树。实验结果表明,采用组合策略二的SVM决策树分类器相比组合策略一,具有更高的分类精度和更短的训练及测试时间。