基于程序演化的决策树优化算法

决策树算法的优化问题一直是一个倍受国内外关注的领域,由此已经提出了很多优化方法,并取得了很好的成果.在总结已有成果的基础上,在决策树的优化问题中,引入程序演化的思想,得到具有更高效率的决策树.运用函数式语言所具有的代数性质,首先对标准的ID3决策树算法进行Haskell语言描述,研究应用程序演化策略,推衍出一种高效等价算法.实验结果证明演化出的算法是正确和高效的.     

决策树算法的程序演化方法优化

为了从另一个角度提高决策树算法的效率,对标准的ID3决策树算法进行函数式语言Haskell描述,研究了程序演化策略,推衍出了一个高效等价算法。实验结果证明演化过程是正确的。     

基于差分演化的GEP决策树算法

基于均匀常数分布的基因表达式编程决策树算法存在对多属性数据分类效果不佳的问题。为此,提出一种基于差分演化的基因表达式编程决策树算法,该算法通过引入差分演化的方法对其附加阈值进行改进,从而使均匀的常数数组在保持均匀分布的同时仍不失多样性。实验结果表明,该方法在多属性数据的分类问题上能够得到良好的效果。     

自适应模糊决策树算法

为改善模糊决策树算法凭经验设定参数值的不准确问题,在分析模糊决策树算法的主要参数特征后,提出使用粒子群算法智能设定参数值的自适应模糊决策树算法.实验表明,与经验设定参数值的模糊决策树算法相比,自适应模糊决策树算法生成的模糊决策树的性能明显提高;最后,通过实验数据分析了关键参数之间存在的交互影响关系.     

决策树学习算法ID3的研究

ID3是决策树学习的核心算法，为此详细叙述了决策树表示方法和ID3决策树学习算法，特别说明了决策属性的选取法则。通过一个学习实例给出该算法第一选取决策属性的详细过程，并且对该算法进行了讨论，一般情况下，ID3算法可以找出最优决策树。     

增量决策树算法研究

文中主要解决传统的ID3算法不能处理增量数据集构造决策树的问题.在传统ID3决策树算法和原有增量算法的基础上,利用信息论中熵变原理的特点,对与增量决策树算法相关的三个定理进行相应的改进,在理论上证明了改进的增量决策树算法的有效性和可靠性.同时对增量决策树算法和ID3算法的复杂度进行了对比分析,得出增量决策树算法的实例费用和信息熵费用都高于ID3算法的结论.最后通过一个实验证明,改进的增量决策树算法能够构造出与ID3算法形态基本相同的决策树.     

P-AnDT:平均n依赖决策树的正例未标注学习算法

为了在仅有正例和未标注样本的训练数据集下进行机器学习(PU学习,Positive Unlabeled Learning),提出一种可用于PU学习的平均n依赖决策树(P-AnDT)分类算法。首先在构造决策树时,选取样本的n个属性作为依赖属性,在每个分裂属性上,计算依赖属性和类别属性的共同影响;然后分别选用不同的输入属性作为依赖属性,建立多个有差异的分类器并对结果求平均值,构造集成分类算法。最终通过估计正例在数据集中的比例参数p,使该算法能够在PU学习场景下进行分类。在多组UCI数据集上的实验结果表明,与基于贝叶斯假设的PU学习算法(PNB、PTAN等算法)相比,P-AnDT算法有更好更稳定的分类准确率。     

基于改进Adaboost集成学习的空间目标识别

针对空间目标的不合作性特点以及Adaboost集成学习算法的过拟合问题, 提出了一种基于组合特征和改进Adaboost的空间目标图像识别算法. 将空间目标图像的几何特征和变换特征进行融合, 从不同的方面更精确地描述目标信息, 并对Adaboost算法进行改进, 根据样本在权重上的分布情况, 在训练时进行分段更新权重, 从而缓解分类器的过拟合现象, 提高目标识别的稳定性. 通过仿真实验证明, 与传统的Adaboost算法相比, 本文算法在空间目标图像识别中取得了更好的效果.     

决策树学习算法ID3的研究

ID3是决策树学习的核心算法,为此详细叙述了决策树表示方法和ID3决策树学习算法,特别说明了决策属性的选取法则.通过一个学习实例给出该算法第一次选取决策属性的详细过程,并且对该算法进行了讨论.一般情况下,ID3算法可以找出最优决策树.     

对策论中最优策略搜索的协同进化演化算法

在对策论中，寻找最优策略是一个十分困难的问题，设计了一个协同进化的演化算法，并对此做了初步的研究和尝试。在算法中采用了决策树的编码表示方法，设计了基于决策树的杂交和变异算子，并引入了分裂算子和惩罚因子来平衡策略的复杂度和可读性。此算法应用在猜数字这个复杂的游戏上，实验结果表明该算法有效且快速。     

基于欧氏距离的支持向量机决策树构造方法

SVM决策树是解决多分类问题的有效方法之一,由于分类器组合策略不同,构成的决策树构型以及分类精确度也各有差异。提出基于欧氏距离的SVM决策树构造方法,通过两种欧氏距离组合策略,生成不同构型的SVM决策树。实验结果表明,采用组合策略二的SVM决策树分类器相比组合策略一,具有更高的分类精度和更短的训练及测试时间。     

增量式的多变量决策树构造算法研究

针对增量数据集,结合粗糙集理论和多变量决策树的优点,给出了增量式的多变量决策树构造算法。该算法针对新增样本与已有规则集产生矛盾,即条件属性相匹配,而决策属性不匹配的情况,计算条件属性相对于决策属性的核,如果核不为空,则计算核相对于决策属性的相对泛化,根据不同的结果形成不同的子集,最终形成不同的决策树分支。该算法很好地避免了在处理增量数据集时,不断重构决策树。实例证明该算法的正确性,对处理小增量数据集具有良好的性能。     

基于Rough集的近似最优决策树生成算法

数据挖掘是一种重要的数据分析方法,决策树是数据挖掘中的一种主要技术,如何构造出最优决策树是许多研究者关心的问题。本文通过Rough集方法对决策表进行属性约简和属性值约简,去除决策表中与决策无关的冗余信息。在简化的决策表基础上构造近似最优决策树,本文给出了近似最优决策树的生成算法,并通过实例说明。     

基于粗糙集理论的决策树分类方法

决策树是数据挖掘中常用的分类方法。本文提出了基于粗糙集的决策树方法,利用粗糙集近似精确度来选择决策树的根节点,分支由分类产生。该方法计算简单,易于理解。本文还提出用悲观剪枝法简化决策树,提高决策树的预测与分类能力。实例说明了本文方法均简单有效。     

基于Rough集的近似最优决策树生成算法

数据挖掘是一种重要的数据分析方法，决策树是数据挖掘中的一种主要技术，如何构造出最优决策树是许多研究者关心的问题。本文通过Rough集方法对决策表进行属性约简和属性值约简，去除决策表中与决策无关的冗余信息。在简化的决策表基础上构造近似最优决策树，本文给出了近似最优决策树的生成算法，并通过实例说明。     

基于种群协同进化的分类判定树构造算法

提出一种基于两种群协同进化的分类判定树构造算法，该方法充分利用协同进化的强搜索能力和渐进学习等特点，通过设计两个协同进化的种群：一个表示选择的属性子集，另一个表示如何构造判定树，保证在搜索曩优判定树的过程中同时对属性子集选择、判定树的构造进行综合优化，最终获得一个较好的分类判定树。作为实验验证，我们把新算法应用到一个困难的真实问题一胸癌诊断，结果表明了新算法的有效性。和其它算法的实验结果比较，新的分类方法比C4.5和文[1]方法构造出更好的判定树，即去除了多余的属性、具有更高的分类精度。     

规则简化与模糊决策树剪枝的比较

决策树归纳学习算法是机器学习领域中解决分类问题的最有效工具之一。由于决策树算法自身的缺陷了，因此需要进行相应的简化来提高预测精度。模糊决策树算法是对决策树算法的一种改进，它更加接近人的思维方式。文章通过实验分析了模糊决策树、规则简化与模糊规则简化；模糊决策树与模糊预剪枝算法的异同，对决策树的大小、算法的训练准确率与测试准确率进行比较，分析了模糊决策树的性能，为改进该算法提供了一些有益的线索。     

基于度量的决策树

决策树是一种采用分治策略的聚类分析方法，构建决策树的关键是选择合适的属性。传统的决策树通常从最大化信息熵的角度来构造，不能对属性的分类能力进行足够好的区分。对传统的决策树生成算法的不足，本文提出了一种基于马氏距离的决策树生成算法。算法使用马氏距离来区分不同特征属性子集的分类能力。试验结果表明，基于度量的决策树的性能优于传统的决策树。     

一种基于FP_Tree算法的决策树构造方法

针对大规模训练元组决策树构造效率较低的问题,提出一种改进的决策树构造方法。该方法利用FP_Tree算法,比采用经典Apriori算法节省了更多内存开销。使用FP_Tree路径替代经典算法中训练元组的分裂计算,得到与原算法相同的决策树模型。实验结果证明,改进后的方法具有良好性能。