多决策树融合模型MDTF的研究

基于数据挖掘的入侵检测系统中存在着检测性能低和数据挖掘效率不高等问题.为了解决这些问题,提出了多决策树融合模型MDTF,也就是把海量数据集分成若干子数据集,在子数据集上进行挖掘形成不同的子决策树,然后用加权平均法将多棵子决策树对网络数据的检测结果进行融合形成最优判断.实验采用KDD99数据,实验结果表明,该方法可以得到较好的入侵检测性能,分布并行处理可以提高数据挖掘效率.     

决策树学习算法ID3的研究

ID3是决策树学习的核心算法,为此详细叙述了决策树表示方法和ID3决策树学习算法,特别说明了决策属性的选取法则.通过一个学习实例给出该算法第一次选取决策属性的详细过程,并且对该算法进行了讨论.一般情况下,ID3算法可以找出最优决策树.     

粗糙集和决策树方法在IDS中的应用研究

人侵检测系统(IDS)是数据挖掘的一个热门应用领域.为了解决当前建立的入侵检测系统缺少有效性的问题,文中首先介绍入侵检测系统产生的背景和入侵检测系统的特点,分析决策树归纳学习的过程,从数据挖掘的角度,首先使用粗糙集进行属性约简,运用决策树学习方法对入侵检测数据进行归纳学习.从结果看出粗糙集和决策树学习方法在建立入侵检测系统上的有效性和实用性.     

决策树支持向量机多分类器设计的向量投影法

针对如何有效地设计决策树支持向量机(SVM)多类分类器的层次结构这个关键问题,提出一种基于向量投影的类间可分性测度的设计方法,并给出一种基于该类间可分性测度设计决策树SVM多分类器层次结构的方法.为加快每个SVM子分类器的训练速度且保持其高推广性,将基于向量投影的支持向量预选取方法用于每个子分类器的训练中.通过对3个大规模数据集和手写体数字识别的仿真实验表明,新方法能有效地提高决策树SVM多类分类器的分类精度和速度.     

基于关系数据分析的决策森林学习方法

模式识别中的多分类器集成日益得到研究人员的关注并成为研究的热点。提出一种基于决策森林构造的多重子模型集成方法,通过对每个样本赋予决策规则,构造决策森林而非单个决策树以自动确定相对独立的样本子集,在此基础上结合条件独立性假设进行模型集成。整个学习过程不需要任何人为参与,能够自适应确定决策树数量和每个子树结构,发挥各分类器在不同样本和不同区域上的分类优势。在UCI机器学习数据集上的实验结果和样例分析验证了方法的有效性。     

多预测子融合实时连续语音识别输出词正误判别

本文在采用堆栈译码词网重估输出作为识别最终输出的连续语音识别实时解码条件下,利用决策树方法将多个预测子融合,对识别输出词进行正确和错误的判别。本文首先构造了词后验概率、词长、相邻词的后验概率、词的声学和语言得分等共13 个预测子,然后利用决策树方法,通过选择不同的预测子组合方式和适当的决策树建树参数,筛选出预测子的最佳组合,建立优化的决策树进行输出词的正误判别。实验结果表明:利用局域词图计算的词后验概率与词长、相邻词的后验概率等几种实时预测子融合后,对识别输出词的正误判别能力得到提高,并且在实时性和分类效果两个方面优于n - best 输出的相应结果,相对于基线系统, 则分类错误率下降41. 4 %。实验结果也表明本文提出的相邻词的后验概率是相对重要的预测子。     

基于集成学习的Adaboost演化决策树算法

演化决策树方法将传统的决策树算法与演化算法相结合,具有全局搜索的优点.基于集成学习框架,提出了Adaboost演化决策树算法,并对基本遗传算子加以改进.实验结果表明Adaboost演化决策树能在较短的演化代数内得到较高的预测准确度.     

结合递增式学习的CART算法改进

阐述了基于gini系数的决策树构造算法--CART算法.为了使算法能处理递增的数据,引入递增式学习方法,提出了一种改进算法.递增式学习的主要思想是测试函数提升.首先使用己有的数据用CART算法生成一棵决策树,然后使用递增的数据和递增式学习的方法来修改己有的决策树.最后从理论和实践两方面证明了改进算法的正确性和有效性.     

基于深度残差概率随机森林的时间序列分类方法

时间序列数据广泛存在于工业、医疗等应用领域,由于其时序相关性强、特征空间维度大,使得传统的时间序列分类方法普遍存在精度不足和需要复杂特征工程等问题.充分考虑深度神经网络在处理复杂时序数据上的优越性以及决策树方法拟合数据能力强的优势,提出一种基于残差网络和概率决策树的端到端统一深度学习模型.该模型利用残差网络从原始时间序列中提取高级特征,为了更好地建立时序数据特征与类别标签间的映射关系,将概率决策树融入至残差网络的分类层.同时,设计随机子空间的集成策略,缓解由于残差网络的深层结构产生的过度拟合现象,并给出联合优化模型分裂参数和预测参数的迭代优化方案.在大量的基准数据集和工业案例上进行实验和分析,实验结果表明,所提出模型的分类性能优于传统方法与其他深度学习方法,且可有效提高残差网络的泛化能力.     

基于决策树的藏语拉萨话三音子模型

对藏语拉萨话中单音子及三音子分布情况进行了统计,分析了在藏语大词表连续词表连续语音识别中建立上下文相关声学模型的必要性.选择音素为建模单元,根据藏语特点,建立以音节为单位的发音字典.讨论了利用决策树建立三音子模型的几个关键问题和基本算法,结合国际音标分类和经验知识,确定了38个藏语拉萨话音子类别集及相应的决策树问题集.建立了共20个发音人8 170句的训练语料,在HTK平台上建立和训练得到了基于决策树的藏语拉萨话三音子模型,并分析了不同隐马尔可夫模型状态数及高斯混合度下的识别结果,确定了一套藏语大词表连续语音识别的完整方案.