加权解码在解决纠错输出编码Consistent-Diverse平衡问题的应用

 纠错输出编码作为解决多类分类问题的通用集成框架,能有效的把多类问题分解为二类问题从而使问题得以简化.然而在生成基分类器的过程中,经常面临提高基分类器之间的差异性和增加各基分类器与集成分类器学习的一致性的矛盾,称之为consistent-diverse平衡问题.在保证差异性的前提下减小由学习不一致性引起的分类错误率是解决该平衡问题的一个出发点,在此利用加权解码,通过对加权系数矩阵的再学习进而减弱和消除由基分类器学习不一致性产生的误差.实验利用人工数据集和UCI数据集分别加以验证,结果表明以集成分类器的分类错误率为适应度函数的遗传算法搜索出的最优加权系数矩阵相比其它方法产生的系数矩阵在解决consistent-diverse平衡问题更具有优越性.     

基于模式间混淆关系自适应构建层次化分类器

为了解决层次化分类器的设计难点——子分类器的层属关系及其内部组成的确定,本文首先定义了模式间混淆关系,用于描述不同模式在判决域中的相互作用;进而提出了基于混淆矩阵度量模式间混淆关系的方法。设计并实现了多模式混淆关系分析机MPCRAM,将有师指派和无师自组两种常用的模式重组方法有机结合,遵循Fisher准则,自适应地产生层次化分类器结构。大量综合测试证实了该方法有效、实用,可显著提高分类器的识别性能和稳健性。     

基于混合多样性生成与修剪的集成单类分类算法

针对传统集成学习方法直接应用于单类分类器效果不理想的问题,该文首先证明了集成学习方法能够提升单类分类器的性能,同时证明了若基分类器集不经选择会导致集成后性能下降;接着指出了经典集成方法直接应用于单类分类器集成时存在基分类器多样性严重不足的问题,并提出了一种能够提高多样性的基单类分类器混合生成策略;最后从集成损失构成的角度拆分集成单类分类器的损失函数,针对性地构造了集成单类分类器修剪策略并提出一种基于混合多样性生成和修剪的单类分类器集成算法,简称为PHD-EOC。在UCI标准数据集和恶意程序行为检测数据集上的实验结果表明,PHD-EOC算法兼顾多样性与单类分类性能,在各种单类分类器评价指标上均较经典集成学习方法有更好的表现,并降低了决策阶段的时间复杂度。     

基于神经网络的纠错输出编码方法研究

构造基于数据编码矩阵是目前利用纠错输出编码解决多类分类问题的研究重点.为此提出利用单层感知器作为学习框架,结合解码策略把输出编码矩阵各码元值映射为感知器网络中的权值,同时引入含权值取值约束的目标函数作为该网络代价函数,并对其进行学习,最终得到基于子类划分的数据编码矩阵.实验中利用人工数据集和UCI数据集并选择线性逻辑分类器作为基分类器分别进行测试,通过与几种经典编码方法比较,结果表明该编码方法能在编码长度较小情况下得到更好的分类效果.     

基于信息熵差异性度量的数据流增量集成分类算法

对分类器之间的差异性进行了研究,提出了一种基于信息熵差异性度量的增量集成分类算法,将信息熵差异性度量方法融入到基分类器选择过程中,通过对训练数据集的基分类结果的信息熵差异度计算,采用循环迭代优化的选择方法,以熵差异性最优化为约束目标,动态调整基分类器个数,实现了分类准确稳定,减少了系统开销。通过实验比对,证明了算法在数据流处理时比其他算法具有更小的开销和较强的适应性。     

带拒绝域的ECOC多类分类

针对纠错输出编码分解框架的自身特点、从降低误判风险出发,研究了带拒绝域的ECOC多类分类方法.首先在二类划分过程中引入拒绝域,对不属于正负子类的待识别样本进行拒识;其次,在基分类器内部引入拒绝域,以最小化风险贝叶斯决策为目标,利用后验概率输出和代价矩阵寻找拒绝域阈值,对样本输出值落入拒绝域中的样本进行拒识;最后,研究了不同拒绝域输出的解码方法,并讨论了拒识码字个数和矩阵最小Hamming距离之间的关系.实验结果表明基于二类划分构造的拒绝域能够提高分类正确率,而基于基分类器构造的拒绝域能够减小分类代价.     

基于随机子空间和AdaBoost的自适应集成方法

如何构造差异性大且精确度高的基分类器是集成学习的重点,为此提出一种新的集成学习方法——利用PSO寻找使得AdaBoost依样本权重抽取的数据集分类错误率最小化的最优特征权重分布,依据此最优权重分布对特征随机抽样生成随机子空间,并应用于AdaBoost的训练过程中.这就在增加分类器间差异性的同时保证了基分类器的准确度.最后用多数投票法融合各基分类器的决策结果,并通过仿真实验验证该方法的有效性.     

基于集成学习的光纤光栅传感网络入侵行为检测

针对光纤光栅传感网络结构复杂，入侵行为检测难度较高的问题，研究基于集成学习的光纤光栅传感网络入侵行为检测方法。选取支持向量机作为集成学习算法的基分类器，计算各基分类器分类光纤光栅传感网络入侵行为样本的误差率，依据基分类器的误差率确定基分类器的重要程度。利用AdaBoost集成学习算法，依据各基分类器的重要程度集成各基分类器，构建最终的集成分类器，利用所构建集成分类器，输出光纤光栅传感网络入侵行为检测结果。实验结果表明，该方法可以精准检测光纤光栅传感网络的远程入侵、拒绝服务入侵等入侵行为，数据丢弃量较低，提升了光纤光栅传感网络的通信性能。     

基于随机蕨的集成分类图像隐写分析算法

提出了一种基于随机蕨(random ferns)和集成学习的图像隐写分析算法。首先利 用图像高维特征构 建蕨特征,采用成对采样策略构造样本子集,生成若干个基分类器;然后计算出训练样本 在基分类器中各个蕨的 先验概率并集成各个基分类器,进行隐写检测判别。实验结果表明,本文算法复杂度低,能 有效降低隐写检测错误率。     

一种基于集成学习和特征融合的遥感影像分类新方法

针对多源遥感数据分类的需要,提出了一种基于全极化SAR影像、极化相干矩阵特征、光学遥感影像光谱和纹理的多种特征融合和多分类器集成的遥感影像分类新方法.对全极化PALSAR数据进行预处理和极化相干矩阵特征提取,利用灰度共生矩阵计算光学和SAR影像的对比度、逆差距、二阶距、差异性等纹理特征参数,并与光谱特征结合,形成6种组合策略.利用集成学习方法对随机森林分类器、子空间分类器、最小距离分类器、支持向量机分类器、反向传播神经网络分类器等分类器进行组合,对不同组合策略的遥感影像特征集进行分类.结果表明提出的基于多种特征和多分类器集成的新方法很好地利用了主被动遥感数据在不同地表景观类型提取上的潜力,综合了多种算法的优势,能够有效地提高总体精度和各类别的分类精度.     

一种提高神经网络集成差异性的学习方法

集成学习已经成为机器学习的研究方向之一,它可以显著地提高分类器的泛化性能.本文分析了Bagging及AdaBoost集成方法,指出了这两种方法的缺陷;然后提出了一种新的基于神经网络的分类器集成方法DBNNE,该方法通过生成差异数据增加集成的差异性;另外,当生成一个分类器后,采用了测试方法确保分类器集成的正确率;最后针对十个标准数据集进行了实验研究,结果表明集成算法DBNNE在小规模数据集上优于Bagging及AdaBoost集成方法,而在较大数据集上也不逊色于这两种集成方法.     

基于K-medoids聚类的贝叶斯集成算法

朴素贝叶斯分类算法由于其计算高效在生活中应用广泛。本文根据集成算法的差异性特征,聚类算法聚类点的选择方式的可变性,提出了基于K-medoids聚类技术的贝叶斯集成算法,朴素贝叶斯的泛化性能得到了提升。首先,通过样本集训练出多个朴素贝叶斯基分类器模型;然后,为了增大基分类器之间的差异性,利用K-medoids算法对基分类器在验证集上的预测结果进行聚类;最后,从每个聚类簇中选择泛化性能最佳的基分类器进行集成学习,最终结果由简单投票法得出。将该算法应用于UCI数据集,并与其他类似算法进行比较可得,本文提出的基于K-medoids聚类的贝叶斯集成算法(NBKME)提高了数据集的分类准确率。     

基于多主体决策融合的结构损伤识别

为了提高航空结构的损伤识别精度和速度,提出了一种基于互信息分类器选择的多主体决策融合方法.首先获取样本,对事先选定的模式分类器进行训练测试,得到各自的混淆矩阵;然后利用基于互信息的分类器相关度指标进行最优分类器选择,得到最优分类器组合;最后利用多主体决策融合方法,对系统进行最终识别.在航空铝制加筋板上的实验表明,本文方...     

基于神经网络集成的车牌字符识别

车牌字符识别技术是图像识别领域的一个重要研究课题,在完成对车牌图像预处理、定位和分割的基础上,提出一种基于多个神经网络分类器综合集成的车牌字符识别方法.将基于粗网格特征提取的BP分类器、基于局部灰度特征提取的RBF分类器和基于方向线素特征提取的SOFM分类器通过串并联的方式进行集成,用Matlab7.0进行实验,通过实验证明多神经网络集成方法的可行性,该方法有效提高了整个系统的抗干扰性和字符的识别率.     

一种基于权重融合的JPEG隐写分析方法

针对JPEG图像通用隐写检测中检测效率低、训练时间长的问题,提出一种基于集成分类器的新检测方法。算法以CC-PEV为特征对图像进行描述并作为隐写分析特征;然后,随机构造若干个特征子空间,用bootstrap方法构造图像训练子集,分别进行训练得到数个基分类器;根据基分类器的分类结果赋予基分类器不同的权重,将基分类器的结果按照其权重进行融合得到最终的结果。本文对该算法进行了测试,对它的集成性、检测准确率和训练时间进行分析。实验结果表明,相对于传统的集成方法,本文方法用自举方法构造训练集、随机方法构造子特征空间、赋予基分类器不同权重进行融合能够显著地提高算法准确率。本文方法相对于SVM和传统的集成分类方法,具有更高的检测率,对于特征维数更大的图像检测,具有更好的拓展性和一般适用性。     

基于贝叶斯分类器的图像隐写分析

集成分类器是目前用于图像隐写分析的主流分类器。为提高集成分类器的检测精度,针对集成分类器基分类器组合方法过于简单,无法体现基分类器之间的内在联系,不能从整体上对结果进行判定的缺点,依据图像特征在集成分类器分类超平面上的投影值服从多维正态分布这一特性,提出了一种基于贝叶斯分类器的图像隐写分析算法。首先基于随机森林算法生成若干基分类器,然后计算类条件概率密度函数与先验概率并训练贝叶斯分类器,最后使用经过训练的贝叶斯分类器代替简单投票方法进行分类判决。算法的检测错误率比以往算法平均降低了1.6%,ROC曲线比简单投票方法更接近于左上角,即具有更高的检测率,AUC值平均增长约2.12%,并且训练时间仅有少量提高,最大提高约2.610s。可以有效提高集成分类器的检测精度。     

基于KELM选择性集成的复杂网络环境入侵检测

为解决复杂网络环境网络入侵事件特征复杂多变、新型入侵检测度低、检测时间长、难以实现实时检测的问题,本文提出一种基于核极限学习机（Kernel Extreme Learning Machine,KELM）选择性集成的网络入侵检测方法（SEoKELM-NID）.该方法采用Bagging策略独立快速训练出多个KELM子学习器;然后基于边缘距离最小化（Margin Distance Minimization,MDM）准则对KELM子学习器的集成增益进行度量,通过选择增益度高的部分KELM子学习器进行选择性集成,获得泛化能力强、效率高的选择性集成学习器;同时,引入一种基于批量样本增量学习的KELM子分类器在线更新策略,实现入侵检测模型的在线更新,使SEoKELM-NID能有效适应复杂网络环境的变化.在KDD99数据集和一个以太网和无线网络混合的复杂网络仿真实验平台上进行了仿真实验验证,结果表明,SEoKELM-NID相比基于单个学习器以及传统集成学习的网络入侵检测方法具有更好的识别准确性以及更快的识别速度,特别对于未知的网络入侵连接事件响应速度快、漏报率低.     

基于多分类器集成和特征融合的用户出境预测

准确地识别有出境意向的用户具有重要的意义,可为出境服务企业的精准营销实施、出境运营的高效管理和政策制定提供决策支持.针对此需求,提出了一种基于多分类器集成和特征融合的用户出境预测方法.首先利用用户的移动终端信息交互数据,挖掘用户的出境相关行为特征和静态特征作为样本特征;其次,通过最小冗余最大相关算法筛选最优特征,并利用贝叶斯优化算法寻找多个分类器最优超参数;最后,基于集成学习思想构建三层架构的用户出境预测模型,模型通过融合前两层分类器的输出特征生成新特征,并将其输入第三层分类器进行学习和预测.实验表明,所提方法的F1值和AUC(Area under the Curve)值分别达到了97.16％ 和97.21％,对于用户出境具有较高的预测精度.     

带约束小生境二进制粒子群优化的生物组学数据集成特征选择

针对生物组学数据高维小样本的特点而引起的分类误差较大的问题,提出了一种带约束小生境二进制粒子群优化的集成特征选择方法。该方法利用二进制粒子群优化算法搜索分类准确率最高的特征子集,通过约束粒子编码的置位个数以限制选择特征个数,并加入多模优化中的小生境技术使算法能够一次获得多个差异度较大的特征子集,最后采用集成学习技术将基于多特征子集建立的基分类器集成为强分类器并对数据进行分类学习。实验结果表明,该特征选择方法在生物组学数据上能够稳定选择较少特征并获得较好分类性能。      

基于优化Adaboost迭代过程的SVM集成算法

为提高Adaboost算法迭代过程中生成基分类器的分类精度以及简化整个集成学习系统的复杂度,文章提出了一种优化Adaboost迭代过程的SVM集成算法。该算法提出了一种在其迭代过程中加入样本选择和特征选择的集成方法。通过均值近邻算法对样本进行选择,并利用相对熵法进行特征选择,最后利用优化得到的特征样本子集对基分类器SVM进行训练,并用加权投票法融合各个SVM基分类器的决策结果进行最终判决。通过对UCI数据集的仿真结果表明,本算法与支持向量机集成算法相比,能够在更少的样本以及特征的基础上,实现较高的识别正确率。