AdaBoost算法的推广——一组集成学习算法

针对AdaBoost算法只适合于不稳定学习算法这一不足,基于增加新分类器总是希望降低集成分类器训练错误率这一思想,提出了利用样本权值来调整样本类中心的方法,使AdaBoost算法可以与一些稳定的学习算法结合成新的集成学习算法,如动态调整样本属性中心的集成学习算法、基于加权距离度量分类的集成学习算法和动态组合样本属性的集成学习算法,大大拓展了AdaBoost算法适用范围。针对AdaBoost算法的组合系数和样本权值调整策略是间接实现降低训练错误率目标,提出了直接面向目标的集成学习算法。在UCI数据上的实验与分析表明,提出的AdaBoost推广算法不仅有效,而且部分算法比AdaBoost算法效果更好。     

关于Real AdaBoost算法的分析与改进

采用一种新的技术,对Real AdaBoost算法的有效性、误差估计、算法流程和弱分类器训练进行了分析和证明。证明了可用加权组合弱分类器对Real AdaBoost算法进行改进,并得到了近似最佳组合系数;指出Real AdaBoost算法的样本权值调整和弱分类器训练方法的真实目的是确保弱分类器的独立性;基于Bayes统计推断对Real AdaBoost算法进行了多分类推广,得到了算法公式和误差估计,给出了便于使用的弱分类器训练简化方法。得到了Gentle AdaBoost算法的误差估计公式。UCI数据实验验证了所提算法和改进算法的效果。     

分类器动态组合及基于分类器组合的集成学习算法

针对目前基于分类器静态组合的集成学习算法难于推广的问题,根据组合分类器分类错误最小化原则,研究了组合系数随分类器输出变化而变化的分类器动态组合理论,包括组合系数的选取、组合分类器分类错误率的估计等.证明了在分类器相互独立时,一些动态组合分类器等价于Bayes统计推断.提出了基于分类器组合的通用集成学习算法,并把AdaBoost、Real AdaBoost、Gentle AdaBoost算法推广到了多分类问题.证明了按照集成学习算法得到的分类器,其动态组合的有效性可不依赖于分类器的独立性,这支撑了基于分类器相互独立假设来研究分类器组合的有用性.最后,通过UCI数据实验验证了动态组合的有效性.     

基于改进的AdaBoost和支持向量机的行人检测

针对AdaBoost算法在训练样本和特征较多时训练时间过长的问题,提出了一种改进的AdaBoot算法与支持向量机组合的分类器.对多重分类器的输出结果以非线性的方式组合,采用交替的方式轮流对不同的特征进行学习,将多重分类器处理完后的结果作为另一种输入样本,再以一个分类器做一次分类.实验表明该算法用于行人检测可行、性能稳定.     

基于合群度-隶属度噪声检测及动态特征选择的改进AdaBoost算法

为了提高AdaBoost集成学习算法的数据分类性能,提出基于合群度-隶属度噪声检测及动态特征选择的改进AdaBoost算法. 综合考虑待检测样本与邻居样本的相似度及与不同类别样本集的隶属关系,引入合群度和隶属度的概念,提出新的噪声检测方法. 在此基础上,为了更好地选择那些能够有效区分错分样本的特征,在传统过滤器特征选择方法的基础上提出通用的结合样本权重的动态特征选择方法,以提高AdaBoost算法针对错分样本的分类能力. 以支持向量机作为弱分类器,在8个典型数据集上分别从噪声检测、特征选择及现有方法比较3个方面进行实验. 结果表明,所提算法充分考虑了噪声样本和样本权重对AdaBoost分类结果的影响,相对于传统算法在分类性能上获得显著提升.     

基于Adaboost.MK和SM-SVDD的变压器故障诊断方法

为了解决变压器故障诊断过程中单分类器诊断精确度不足的问题,引入一种基于改进AdaBoost算法和二次映射支持向量描述的变压器故障诊断方法。该方法训练若干个多分类二次映射支持向量描述分类器,得到弱分类器,采用改进AdaBoost算法将这些弱分类器进行集成构成一个强分类器,并在迭代训练过程中通过改变训练样本的权重,使集成多分类模型聚焦于一些难以分类的样本,从而提高分类精度。实际案例分析表明所提方法能够提高变压器故障诊断精度     

基于支持向量机和多球体的一对多分类器

为了提高支持向量机（SVM）多分类器的训练效率,将多球体思想引入有指导学习,对训练样本按类别分别进行一类支持向量机（1-SVM）训练得到多球体分类器.针对多球体的冗余区域,构造简化一对多分类器将各球内混叠样本与正常样本分离.以上两个分类器性能互补,可以加权组合为多球体一对多分类器.同时给出了组合分类器基于交叉验证的权重估计和参数调整.仿真实验表明,相对于一对多算法,该分类器训练时间较短且分类正确率较高;相对于一对一算法,该分类器决策速度较快,有助于解决大样本的多分类问题.     

多标签AdaBoost算法的改进算法

针对多标签AdaBoost系列算法,以尽量减小算法的学习错误率为目的,提出了对其进行改进的两种思路。基于改进思路构造出了改进的多标签AdaBoost算法。一种思路是修改算法的样本分布调整策略,破坏现有AdaBoost算法中样本分布的均匀性,以确保增加每一个弱分类器都能降低学习错误的上界估计,从而实现对多标签AdaBoost算法的改进。另一种思路是训练弱分类器时兼顾后续待学习的弱分类器对学习错误的影响,克服现有算法在训练弱分类器时只考虑当前的弱分类器对学习错误的影响,而完全忽略后续待学习的弱分类器对学习错误的影响这一现象,从而改进多标签AdaBoost算法。理论上,对于改进多标签AdaBoost算法,增加每一个弱分类器都能进一步降低学习错误。理论分析和实验结果均表明了提出的改进算法有改进效果。     

基于AdaBoost的脑机接口分类算法研究

依据AdaBoost思想对BP神经网络、线性判别式以及支撑向量机三种传统分类器进行强化训练形成强分类器。在传统训练的基础上,根据分类器的映射特点选择相应的预处理方法和权值分布函数,降低分类器对数据特点的依赖性,提高AdaBoost的训练效果。对基于左右手运动想象的实际脑电数据进行模式分类,发现采用该思想训练的强分类器能不同程度地提高分类效果。该算法具有一定的推广意义,也证实了AdaBoost算法在脑机接口技术开发中的应用潜力。     

基于Co-training方法的车辆鲁棒检测算法

针对复杂交通场景车辆检测算法自适应能力差的问题,提出了基于Co-training半监督学习方法的车辆鲁棒检测算法.首先,针对手工标记的少量样本,分别训练基于Haar-like特征的AdaBoost分类器和基于HOG(histograms of oriented gradients)特征的SVM(support vector machines)分类器,使其具有一定的识别能力;然后,基于Co-training半监督学习框架,将利用2种算法进行分类得到的新样本分别加入到对方的样本库中,增加训练样本数量,再次进行分类器的训练.由于这2类特征具有冗余性,各自检测出的正负样本包含对方漏检和误检的图像.由于样本数的增加,再次训练所得到的新分类器的鲁棒性得到了很大提高,能更加准确地检测出车辆,而且由算法对未标记样本进行分类标记,不再需要人为标记,提高了车辆检测算法的自适应能力.     

一种安全的基于分歧的半监督分类算法

为提高半监督分类的性能,提出一种安全的基于分歧的半监督分类算法Safe Co-SSC。通过有标记样本训练3个有监督分类器,利用无标记样本的信息增加分类器的差异性,采取3个分类器加权投票的策略实现对无标记样本的伪标记;对伪标记样本进行二次验证,选用能使分类器误差减小的新增标记样本扩充标记样本集。保证新样本的添加既减小了分类器的分类误差,又提高了分类器的分歧性。对UCI数据集进行分类实验的结果表明,该算法具有较高的分类率和样本标记率。       

结合主动学习和半监督学习的网络入侵检测算法

为提高网络入侵检测的分类效率,提出一种结合主动学习和半监督学习的入侵检测算法。结合入侵检测实际,对主动学习算法进行简化,用有标记样本训练生成2个分类器,实现对未标记样本的预测;将2个分类器预测不一致的未标记样本作为信息量丰富的样本,使用半监督学习算法进行标记;最后, 把新增加的新标记样本添加到主动学习和半监督学习的训练集中,训练各自分类器, 反复迭代直到未标记样本集为空, 并用最新的有标记样本集训练形成最终的分类器。使用KDD CUP 99数据集进行入侵检测实验,其结果表明,与SVM方法相比,其分类率提高了4.3%,且较好地缩减了问题规模。       

一种基于模糊积分的多分类器联合方法

多分类器联合是解决复杂模式识别问题的有效办法。模糊积分是一种多分类器联合算法。但是在用模糊积分对多分类器联合建模时，模糊积分密度函数的选择对系统的性能有着很大的影响。提出一种基于模糊积分和贝叶斯联合的分类器集成方法，该方法利用贝叶斯方法的构造只分密度函数，再利用模糊积分把分类器输出信息联合起来。实验结果表明，该方法比其他方法能够得到更好的识别性能。     

基于选择性集成分类器的通用隐写分析

面对高维度的特征集和大规模的样本集,隐写分析技术对分类器的要求越来越高.在集成分类器的基础上提出了一种面向通用隐写分析的选择性集成分类器.首先基于随机森林生成若干个基分类器,然后利用基于遗传算法的选择性集成算法剔除掉个别影响整体性能的基分类器,最后根据遗传优化得到的最优权值向量赋予剩余的基分类器不同权值以用来加权投票集成.实验表明,提出的选择性集成分类器测试性能优于现有分类器,特别在基分类器数量较大、特征维数较高时与现有集成分类器相比,有效降低了检测错误率.     

基于ADASYN与AdaBoostSVM相结合的不平衡分类算法

对于平衡数据集支持向量机(support vector machine,SVM)通常具有很好的分类性能和泛化能力,然而对于不平衡数据集,SVM只能得到次优结果,针对该问题提出了一种基于SVM的AS-Ada Boost SVM分类算法.首先,通过使用ADASYN采样,提高少类样本在边界区域的密度;然后,使用基于径向基核支持向量机(radial basis function kernel mapping support vector machine,RBFSVM)模型弱分类器的Ada Boost SVM算法训练得到决策分类器.通过将该算法在各种不平衡数据集上的测试结果与单纯运用ADASYN技术、Ada Boost SVM、SMOTEBoost等其他分类器进行比较,验证了该算法的有效性和鲁棒性.