基于AdaBoost的组合分类器在遥感影像分类中的应用

运用组合分类器的经典算法AdaBoost将多个弱分类器-神经网络分类器组合输出,并引入混合判别多分类器综合规则,有效提高疑难类别的分类精度,进而提高分类的总精度.最后以天津地区ASTER影像为例,介绍了基于AdaBoost的组合分类算法,并在此基础上实现了天津地区的土地利用分类.分类结果表明,组合分类器能有效提高单个分类器的分类精度,分类总精度由81.13%提高到93.32%.实验表明基于AdaBoost的组合分类是遥感图像分类的一种新的有效方法.     

基于最佳鉴别变换和分类器组合的人脸自动识别

人脸识别技术在商业和法律上有广泛的应用前景 ,在安全监控中也大有用武之地 .其主要任务是利用已有的人脸图象库 ,识别静止的或视频图象中的一张或多张人脸 .从抽取具有统计不相关的模式特征着手 ,通过基于小波变换的图象分解和 KL 变换等处理 ,避开人脸识别的小样本集的局限 ,并通过运用具有统计不相关性的最佳鉴别变换 ,来抽取人脸的有效鉴别特征 .同时 ,利用多特征多分类器组合的方法对图象进行识别 .该方法在 ORL 人脸图象库上进行实验 ,得到识别错误率为 2 %的实验结果 ,这是目前在此人脸图象数据库上所得到的最好的实验结果 .而且本方法对人脸的姿态、表情等条件具有一定的不敏感性     

神经网络分类器的组合

利用神经网络分类器组合,对手写体数字识别问题进行了研究。通过对同一训练样本集抽取不同的特征集合,从而获得不同的神经网络分类器。对这些分类器的分类结果组合得到最终的分类结果。提出性能函数PF（S,T）用来确定阈值S,T,从而获得错误率与拒识率间的最佳平衡,实验结果表明,此种分类器组合方法能根据不同应用的要求,自动地选取性能函数中的参数,减少分类错误率,提高识别的可靠性。     

改进的AdaBoost算法与SVM的组合分类器

提出了一种改进的AdaBoost算法与支持向量机组合的分类方法,用来处理多类别分类。采用规则抽样来解决支持向量机分类中正负样本的不平衡性,改进AdaBoost算法,使其在初始化时考虑样本分布稀疏的重要性,有利于稀有类样本的正确划分。实验结果表明,此方法与标准支持向量机分类器相比,泛化性能有一定程度的提高。     

多分类器组合研究

文章提出了一种多分类器的组合方法,它利用了参与组合的分类器提供的度量层次上的两类信息:对训练样本的决策信息;对待识样本的决策信息。首先对这两类信息进行集成,进而给出了组合分类器的判定规则。用该方法对手写体汉字作分类识别,实验结果显示,较之其它几种方法,它有更高的正确识别率。     

一种新的改进AdaBoost弱分类器训练算法

AdaBoost是机器学习中比较流行的分类算法.通过研究弱分类器的特性,提出了两种新的弱分类器的阈值和偏置计算方法,二者可以使弱分类器识别率大于50%,从而保证在弱分类器达到一定数目的情况下,AdaBoost训练收敛.对两种阈值和偏置计算方法的仿真实验结果表明,在错分率降可接受的范围内,二者均使用较少的弱分类器便可获得高识别率的强分类器.     

关于AdaBoost有效性的分析

在机器学习领域,弱学习定理指明只要能够寻找到比随机猜测略好的弱学习算法,则可以通过一定方式,构造出任意误差精度的强学习算法.基于该理论下最常用的方法有AdaBoost和Bagging.AdaBoost和Bagging 的误差分析还不统一;AdaBoost使用的训练误差并不是真正的训练误差,而是基于样本权值的一种误差,是否合理需要解释;确保AdaBoost有效的条件也需要有直观的解释以便使用.在调整Bagging错误率并采取加权投票法后,对AdaBoost和Bagging的算法流程和误差分析进行了统一,在基于大数定理对弱学习定理进行解释与证明基础之上,对AdaBoost的有效性进行了分析.指出AdaBoost采取的样本权值调整策略其目的是确保正确分类样本分布的均匀性,其使用的训练误差与真正的训练误差概率是相等的,并指出了为确保AdaBoost的有效性在训练弱学习算法时需要遵循的原则,不仅对AdaBoost的有效性进行了解释,还为构造新集成学习算法提供了方法.还仿照AdaBoost对Bagging的训练集选取策略提出了一些建议.     

组合分类器辅助诊断肺栓塞的研究

计算机辅助诊断（CAD）已经广泛地应用于许多疾病的诊断中,利用计算机辅助诊断技术医生可以在不影响诊断效果的前提下提高疾病的诊断效率,从而为病患赢得就医的时间。提出了一种基于组合学习方式的肺栓塞辅助诊断分类器：首先基于AdaBoost训练思想,以CART（分类与回归树）作为弱分类器,构造了一个AdaBoost分类器,然后结合BP神经网络分类器,设计出组合分类器。该分类器不仅提高了诊断的效率,同时也使得诊断效果有了一定的改善。     

基于属性组合的集成学习算法

针对样本由数字属性构成的分类问题,在AdaBoost算法流程基础上,改传统的基于单属性分类器构造方法为基于组合属性分类器构造方法,提出了一种基于样本属性线性组合的集成学习算法。对属性组合系数的构造,提出了一般性的构造思路,按照该思路,提出了几种具体的组合系数构造方法,并对构造方法的科学合理性进行了分析。利用UCI机器学习数据集中的数据对提出的方法进行了实验与分析,结果表明,基于属性组合的集成学习算法不仅有是有效的,而且比传统AdaBoost算法好     

基于多分类器组合的人脸识别

根据人类认知的规律,文中提出了一种基于整体和局部特征组合的人脸识别方法。奇异值特征是一种比较有效的代数特征,文中提取了整个人脸、双眼以及嘴部的奇异值特征。在组合过程中,提出了一种改进的将距离转换为后验概率估计值的方法,该方法既缩减了单一分类器的可能的模式类别,又对各分类器的输出进行了加权。实验结构表明文中方法是有效的。     

加权判决级联分类器人脸检测方法研究

AdaBoost算法要提高检测精度,需要级联更多的强分类器,这样会降低检测速度.针对这个问题,在AdaBoost级联分类器中引入加权判决函数,对其中相互独立的级联分类器判决结果进行信息融合,不增加级联的强分类器个数,提高了检测率.实验结果表明,该方法在保证检测速度的同时,提高了检测率,在CMU+MIT人脸测试库上取得较好的效果.     

汉语方言的集成决策辨识

针对方言辨识系统分类决策能力较弱的问题,提出一种基于集成学习的方言辨识方法。该方法将高斯模型与语言模型组成的系统作为一组基分类器,然后根据这组基分类器所得分类结果的加权组合来决定方言语音所属类别。实验结果表明,新的集成决策分类方法不仅可以大大提高系统的辨识精度,而且有效地解次训练样本数目和模型参数之间的矛盾。     

基于词频分类器集成的文本分类方法

提出了一种基于词频分类器集成的文本分类方法．词频分类器是在对文本中的单词和它在每个文本中出现的频率进行统计后得到的简单分类器．虽然词频分类器本身泛化能力不强,但它不仅计算代较小,而且在训练样本甚至类别增加时易于进行更新,而整个学习系统的泛化能力可以由集成学习机制来提高,因此,词频分类器很适合用做集成学习的基分类器．在集成时,使用了改进的AdaBoost算法,加入了一种强制重新分布权的机制,避免算法过早停止,更加适合文本分类任务．在标准文集Reuters-21578上的实验结果表明,该方法能取得很好的效果．     

线性分类器与BP网络联合诊断变压器故障

油中溶解气体分析(DGA)是目前电力充油设备潜伏性故障诊断的重要手段。为了克服传统BP网络及其改进诊断算法所具有的隐层节点数多、收敛时间长的缺陷,减少算法运算量及提高变压器故障诊断的正确率,提出了一种新的诊断算法:线性分类器-BP神经网络(LC-BP)故障辨识方法。通过对变压器大量过热和放电两类典型故障数据的研究,发现其DGA故障数据的特征空间线性可分且分离度较好。基于以上特性,先用线性分类器诊断过热和放电故障,然后利用两个小型BP网络分别进行进一步诊断,得到最终诊断结果。实验结果表明,提出的LC-BP算法具有良好的分类能力,故障诊断的正确率达到94%,且网络结构简单,运算量小,从而为变压器的故障诊断提供了一条新的有效途径。     

多分类器组合及其应用

1 引言传统的模式识别系统通常只使用样本的某种单一特征描述和特定的一个分类器来进行分类。这种系统对于类别数较大、输入样本带噪声的问题很难获得好的分类效果。近来发现不同的特征描述、不同的分类器在分类性能上存在着彼此互补的现象,因此同时使用多种特征描述和多个分类器可能提高分类精确性。目前,多分类器组合的研究吸引了学者们广泛的注意,并     

一种联合的人眼精确定位算法

眼睛定位在人脸识别中占有重要地位.为达到高效精确的人眼定位,提出一种联合的眼睛定位方法,该方法先用基于AdaBoost算法的分类器对眼睛对区域进行粗定位,同时使用灰度极小值区域(MER)快速地检测出图像中的单眼候选.通过联合眼睛对位置与单眼候选进行处理,判决并给出最终人眼精确位置.为提高算法的性能文中引入了边缘方向直方图(EOH)特征作为AdaBoost分类器特征,并采用了单眼及眼睛对定位校验模式.该算法能有效地压缩训练样本集规模,并能快速精确地对人眼进进行定位.本算法在CAS-PEAL 人脸数据库、JAFFE 数据库等数据集上均有良好表现.     

基于Multi-Agent的分类器融合

针对决策层输出的分类器融合问题，该文提出了一种基于Multi-Agent思想的融合算法，该算法将分类器融合问题建模为人类发源地问题，通过引入决策共现矩阵，并在智能体之间进行信息交互，从而利用了分类器之间的决策相关信息，算法根据在融合训练集上得到的统计参量，指导各个智能体向不同类别溯源，并通过智能体之间的信息交换改变溯源概率，最终达到群体决策，得到决策类别，本文在标准数据集上对该算法进行了实验研究，通过与其它一些融合方法的比较，得出在用于融合的分类器较少时，该算法得到比其它方法更低的分类错误率，其空间复杂度相对BKS方法较小，实验证实，该算法是收敛的。     

基于Boosting的TAN组合分类器

Boosting是一种有效的分类器组合方法,它能够提高不稳定学习算法的分类性能,但对稳定的学习算法效果不明显,TAN(tree-augmented naive Bayes)是一种树状结构的贝叶斯网络,标准的TAN学习算法生成的TAN分类器是稳定的,用Boosting难以提高其分类性能,提出一种构造TAN的新算法GTAN,并将由GTAN生成的多个TAN分类器用组合方法Boosting-MultiTAN组合,最后实验比较了TAN组合分类器与标准的TAN分类器．实验结果表明,在大多数实验数据上,Boosting-MultiTAN分类器显示出较高的分类正确率。     

人脸检测级联分类器快速训练算法

目前AdaBoost训练算法已被广泛地应用于人脸检测中级联分类器的构建,而AdaBoost算法训练级联分类器的周期却十分漫长.为了减少训练时间,文中提出了一种基于AdaBoost的改进训练算法.该算法通过对弱分类器的阈值选择进行一趟处理来降低运算时间复杂度,并根据AdaBoost训练迭代中只改变样本权值而不更新样本的特点对特征值和排序结果进行缓存来提高训练算法的性能.实验结果表明,该算法大幅提高了人脸检测分类器训练系统的性能,使得分类器的训练时间缩短了60多倍.由于AdaBoost算法的通用性,该改进算法不仅适用于人脸检测,也适合所有进行权值更新迭代训练的Boosting算法.     

Fisher大间距线性分类器

作为一种著名的特征抽取方法,Fisher线性鉴别分析的基本思想是选择使得Fisher准则函数达到最大值的向量(称为最优鉴别向量)作为最优投影方向,以便使得高维输入空间中的模式样本在该向量投影后,在类间散度达到最大的同时,类内散度最小。大间距线性分类器是寻找一个最优投影矢量(最优分隔超平面的法向量),它可使得投影后的两类样本之间的分类间距(Margin)最大。为了获得更佳的识别效果,结合Fisher线性鉴别分析和大间距分类器的优点,提出了一种新的线性投影分类算法——Fisher大间距线性分类器。该分类器的主要思想就是寻找最优投影矢量wbest(最优超平面的法向量),使得高维输入空间中的样本模式在wbest上投影后,在使类间间距达到最大的同时,使类内离散度尽可能地小。并从理论上讨论了与其他线性分类器的联系。在ORL人脸库和FERET人脸数据库上的实验结果表明,该线性投影分类算法的识别率优于其他分类器。