Bagging中文文本分类器的改进方法研究

在文本分类研究中,集成学习是一种提高分类器性能的有效方法.Bagging算法是目前流行的一种集成学习算法.针对Bagging算法弱分类器具有相同权重问题,提出一种改进的Bagging算法.该方法通过对弱分类器分类结果进行可信度计算得到投票权重,应用于Attribute Bagging算法设计了一个中文文本自动分类器.采用kNN作为弱分类器基本模型对Sogou实验室提供的新闻集进行分类.实验表明该算法比Attribute Bagging有更好的分类精度.     

一种新的改进AdaBoost弱分类器训练算法

AdaBoost是机器学习中比较流行的分类算法.通过研究弱分类器的特性,提出了两种新的弱分类器的阈值和偏置计算方法,二者可以使弱分类器识别率大于50%,从而保证在弱分类器达到一定数目的情况下,AdaBoost训练收敛.对两种阈值和偏置计算方法的仿真实验结果表明,在错分率降可接受的范围内,二者均使用较少的弱分类器便可获得高识别率的强分类器.     

基于Adaboost和CART结合的优化分类算法

提出了一种基于Adaboost算法和CART算法结合的分类算法。以特征为节点生成CART二叉树,用CART二叉树代替传统Adaboost算法中的弱分类器,再由这些弱分类器生成强分类器。将强分类器对数字样本和人脸样本分类,与传统Adaboost算法相比,该方法的错误率分别减少20%和86.5%。将分类器应用于目标检测上,实现了对这两种目标的快速检测和定位。结果表明,改进算法既减小了对样本分类的错误率,又保持了传统Adboost算法对目标检测的快速性。     

基于一对一极限学习机的人脸表情识别方法

为了克服极限学习机(ELM)稳定性差、识别率不高的缺陷, 利用支持向量机(SVM)一对一投票式分类算法准确度高的优势, 提出一种改进的表情识别方法. 该方法将一对一分类算法和ELM算法相结合形成一个新的算法即OAO-ELM(One-Against-One-Extreme Learning Machine), 首先, 对样本采用一对一的分类并利用ELM训练成一个弱分类器, 然后, 将这些弱分类器组合成一个最终的强分类器. 预测结果, 采用投票方式. 用Gabor滤波提取表情特征, 由于提取后特征维度很高, 冗余大, 引入主成分分析(PCA)来降维. 基于JAFFE数据库实验结果表明, 该算法在人脸表情识别上具有较高分类识别率和稳定性.     

分类器线性组合的有效性和最佳组合问题的研究

通过多个分类器的组合来提升分类精度是机器学习领域主要研究内容,弱学习定理保证了这种研究的可行性.分类器的线性组合,也即加权投票,是最常用的组合方法,其中广泛使用的AdaBoost算法和Bagging算法就是采取的加权投票.分类器组合的有效性问题以及最佳组合问题均需要解决.在各单个分类器互不相关和分类器数量较多条件下,得到了分类器组合有效的组合系数选取条件以及最佳组合系数公式,给出了组合分类器的误差分析.结论表明,当各分类器分类错误率有统一的边界时,即使采取简单投票,也能确保组合分类器分类错误率随分类器个数增加而以指数级降低.在此基础上,仿照AdaBoost算法,提出了一些新的集成学习算法,特别是提出了直接面向组合分类器分类精度快速提升这一目标的集成学习算法,分析并指出了这种算法的合理性和科学性,它是对传统的以错误率最低为目标的分类器训练与选取方法的延伸和扩展.从另一个角度证明了AdaBoost算法中采用的组合不仅有效,而且在一定条件下等效于最佳组合.针对多分类问题,得到了与二分类问题类似的分类器组合理论与结论,包括组合有效条件、最佳组合、误差估计等.还对AdaBoost算法进行了一定的扩展.     

多标签代价敏感分类集成学习算法

尽管多标签分类问题可以转换成一般多分类问题解决,但多标签代价敏感分类问题却很难转换成多类代价敏感分类问题.通过对多分类代价敏感学习算法扩展为多标签代价敏感学习算法时遇到的一些问题进行分析,提出了一种多标签代价敏感分类集成学习算法.算法的平均错分代价为误检标签代价和漏检标签代价之和,算法的流程类似于自适应提升（Adaptive boosting,AdaBoost）算法,其可以自动学习多个弱分类器来组合成强分类器,强分类器的平均错分代价将随着弱分类器增加而逐渐降低.详细分析了多标签代价敏感分类集成学习算法和多类代价敏感AdaBoost算法的区别,包括输出标签的依据和错分代价的含义.不同于通常的多类代价敏感分类问题,多标签代价敏感分类问题的错分代价要受到一定的限制,详细分析并给出了具体的限制条件.简化该算法得到了一种多标签AdaBoost算法和一种多类代价敏感AdaBoost算法.理论分析和实验结果均表明提出的多标签代价敏感分类集成学习算法是有效的,该算法能实现平均错分代价的最小化.特别地,对于不同类错分代价相差较大的多分类问题,该算法的效果明显好于已有的多类代价敏感AdaBoost算法.     

基于BP_Adaboost的文本分类研究

本文针对单个BP神经网络在文本分类中准确率较低的问题,通过级联多个BP神经网络,利用Adaboost算法调整各个BP弱分类器的权值,从而获得了一个稳定、高效的BP_Adaboost强分类器。实验结果现实：BP_Adaboost文本分类准确率比BP神经网络提高了9.09%。     

基于AdaBoost的计算机生成图像检测算法

提出了一种基于AdaBoost的计算机生成图像检测算法;该算法从空间域和变换域提取JPEG图像的特征值,利用特征组合技术来检测计算机生成图像.其中,小波域特征值是图像小波子带系数及其线性预测误差的高阶统计量,空间域特征是图像的梯度能量特征值.利用AdaBoost算法来构造分类器.相比于其它分类算法,AdaBoost算法是将弱学习算法通过一定规则上升为一种强学习算法,从而通过实际样本训练得到一个识别率较为理想的分类器.仿真实验表明,对计算机生成图像的检测率有了很大的提高.     

基于差分进化的ELM加权集成分类

集成分类通过将若干个弱分类器依据某种规则进行组合,能有效改善分类性能。在组合过程中,各个弱分类器对分类结果的重要程度往往不一样。极限学习机是最近提出的一个新的训练单隐层前馈神经网络的学习算法。以极限学习机为基分类器,提出了一个基于差分进化的极限学习机加权集成方法。提出的方法通过差分进化算法来优化集成方法中各个基分类器的权值。实验结果表明,该方法与基于简单投票集成方法和基于Adaboost集成方法相比,具有较高的分类准确性和较好的泛化能力。     

一种限制输出模型规模的集成进化分类算法

AdaBoost算法是一种典型的集成学习框架,通过线性组合若干个弱分类器来构造成强学习器,其分类精度远高于单个弱分类器,具有很好的泛化误差和训练误差。然而AdaBoost 算法不能精简输出模型的弱分类器,因而不具备良好的可解释性。本文将遗传算法引入AdaBoost算法模型,提出了一种限制输出模型规模的集成进化分类算法(Ensemble evolve classification algorithm for controlling the size of final model,ECSM)。通过基因操作和评价函数能够在AdaBoost迭代框架下强制保留物种样本的多样性,并留下更好的分类器。实验结果表明,本文提出的算法与经典的AdaBoost算法相比,在基本保持分类精度的前提下,大大减少了分类器数量。     

基于权重阈值寻优的案例推理分类器特征约简

为提高案例推(case-based reasoning,CBR)分类器的分类准确率并降低时间复杂度,本文提出了一种基于权重阈值寻优的特征约简策略.首先通过基于数据驱动的方法对特征权重进行分配,得到每个特征的权重结果;其次,设计特征权重重要度阈值的适应度函数,并利用遗传算法对该重要度阈值进行优化搜索,最后根据得到的优化阈值与特征的权重分配情况,删除权重小于该阈值的特征从而完成特征的约简过程.通过对比实验,本文所提策略能够有效提高CBR分类器的分类准确率并降低时间复杂度,表明了权重阈值寻优约简策略的可行性与优越性.验证了本文方法不仅可以降低CBR分类器的时间复杂度,而且能够提高CBR的决策与学习能力.     

一种有效的SAR图像自动目标识别方法

提出了一种有效的SAR图像中自动目标识别的方法。首先采取双阈值CFAR目标分割算法对SAR图像进行目标分割。通过对SAR图像的空间局部特征和PCA全局特征的提取,在参数学习的基础上,结合了遗传算法进行迭代优化获取分类器,实现SAR图像的自动目标识别。该方法可以直接对原始图像进行计算,避免了基于数据特征计算所带来的问题。实验结果显示,这种基于遗传算法的自动目标识别方法对T-72和BMP2坦克进行识别,获得了较好的识别率。     

一种基于PSO同步进行特征选择及参数优化的核K近邻分类算法

特征选择及分类器参数优化是提高分类器性能的两个重要方面,传统上这两个问题是分开解决的.近年来,随着进化优化计算技术在模式识别领域的广泛应用,编码上的灵活性使得特征选择及参数的同步优化成为一种可能和趋势.为了解决此问题,本文研究采用二进制PSO算法进行特征选择及核K近邻分类器参数的同步优化.实验表明,该方法可有效地找出合适的特征子集及核函数参数,并取得较好的分类效果.     

基于多分类器集成的手写体金融汉字识别

用基于遗传算法的全局优化技术动态地选择一组分类器,并根据应用的背景,采用合适的集成规则进行集成,从而综合了不同分类器的优势和互补性,提高了分类性能。实验结果表明,通过将遗传算法引入到多分类器集成系统的设计过程,其分类性能明显优于传统的单分类器的分类方法。     

基于混沌遗传算法的SVM特征和参数优化

为解决支持向量机(SVM)分类器的样本特征选择和参数优化问题,提出一种将特征选择和参数选择进行联合优化的方法。基于变尺度的混沌遗传算法,联合优化染色体编、译码,利用混沌的遍历性产生初始种群,改进遗传算法中的交叉算子,动态缩减寻优区间。将该方法应用于短波通信控制器的诊断分类器中,以实现分类器特征子集选取和参数的联合优化,结果表明该方法具有较强的寻优能力。     

改进GA-PSO优化SVM的行人检测算法

针对当前对于行人检测的准确率和检测效率的要求越来越高,提出一种GA-PSO算法对于支持向量机（SVM）参数优化的行人检测方法。首先,针对梯度直方图特征描述子的维数高、提取速度慢,使用PCA对其进行降维处理;以SVM算法作为分类器,为避免传统单核支持向量机算法检测率低的情况出现,以组合核函数作为分类器核函数,并设置松弛变量,引进惩罚因子,结合遗传算法（GA）和改进权重系数的粒子群算法（PSO）进行组合系数和参数的优化与选择,根据优化后的参数构成最终的SVM分类器进行行人检测。实验结果表明,与传统SVM检测以及其他优化方法相比,检测率方面都有明显改进,且满足对检测效率的要求。     

基于IGA的支持向量机特征子集选择和参数优化

特征子集选择和训练参数的优化一直是SVM研究中的两个重要方面,选择合适的特征和合理的训练参数可以提高SVM分类器的性能,以往的研究是将两个问题分别进行解决。随着遗传优化等自然计算技术在人工智能领域的应用,开始出现特征选择及参数的同时优化研究。研究采用免疫遗传算法（IGA）对特征选择及SVM 参数的同时优化,提出了一种IGA-SVM 算法。实验表明,该方法可找出合适的特征子集及SVM 参数,并取得较好的分类效果,证明算法的有效性。     

A computational intelligence algorithm for expensive engineering optimization problems

The modern engineering design optimization process often replaces laboratory experiments with computer simulations, which leads to expensive black-box optimization problems. Such problems often contain candidate solutions which cause the simulation to fail, and therefore they will have no objective value assigned to them, a scenario which degrades the search effectiveness. To address this, this paper proposes a new computational intelligence optimization algorithm which incorporates a classifier into the optimization search. The classifier predicts which solutions are expected to cause a simulation failure, and its prediction is used to bias the search towards solutions for which the simulation is expected to succeed. To further enhance the search effectiveness, the proposed algorithm continuously adapts during the search the type of model and classifier being used. A rigorous performance analysis using a representative application of airfoil shape optimization shows that the proposed algorithm outperformed existing approaches in terms of the final result obtained, and performed a search with a competitively low number of failed evaluations. Analysis also highlights the contribution of incorporating the classifier into the search, and of the model and classifier selection steps.     

Image modeling with combined optimization techniques for image semantic annotation

Image semantic annotation can be viewed as a multi-class classification problem, which maps image features to semantic class labels, through the procedures of image modeling and image semantic mapping. Bayesian classifier is usually adopted for image semantic annotation which classifies image features into class labels. In order to improve the accuracy and efficiency of classifier in image annotation, we propose a combined optimization method which incorporates affinity propagation algorithm, optimizing training data algorithm, and modeling prior distribution with Gaussian mixture model to build Bayesian classifier. The experiment results illustrate that the classifier performance is improved for image semantic annotation with proposed method.