不平衡多分类问题的连续AdaBoost算法研究

现有AdaBoost系列算法一般没有考虑类的先验分布.针对该问题,基于最小化训练错误率,通过把符号函数表示的训练错误率的极值问题转变成一种指数函数的极值问题,提出了不平衡分类问题连续AdaBoost算法,给出了该算法的近似误差估计.基于同样的方法,对二分类问题连续AdaBoost算法的合理性给出了一种全新的解释和证明,并推广到多分类问题,得到了多分类问题连续AdaBoost算法,其具有与二分类连续AdaBoost算法完全类似的算法流程.经分析该算法与Bayes统计推断方法等价,并且其训练错误率随着训练的分类器个数增加而减小.理论分析和基于UCI数据集的实验结果表明了不平衡多分类算法的有效性.在连续AdaBoost算法中,不平衡分类问题常被转换成平衡分类问题来处理,但当先验分布极度不平衡时,使用提出的不平衡分类问题连续AdaBoost算法比一般连续AdaBoost算法有更好效果.     

一种面向多类不平衡协议流量的改进AdaBoost.M2算法

针对AdaBoost。M2算法在解决多类不平衡协议流量的分类问题时存在不足,提出一种适用于因特网协议流量多类不平衡分类的集成学习算法RBWS-ADAM2,本算法在AdaBoost。M2每次迭代过程中,设计了基于权重的随机平衡重采样策略对训练数据进行预处理,该策略利用随机设置采样平衡点的重采样方式来更改多数类和少数类的样本数目占比,以构建多个具有差异性的训练集,并将样本权重作为样本筛选的依据,尽可能保留高权重样本,以加强对此类样本的学习。在国际公开的协议流量数据集上将RBWS-ADAM2算法与其他类似算法进行实验比较表明,相比于其他算法,该算法不仅对部分少数类的F-measure有较大提升,更有效提高了集成分类器的总体G-mean和总体平均F-measure,明显增强了集成分类器的整体性能。     

基于多类邻域三支决策模型的不平衡数据分类

不平衡数据分类是一种重要的数据分类问题。对于不平衡数据中规模较小的类,传统的分类算法的分类效果较差。对此,提出一种多类邻域三支决策模型的不平衡数据分类算法。首先,将传统的三支决策在混合数据和多个类的情形下进行推广,提出了混合数据的多类邻域三支决策模型;然后,在该模型中给出一种自适应代价函数的设定方法,并基于该方法提出了多类邻域三支决策模型的不平衡数据分类算法。仿真实验的结果表明,所提出的分类算法对于不平衡数据具有更好的分类性能。     

一种基于多目标进化算法的模糊关联分类方法

准确率和解释性是模糊关联分类模型的两个相互制约的优化目标.目前已有的研究方法中,有的只考虑了分类模型的准确率,有的把模型两个目标转化为单目标问题求解,在模型解释性目标上的优化策略较简单.为此提出一种基于Apriori和NSGA-II多目标进化算法的模糊关联分类模型(MOEA-FACM),采用基于概率独立性的模糊确认指标筛选生成高质量的模糊关联规则集,以Pittsburgh式的编码方式构建准确率和解释性折中的模糊关联分类模型.标准数据集上的实验表明,该方法所建模型分类准确率比同类模型高,分类模型具有较好的泛化能力,而其所含模糊关联规则的数目和规则前件总的模糊项的个数却较少,模型的解释性较好.     

多分类问题代价敏感AdaBoost算法

针对目前多分类代价敏感分类问题在转换成二分类代价敏感分类问题存在的代价合并问题, 研究并构造出了可直接应用于多分类问题的代价敏感AdaBoost算法.算法具有与连续AdaBoost算法 类似的流程和误差估计. 当代价完全相等时, 该算法就变成了一种新的多分类的连续AdaBoost算法, 算法能够确保训练错误率随着训练的分类器的个数增加而降低, 但不直接要求各个分类器相互独立条件, 或者说独立性条件可以通过算法规则来保证, 但现有多分类连续AdaBoost算法的推导必须要求各个分类器相互独立. 实验数据表明, 算法可以真正实现分类结果偏向错分代价较小的类, 特别当每一类被错分成其他类的代价不平衡但平均代价相等时, 目前已有的多分类代价敏感学习算法会失效, 但新方法仍然能 实现最小的错分代价. 研究方法为进一步研究集成学习算法提供了一种新的思路, 得到了一种易操作并近似满足分类错误率最小的多标签分类问题的AdaBoost算法.     

基于各类支持度阈值独立挖掘的关联改进算法

关联分类及较多的改进算法很难同时既具有较高的整体准确率又有较好的小类分类性能。针对此问题,提出了一种基于类支持度阈值独立挖掘的关联分类改进算法—ACCS。ACCS算法的主要特点是:(1)根据训练集中各类数量大小给出每个类类支持度阈值的设定方法,并基于各类的类支持度阈值独立挖掘该类的关联分类规则,尽量使小类生成更多高置信度的规则;(2)采用类支持度对置信度相同的规则排序,提高小类规则的优先级;(3)用综合考虑置信度和提升度的新的规则度量预测未知实例。在多个数据集上的实验结果表明,相比多种关联分类改进算法,ACCS算法有更高的整体分类准确率,且在不平衡数据上也能取得较好的小类分类性能。     

基于相关规则的不平衡数据的关联分类

许多研究表明关联分类具有较高的分类准确率,然而,大多数关联分类基于"支持度-置信度"框架,在不平衡数据集中,置信度和支持度都偏向产生多数类的规则,因此,少数类的实例容易被错误分类。针对上述问题,提出了一种基于相关规则的不平衡数据的关联分类算法。该算法挖掘频繁且互关联的项集,在以该项集为前件的分类规则中选取提升度最大的规则。规则按结合了提升度、置信度和补类支持度(CCS)的规则强度进行排序。实验表明,该算法取得了较高的平均分类准确率且在分类少数类的实例时具有更高的准确率。     

一种基于模糊关联分类的遥感图像分类方法

遥感图像分类是遥感领域的研究热点之一.提出了一种基于自适应区间划分的模糊关联遥感图像分类方法(fuzzy associative remote sensing classification,FARSC).算法根据遥感图像分类的特点,利用模糊C均值聚类算法自适应地建立连续型属性模糊区间,使用新的剪枝策略对项集进行筛选从而避免生成无用规则,采用一种新的规则重要性度量方法对多模糊分类规则进行融合,从而有效地提高分类效率和精确度.在UCI数据和遥感图像上所作实验结果表明,算法具有较高的分类精度以及对样本数量变化的不敏感性,对于解决遥感图像分类问题,FARSC算法具有较高的实用性,是一种有效的遥感图像分类方法.     

基于多分类AdaBoost改进算法的TEE标准切面分类

针对超声图像样本冗余、不同标准切面因疾病导致的高度相似性、感兴趣区域定位不准确问题,提出一种结合特征袋（BOF）特征、主动学习方法和多分类AdaBoost改进算法的经食管超声心动图（TEE）标准切面分类方法。首先采用BOF方法对超声图像进行描述;然后采用主动学习方法选择对分类器最有价值的样本作为训练集;最后,在AdaBoost算法对弱分类器的迭代训练中,根据临时强分类器的分类情况调整样本更新规则,实现对多分类AdaBoost算法的改进和TEE标准切面的分类。在TEE数据集和三个UCI数据集上的实验表明,相比AdaBoost.SAMME算法、多分类支持向量机（SVM）算法、BP神经网络和AdaBoost.M2算法,所提算法在各个数据集上的G-mean指标、整体分类准确率和大多数类别分类准确率都有不同程度的提升,且比较难分的类别分类准确率提升最为显著。实验结果表明,在包含类间相似样本的数据集上,分类器的性能有显著提升。     

一种基于聚类提升的不平衡数据分类算法

不平衡数据分类是机器学习研究领域中的一个热点问题。针对传统分类算法处理不平衡数据的少数类识别率过低问题,文章提出了一种基于聚类的改进AdaBoost分类算法。算法首先进行基于聚类的欠采样,在多数类样本上进行K均值聚类,之后提取聚类质心,与少数类样本数目一致的聚类质心和所有少数类样本组成新的平衡训练集。为了避免少数类样本数量过少而使训练集过小导致分类精度下降,采用少数过采样技术过采样结合聚类欠采样。然后,借鉴代价敏感学习思想,对AdaBoost算法的基分类器分类误差函数进行改进,赋予不同类别样本非对称错分损失。实验结果表明,算法使模型训练样本具有较高的代表性,在保证总体分类性能的同时提高了少数类的分类精度。     

一种新的基于平衡决策树的SVM多类分类算法

为了有效地减少样本训练时间,提高多类分类器的识别率,同时使模型具有较好的推广能力,在综合考虑待分类样本数和类别易分性能的基础上,在"先分样本数较大的类"和"先分易分的类"之间折衷考虑,提出一种基于样本的新的类划分方案.采用半衡决策树结构,得到了一种新的决策树支持向量机多类分类算法.实验结果表明,该算法在不降低识别率的情...     

支持向量预选的凸壳顶点法

为减少参训样本数量,加快支持向量机在大规模数据集上的学习速度,提出一种基于凸壳顶点法的支持向量预选算法.该算法基于线性可分样本集凸壳顶点的集合必然是支持向量超集的事实,运用对偶原理将凸壳顶点的求解转化为判断线性规划是否有解,从而求出样本集的凸壳顶点.构造了非线性映射函数,并将该算法推广到非线性可分样本集.基于人工数据集和标准数据集的实验结果验证了算法的有效性.     

铜转炉吹炼过程熔剂加入量的模糊操作模式挖掘方法

将包含条件参数和需要决策的操作参数组成一个操作模式向量,采用Sugeno模型构造一类基于操作模式的模糊推理系统以进行操作参数的决策.首先利用先验知识对海量数据集进行初步分类;然后采用一种基于模式相似度和相似矩阵的无监督聚类方法来辨识模糊操作模式决策的结构,自动确定模式的数量和模式的值.实例仿真表明,利用该方法进行操作参数优化决策时简便有效,可应用于PS转炉熔剂加入量的优化决策.     

不可测前件变量模糊H∞观测器研究及在GMAW系统的应用

基于前件变量未知的T-S模糊系统设计一类模糊观测器.将模糊系统转化为广义系统的形式,提出一种广义系统的观测器设计方法,消除了控制输入对观测误差方程的影响.针对测量端含有扰动的模糊系统,通过拉格朗目中值定理,将模糊观测器转化为一组线性矩阵不等式的求解问题,并将这种观测器的设计方法应用到熔化极气体保护焊系统,快速有效地实现了对弧长的观测.最后通过仿真分析验证了所提出的观测器设计方法的有效性.     

简化的分类微粒群算法及其在风电场建模中的应用

提出一种简化的分类微粒群算法.首先将微粒按适应值的差异划分成较好、普通和较差3类;然后对这3类微粒分别采用3种对应的没有速度项的简化模型进行动态制整,有效地增加了种群的多样性.通过对4种典型测试函数的仿真实验,并与经典PSO和2个目前较为流行的改进PSO进行比较,实验结果表明了所提出的改进算法具有更好的优化性能.将改进算法用于风电场风速概率模型优化的实验结果表明,与传统最小二乘法相比,该方法拟合的Weibull参数精度更高,更具实际参考价值.     

基于分布式传感器信息融合的辐射源识别

针对辐射源识别中基本概率赋值函数(BPAF)获取的难题,提出基于模糊集、灰关联分析和特征参数相似度的3种BPAF获取法,推演了获取BPAF的数学关系,建立了基于分布式传感器数种基本概率赋值获取法的信息融合辐射源识别模型,利用该模型进行了识别实验.识别过程中进行了多周期时域融合与分布式传感器窄域融合,并在不同信噪比下与模板匹配法作识别率比较.实验对比结果表明,分布式传感器信息融合识别法是有效的,辐射源平均识别率超过90%.     

基于谱聚类欠取样的不均衡数据SVM分类算法

提出一种基于谱聚类欠取样的不均衡数据支持向量机(SVM)分类算法.该算法首先在核空间中对多数类样本进行谱聚类;然后在每个聚类中根据聚类大小和该聚类与少数类样本间的距离,选择具有代表意义的信息点;最终实现训练样本间的数目均衡.实验中将该算法同其他不均衡数据预处理方法相比较,结果表明该算法不仅能有效提高SVM算法对少数类的分类性能,而且总体分类性能及运行效率都有明显提高.     

一种人工免疫算法优化的高有效性模糊聚类图像分割

针对传统模糊聚类初值敏感、易陷入局部最优的缺陷,将具有良好勘探和开采能力的人工免疫算法用于模糊聚类的优化并提出了相应的图像分割算法.利用改进的Hausdorff距离提出一种新的抗体浓度评价算子并定义了相应的免疫算子,简化了免疫操作,增强了算法自适应寻优能力.采用最近提出的一种有效性函数作为聚类适应度函数,以人工免疫算法寻优,从而自适应地确定聚类数日与中心,实现自动图像分割.仿真实验表明,该算法可以实现图像的自动高有效性分割.     

基于模糊结构元的模糊数直觉模糊多准则决策方法

针对准则权重信息不完全确定的模糊数直觉模糊多准则决策问题,采用模糊结构元方法进行处理.基于模糊数直觉模糊集的模糊结构元表示、模糊数比较和排序的模糊结构元方法以及直觉模糊数的记分函数和距离测度,定义了模糊数直觉模糊数的记分函数和距离测度,进而提出两种准则权重信息不完全确定而准则值为模糊数直觉模糊数的多准则决策方法:记分函数法和逼近理想解排序(TOPSIS)法.实例分析表明了这两种方法的可行性和有效性.     

基于光束角思想最大间隔学习机

受空间几何知识和光学领域光束角的启发,提出了基于光束角思想的最大间隔学习机(BAMLM).该方法试图在模式空间中找到一个“光源”分别照射两类样本,然后根据照射区域的不同确定样本类属.分析发现,BAMLM的核化形式等价于核化中心受限最小包含球(CCMEB),通过引入核心向量机将BAMLM扩展为基于核心向量机的BAMLM (BACVM),有效地解决了大规模样本的分类问题.标准数据集和人工数据集上的实验表明了BAMLM和BACVM的有效性.