极限学习机类不平衡数据学习算法研究

尽管极限学习机因具有快速、简单、易实现及普适的逼近能力等特点被广泛应用于分类、回归及特征学习问题,但是,极限学习机同其他标准分类方法一样将最大化各类总分类性能作为算法的优化目标,因此,在实际应用中遇到数据样本分布不平衡时,算法对大类样本具有性能偏向性。针对极限学习机类不平衡学习问题的研究起步晚,算法少的问题,在介绍了极限学习机类不平衡数据学习研究现状,极限学习机类不平衡数据学习的典型算法-加权极限学习机及其改进算法的基础上,提出一种不需要对原始不平衡样本进行处理的Adaboost提升的加权极限学习机,通过在15个UCI不平衡数据集进行分析实验,实验结果表明提出的算法具有更好的分类性能。     

#br# 耦合样本先验分布信息的加权极限学习机

极限学习机广泛用于分类、聚类、回归等任务中，但在处理类不平衡分类问题时，前人未充分考虑样本先验分布信息对分类性能的影响。针对此问题，本文提出耦合样本先验分布信息的加权极限学习机（Coupling sample Prior distribution Weighted Extreme Learning Machine，CPWELM）算法。该算法基于加权极限学习机，充分探讨不同分布样本点的重要程度，以此构造代价矩阵，进而提升分类器性能。本文通过12个不平衡数据集，对CPWELM算法的可行性及有效性进行了验证。结果表明，相比同类其他算法，CPWELM算法的性能更优。     

基于加权极限学习机的异常轨迹检测算法

针对现有异常轨迹检测中分类不平衡造成难以确定最优分类面的问题,提出一种基于加权极限学习机（ELM,Extreme Learning Machine）的异常轨迹检测算法。该算法采用加权ELM克服轨迹数据不平衡造成的分类面偏移,通过对正、负两类样本合理分配权重,并构造最优分类面获得较好的异常检测效果。仿真实验表明,加权ELM算法在训练速度,准确率,整体性能等方面均优干传统SVM和BP网络分类方法。     

加权空-谱局部信息保持极限学习机的高光谱图像分类算法

高光谱图像的分类研究是高光谱图像处理与应用的重要环节。为有效提取高光谱遥感图像的空间信息和光谱信息,本文基于极限学习机提出新的研究。在模式识别和机器学习领域,极限学习机以其简单、快捷和良好的泛化能力得到越来越多的关注。但由于在高光谱遥感图像的学习过程中极限学习机缺乏对空间信息和光谱信息的有效提取,无法在分类中提供良好的分类结果。为此,基于谱局部信息的思想构造本文的研究框架,提出一种加权空-谱局部信息保持极限学习机分类算法。为验证所提算法的有效性,本文在两组常用的高光谱数据集IndianPines和UniversityofPavia上进行实验,通过与传统的分类算法SVM和目前较为流行的分类算法KELM,KCRT-CK,MLR和LPKELM相比,本文算法具有较好的分类精度。     

基于不均衡样本重构的加权在线贯序极限学习机

针对现有学习算法难以有效提高不均衡在线贯序数据中少类样本分类精度的问题,提出一种基于不均衡样本重构的加权在线贯序极限学习机。该算法从提取在线贯序数据的分布特性入手,主要包括离线和在线两个阶段:离线阶段主要采用主曲线构建少类样本的可信区域,并通过对该区域内样本进行过采样,来构建符合样本分布趋势的均衡样本集,进而建立初始模型;而在线阶段则对贯序到达的数据根据训练误差赋予各样本相应权重,同时动态更新网络权值。采用UCI标准数据集和澳门实测气象数据进行实验对比,结果表明,与现有在线贯序极限学习机(OS-ELM)、极限学习机(ELM)和元认知在线贯序极限学习机(MCOS-ELM)相比,所提算法对少类样本的识别能力更高,且所提算法的模型训练时间与其他三种算法相差不大。结果表明在不影响算法复杂度的情况下,所提算法能有效提高少类样本的分类精度。     

基于柔性多面体的最优核极限学习机算法

针对核极限学习机参数优化困难的问题,提出一种基于网格搜索柔性多面体的最优化核极限学习机算法。为高斯核变量和惩罚变量构造二维网格,从网格中选取最小目标函数值所对应的参数点构造初始柔性多面体,解决柔性多面体对初始值敏感的问题;给柔性多面体的变形搜索参数添加权重值,区分核参数和惩罚参数对核极限学习机分类性能影响程度;通过迭代柔性多面体实现核极限学习参数的最优化搜索,用所获最优参数构造核极限学习机并用于数据分类。在UCI、KEEL和人工数据集上与其它优化核极限学习机算法进行计算结果比较,验证所提算法的可行性。     

不平衡数据加权集成学习算法

针对传统的机器学习算法对不平衡数据集的少类分类准确率不高的问题,基于支持向量机和模糊聚类,提出一种不平衡数据加权集成学习算法。首先提出加权支持向量机模型(Weighted Support Vector Machine,WSVM),该模型根据不同类别数据所占比例的不同,为各类别分配不同的权重,然后将WSVM与模糊聚类结合提出一种新的集成学习算法。将本文提出的算法应用于人造数据集和UCI数据集实验中,实验结果表明,所提出的算法能够有效地解决不平衡数据的分类问题,具有更好的分类性能。     

基于小波变换和AdaBoost极限学习机的癫痫脑电信号分类

针对单一极限学习机(ELM)在癫痫脑电信号研究中分类结果不稳定、泛化能力差的缺陷,提出一种基于互信息(MI)的AdaBoost极限学习机分类算法。该算法将AdaBoost引入到极限学习机中,并嵌入互信息输入变量选择,以强学习器最终的性能作为评价指标,实现对输入变量以及网络模型的优化。利用小波变换(WT)提取脑电信号特征,并结合提出的分类算法对UCI脑电数据集以及波恩大学癫痫脑电数据进行分类。实验结果表明,所提方法相比传统方法以及其他同类型研究,在分类精度和稳定性上有着明显提高,并具有较好的泛化性能。     

粗糙集属性约简的极限学习机网络入侵检测算法

针对网络入侵数据量大、属性冗余及属性之间线性相关导致分类算法计算速度慢、准确度不高等问题,提出一种改进粗糙集属性约简的极限学习机网络入侵分类算法。对训练集采用粗糙集正域和分辨矩阵相结合的方法获得属性核,筛选出只有属性核的数据集得到无冗余属性的特征集合;使用极限学习机(ELM)作为分类模型进行分类,使用支持向量机(SVM)、神经网络、极限学习机比较证明提出方法的有效性,为网络入侵检测提供一种新的解决方法。     

面向失衡数据的自适应加权ELM分类算法

为提高极限学习机在失衡数据中的整体分类性能,提出一种基于代价敏感学习的自适应加权极限学习机分类算法。考虑各类间样本的差异性和同一类内样本的丰富性,利用类样本数量差异构造初始惩罚权重,分析样本附近异类样本数量确定额外代价权重,将两种代价权重相加构建自适应代价敏感惩罚矩阵。在公共数据集上的一系列对比实验结果表明,采用的自适应加权策略兼顾了不同类别样本的分布,在不平衡数据集上有效提高了算法整体分类精度。