面对类别不平衡的增量在线序列极限学习机

针对在线序列极限学习机对于类别不平衡数据的学习效率低、分类准确率差的问题,提出了面对类别不平衡的增量在线序列极限学习机(IOS-ELM)。该算法根据类别不平衡比例调整平衡因子,利用分块矩阵的广义逆矩阵对隐含层节点数进行寻优,提高了模型对类别不平衡数据的在线处理能力,最后通过14个二类和多类不平衡数据集对该算法有效性和可行性进行验证。实验结果表明:该算法与同类其他算法相比具有更好的泛化性和准确率,适用于类别不平衡场景下的在线学习。     

类不平衡模糊加权极限学习机算法研究

从理论上分析了样例不平衡分布对极限学习机性能产生危害的原因;在该理论框架下探讨了加权极限学习机在处理此类问题上的有效性及其固有缺陷;引入模糊集的思想,对传统的加权极限学习机进行了改进,并提出了4种用于解决类不平衡问题的模糊加权极限学习机算法;最后通过20个基准的二类不平衡数据集对所提算法的有效性和可行性进行了验证。实验结果表明:较之加权极限学习机及几种传统的不平衡极限学习机算法,提出的算法可明显获得更优的分类性能,并且与模糊加权支持向量机系列算法相比,所提算法通常可获得与之相当的分类性能,但时间开销往往更小。     

面向不平衡数据流的自适应加权在线超限学习机算法

一般的在线学习算法对不平衡数据流的分类识别会遇到较大困难,特别是当数据流发生概念漂移时,对其进行分类会变得更困难.文中提出面向不平衡数据流的自适应加权在线超限学习机算法,自动调整实时到达的训练样本的惩罚参数,达到在线学习不平衡数据流的目的.文中算法可以适用于不同偏斜程度的静态数据流的在线学习和发生概念漂移时数据流的在线学习.理论分析和在多个真实数据流上的实验表明文中算法的正确性和有效性.     

极限学习机类不平衡数据学习算法研究

尽管极限学习机因具有快速、简单、易实现及普适的逼近能力等特点被广泛应用于分类、回归及特征学习问题,但是,极限学习机同其他标准分类方法一样将最大化各类总分类性能作为算法的优化目标,因此,在实际应用中遇到数据样本分布不平衡时,算法对大类样本具有性能偏向性。针对极限学习机类不平衡学习问题的研究起步晚,算法少的问题,在介绍了极限学习机类不平衡数据学习研究现状,极限学习机类不平衡数据学习的典型算法-加权极限学习机及其改进算法的基础上,提出一种不需要对原始不平衡样本进行处理的Adaboost提升的加权极限学习机,通过在15个UCI不平衡数据集进行分析实验,实验结果表明提出的算法具有更好的分类性能。     

加权在线贯序极限学习机算法及其应用

针对在线贯序极限学习机对所有数据等权处理这一缺陷,提出加权在线贯序极限学习机算法。依据运算过程中产生的网络均方根误差的差异,给新数据以及历史数据分配不同的权值,当网络均方根误差较大时减小其权值,较小时增大其权值。该算法实现了对新旧数据的不等权处理,利用航空发动机传感器数据验证该算法的可行性。验证结果表明,基于该算法所建的航空发动机传感器故障诊断模型要比基于传统在线贯序极限学习机算法所建模型的精度更高。     

在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。     

一种基于簇的极限学习机的在线学习算法

针对传统的批量学习算法学习速度慢、对空间需求量高的缺点,提出了一种基于簇的极限学习机的在线学习算法。该算法将分簇的理念融入到极限学习机中,并结合极限学习机,提出了一种基于样本类别和样本输出的分簇标准;同时提出了一种加权的Moore-Penrose算法求隐层节点与输出节点的连接权重。实验结果表明,该算法具有学习能力好、拟合度高、泛化性能好等优点。     

面向贯序不均衡数据的混合采样极限学习机

针对现有机器学习算法难以有效提高贯序不均衡数据分类问题中少类样本分类精度的问题,提出一种基于混合采样策略的在线贯序极限学习机。该算法可在提高少类样本分类精度的前提下,减少多类样本的分类精度损失,主要包括离线和在线两个阶段:离线阶段采用均衡采样策略,利用主曲线分别构建多类和少类样本的可信区域,在不改变样本分布特性的前提下,利用可信区域扩充少类样本和削减多类样本,进而得到均衡的离线样本集,建立初始模型;在线阶段仅对贯序到达的多类数据进行欠采样,根据样本重要度挑选最具价值的多类样本,进而动态更新网络权值。通过理论分析证明所提算法在理论上存在损失信息上界。采用UCI标准数据集和实际的澳门空气污染预报数据进行仿真实验,结果表明,与现有在线贯序极限学习机(OS-ELM)、极限学习机(ELM)和元认知在线贯序极限学习机(MCOS-ELM)算法相比,所提算法对少类样本的预测精度更高,且数值稳定性良好。     

WPLoss:面向类别不平衡数据的加权成对损失

类别不平衡数据是指不同类别的样本数目差异很大,AUC(area under the ROC curve)是衡量不平衡数据分类器性能的一个重要指标,由于AUC不可微,研究者提出了众多替代成对损失函数优化AUC。成对损失的样本对数目为正负样本数目的乘积,大量成对损失较小的正负样本对影响了分类器的性能。针对这一问题,提出了一种加权的成对损失函数WPLoss,通过赋予成对损失较大的正负样本对更高的损失权重,减少大量成对损失较小的正负样本对的影响,进而提升分类器的性能。在20newsgroup和Reuters-21578数据集上的实验结果验证了WPLoss的有效性,表明WPLoss能够提升面向不平衡数据的分类器性能。     

面向失衡数据的自适应加权ELM分类算法

为提高极限学习机在失衡数据中的整体分类性能,提出一种基于代价敏感学习的自适应加权极限学习机分类算法。考虑各类间样本的差异性和同一类内样本的丰富性,利用类样本数量差异构造初始惩罚权重,分析样本附近异类样本数量确定额外代价权重,将两种代价权重相加构建自适应代价敏感惩罚矩阵。在公共数据集上的一系列对比实验结果表明,采用的自适应加权策略兼顾了不同类别样本的分布,在不平衡数据集上有效提高了算法整体分类精度。     

改进的加权极速学习机

针对加权极速学习机人为固定权重可能会错失更优权重的问题,提出了改进的加权极速学习机。该方法的多数类的初始权重设为1,使用多数类与少数类样例数的比值作为少数类的初始权重,然后通过在多数类或者少数类中添加权重调节因子,从缩小和扩大两个方向去调节权重,最后通过实验结果选出最优的权重。实验分别使用原加权极速学习机、其他权重的极速学习机和新方法在改造的UCI数据集上进行比较。结果表明新方法无论是在F-mea-sure还是G-mean上都要优于其他加权极速学习机。     

#br#耦合样本先验分布信息的加权极限学习机

极限学习机广泛用于分类、聚类、回归等任务中,但在处理类不平衡分类问题时,前人未充分考虑样本先验分布信息对分类性能的影响。针对此问题,本文提出耦合样本先验分布信息的加权极限学习机（Coupling sample Prior distribution Weighted Extreme Learning Machine,CPWELM）算法。该算法基于加权极限学习机,充分探讨不同分布样本点的重要程度,以此构造代价矩阵,进而提升分类器性能。本文通过12个不平衡数据集,对CPWELM算法的可行性及有效性进行了验证。结果表明,相比同类其他算法,CPWELM算法的性能更优。     

Weighted Online Sequential Extreme Learning Machine for Class Imbalance Learning

Most of the existing sequential learning methods for class imbalance learn data in chunks. In this paper, we propose a weighted online sequential extreme learning machine (WOS-ELM) algorithm for class imbalance learning (CIL). WOS-ELM is a general online learning method that alleviates the class imbalance problem in both chunk-by-chunk and one-by-one learning. One of the new features of WOS-ELM is that an appropriate weight setting for CIL is selected in a computationally efficient manner. In one-by-one learning of WOS-ELM, a new sample can update the classification model without waiting for a chunk to be completed. Extensive empirical evaluations on 15 imbalanced datasets show that WOS-ELM obtains comparable or better classification performance than competing methods. The computational time of WOS-ELM is also found to be lower than that of the competing CIL methods.     

在线序列主动学习方法

现实世界中存在着大量无类标的数据,如各种医疗图像数据、网页数据等。在大数据时代,这种情况更加突出。标注这些无类标的数据需要付出巨大的代价。主动学习是解决这一问题的有效手段,也是近几年机器学习和数据挖掘领域中的一个研究热点。提出了一种基于在线序列极限学习机的主动学习算法,该算法利用在线序列极限学习机增量学习的特点,可显著提高学习系统的效率。另外,该算法用样例熵作为启发式度量无类标样例的重要性,用K-近邻分类器作为Oracle标注选出的无类标样例的类别。实验结果显示,提出的算法具有学习速度快、标注准确的特点。     

针对动态非平衡数据集鲁棒的在线极端学习机

动态数据存在数据量动态改变,数据类别分布非平衡、不稳定等问题,这些问题成为分类的难点。针对该问题,通过对在线极端学习机模型进行拓展,提出鲁棒的权值在线极端学习机算法。为解决动态数据非平衡性,该算法借助代价敏感学习理论生成局部动态权值矩阵,从而优化分类模型产生的经验风险。同时,算法进一步考虑动态数据由于时序性质改变造成的数据分布变化,而引入遗忘因子增强分类器对数据分布变更的敏感性。算法在不同数据分布的24个非平衡动态数据集上测试,取得了较好的效果。     

用于鲁棒性建模的概率权重极限学习机

极限学习机(ELM)在机器学习领域获得了很多的关注,并在应用方面取得了极大的成功。然而,极限学习机对训练数据中的异常值点和非高斯噪声非常敏感,从而大大阻碍了ELM的应用。概率权重ELM方法主要对含有异常值和非高斯噪声数据集进行建模,首先建立概率局部ELM模型,并在此基础上利用Parzen窗方法建立局部模型的概率分布,然后将概率分布作为权重来融合所有的局部模型以建立全局鲁棒性模型。该方法成功地应用了数学例子和UCI实例,并与传统ELM、正则化ELM和鲁棒ELM进行了比较分析,结果表明概率权重ELM表现出了较好的建模性能。     

无逆矩阵在线序列极限学习机

无逆矩阵极限学习机只能以批量学习方式进行训练,将其拓展为无逆矩阵在线学习版本,提出了无逆矩阵在线序列极限学习机算法(IOS-ELM)。所提算法增加训练样本时,利用Sherman Morrison Woodbury公式对新增样本数据后的模型进行更新,直接计算出新增隐含层输出权重,避免对已经分析过的训练样本的输出权重进行重复计算。给出了所提IOS-ELM算法的详细推导过程。在不同类型和大小的数据集上的实验结果表明,所提IOS-ELM算法非常适合在线方式逐步生成的数据集,在快速学习和性能方面都有很好的表现。     

一种灰色极限学习机预测方法

预测是一种根据已知数据在过去一定时间段内呈现出的发展的规律性对未来发展趋势进行描述的行为.近年来,预测被应用到很多领域,如电价预测、股票价格预测和气象预测等.然而传统的预测方法由于其精度不高或速度不快等问题,无法满足当今预测领域的需求.针对传统预测方法存在的问题,基于组合预测的思想,结合强化学习的累积函数的概念,提出了结合灰色预测模型和极限学习机的组合预测方法.算法在微软股票信息、Mackey-Glass时间序列数据和台湾液晶屏制造业的制造数据等实验数据集上进行了相关实验,结果表明该算法是有效的.     

基于主曲线的不均衡在线贯序极限学习机研究

针对现有机器学习算法难以有效提高不均衡在线贯序数据中少类样本分类精度的问题,提出了一种基于主曲线的不均衡在线贯序极限学习机。该方法的核心思路是根据在线贯序数据的分布特性,均衡各类别样本,以减少少类样本合成过程中的盲目性,主要包括离线和在线两个阶段。离线阶段采用主曲线分别建立各类别样本的分布模型,利用少类样本合成过采样算法对少类样本过采样,并根据各样本点到对应主曲线的投影距离分别为其设定相应大小的隶属度,最后根据隶属区间削减多类和少类虚拟样本,进而建立初始模型。在线阶段对贯序到达的少类样本过采样,并根据隶属区间均衡贯序样本,进而动态更新网络权值。通过理论分析证明了所提算法在理论上存在损失信息上界。采用UCI标准数据集和实际澳门气象数据进行仿真实验,结果表明,与现有典型算法相比,该算法对少类样本的预测精度更高,数值稳定性更好。