改进在线贯序极限学习机在模式识别中的应用

针对传统在线贯序极限学习机存在的过学习和分类器输出不稳定等问题,将结构风险最小化理论引入到极限学习机中,用小波函数替代原有的隐层激励函数构建正则小波极限学习机,并与在线学习方法结合,提出在线正则小波极限学习机。仿真实验结果表明,在线正则小波极限学习机克服过学习和局部最优等问题,能够实现快速在线学习,具有良好的泛化性和鲁棒性。     

一种基于增量加权平均的在线序贯极限学习机算法

针对在线序贯极限学习机(OS-ELM)对增量数据学习效率低、准确性差的问题, 提出一种基于增量加权平均的在线序贯极限学习机(WOS-ELM)算法.将算法的原始数据训练模型残差与增量数据训练模型残差进行加权作为代价函数,推导出用于均衡原始数据与增量数据的训练模型,利用原始数据来弱化增量数据的波动,使在线极限学习机具有较好的稳定性,从而提高算法的学习效率和准确性. 仿真实验结果表明, 所提出的WOS-ELM算法对增量数据具有较好的预测精度和泛化能力.     

基于主曲线的不均衡在线贯序极限学习机研究

针对现有机器学习算法难以有效提高不均衡在线贯序数据中少类样本分类精度的问题,提出了一种基于主曲线的不均衡在线贯序极限学习机。该方法的核心思路是根据在线贯序数据的分布特性,均衡各类别样本,以减少少类样本合成过程中的盲目性,主要包括离线和在线两个阶段。离线阶段采用主曲线分别建立各类别样本的分布模型,利用少类样本合成过采样算法对少类样本过采样,并根据各样本点到对应主曲线的投影距离分别为其设定相应大小的隶属度,最后根据隶属区间削减多类和少类虚拟样本,进而建立初始模型。在线阶段对贯序到达的少类样本过采样,并根据隶属区间均衡贯序样本,进而动态更新网络权值。通过理论分析证明了所提算法在理论上存在损失信息上界。采用UCI标准数据集和实际澳门气象数据进行仿真实验,结果表明,与现有典型算法相比,该算法对少类样本的预测精度更高,数值稳定性更好。     

面向贯序不均衡数据的混合采样极限学习机

针对现有机器学习算法难以有效提高贯序不均衡数据分类问题中少类样本分类精度的问题,提出一种基于混合采样策略的在线贯序极限学习机。该算法可在提高少类样本分类精度的前提下,减少多类样本的分类精度损失,主要包括离线和在线两个阶段:离线阶段采用均衡采样策略,利用主曲线分别构建多类和少类样本的可信区域,在不改变样本分布特性的前提下,利用可信区域扩充少类样本和削减多类样本,进而得到均衡的离线样本集,建立初始模型;在线阶段仅对贯序到达的多类数据进行欠采样,根据样本重要度挑选最具价值的多类样本,进而动态更新网络权值。通过理论分析证明所提算法在理论上存在损失信息上界。采用UCI标准数据集和实际的澳门空气污染预报数据进行仿真实验,结果表明,与现有在线贯序极限学习机(OS-ELM)、极限学习机(ELM)和元认知在线贯序极限学习机(MCOS-ELM)算法相比,所提算法对少类样本的预测精度更高,且数值稳定性良好。     

基于ELM的航空发动机传感器故障诊断方法研究

为了在嵌入式ARM11平台中更好地实现航空发动机传感器故障监测与诊断,使用极限学习机（ ELM）代替传统的BP网络算法,只需选定隐含层节点数和激活函数,大大减少了BP算法中人为设置大量参数、训练过程慢,并需要不断调整网络参数以及容易陷入局部最优解的缺点。经过仿真验证对比两种算法,验证ELM算法的优越性。并使用C＋＋编程语言将ELM算法转换成航空发动机传感器故障诊断训练学习软件和诊断软件,经最终测试,该算法软件的测试精度良好,满足诊断需求。     

面向类别不平衡数据的主动在线加权极限学习机算法

针对在样本类别分布不平衡场景下,现有的主动学习算法普遍失效及训练时间过长等问题,提出采用建模速度更快的极限学习机,即ELM(Extreme Learning Machine)作为主动学习的基分类器,并以加权ELM算法用于主动学习过程的平衡控制,进而在理论上推导了其在线学习的过程,大幅降低了主动学习的时间开销,并将最终的混合算法命名为AOW-ELM算法。通过12个基准的二类不平衡数据集验证了该算法的有效性与可行性。     

基于极限学习机的航空发动机传感器故障诊断

针对当前应用于航空发动机传感器故障诊断中的基于梯度的传统学习算法多存在参数选择困难、容易陷入局部最小化、过拟合等问题,提出了基于极限学习机(ELM)的航空发动机传感器故障诊断方法。算法只需设置隐含层神经元的个数,能够较好地避免上述问题,缩短故障诊断时间、提升诊断精度。通过仿真试验表明:基于ELM算法所建的航空发动机传感器故障诊断模型要比基于BP神经网络算法所建的模型耗时短且精度高。     

面向贯序不均衡分类的粒度极限学习机

针对现有算法对贯序到达的密度型不均衡数据分类效果不佳的缺陷, 提出一种基于粒度划分的在线贯序极限学习机算法. 离线阶段,根据数据分布特性对多类样本进行粒度划分, 用粒心代替原有样本, 建立初始模型; 在线阶段, 根据更新后的分布特性对多类边界数据进行二次粒度划分, 替换原有边界数据, 并动态更新网络权值. 理论分析证明该算法存在信息损失上界. 实验结果表明, 该算法能有效提高贯序不均衡数据上的整体泛化性能和分类效率.     

在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。     

PID补偿的完全在线序贯极限学习机控制器在输入扰动系统自适应控制中的应用

针对输入受外界扰动的系统在实现自适应控制难的问题,提出一种比例-积分-微分（PID）补偿的完全在线序贯极限学习机（FOS-ELM）控制器设计方法。首先,建立系统的动态线性模型,采用FOS-ELM算法设计控制器并学习其参数;其次,计算系统的实际输出误差,结合系统的控制误差,设计所需补偿的PID增量参数;最后,对PID补偿的FOS-ELM控制器参数在线调整并用于系统控制。在发动机空气燃油比（AFR）控制系统模型上进行实验,实验结果表明上述方法在实现自适应控制的同时降低了系统扰动输入带来的干扰,提高了系统有效控制率,在正负干扰系数为0.2时,其有效控制率从不足53%提高到93%以上。同时该方法易于实现,具有很强的鲁棒性和实用价值。     

面对类别不平衡的增量在线序列极限学习机

针对在线序列极限学习机对于类别不平衡数据的学习效率低、分类准确率差的问题,提出了面对类别不平衡的增量在线序列极限学习机(IOS-ELM)。该算法根据类别不平衡比例调整平衡因子,利用分块矩阵的广义逆矩阵对隐含层节点数进行寻优,提高了模型对类别不平衡数据的在线处理能力,最后通过14个二类和多类不平衡数据集对该算法有效性和可行性进行验证。实验结果表明:该算法与同类其他算法相比具有更好的泛化性和准确率,适用于类别不平衡场景下的在线学习。     

Ensemble of online sequential extreme learning machine

Liang et al. [A fast and accurate online sequential learning algorithm for feedforward networks, IEEE Transactions on Neural Networks 17 (6) (2006), 1411–1423] has proposed an online sequential learning algorithm called online sequential extreme learning machine (OS-ELM), which can learn the data one-by-one or chunk-by-chunk with fixed or varying chunk size. It has been shown [Liang et al., A fast and accurate online sequential learning algorithm for feedforward networks, IEEE Transactions on Neural Networks 17 (6) (2006) 1411–1423] that OS-ELM runs much faster and provides better generalization performance than other popular sequential learning algorithms. However, we find that the stability of OS-ELM can be further improved. In this paper, we propose an ensemble of online sequential extreme learning machine (EOS-ELM) based on OS-ELM. The results show that EOS-ELM is more stable and accurate than the original OS-ELM.     

基于深度极限学习机的模拟电路故障诊断

针对模拟电路故障诊断中特征提取以及模型训练时间较长的难题,采用了一种基于深度极限学习机的模拟电路故障诊断算法。该算法将深度学习中自编码器的思想引入到极限学习机中,构建深度网络,将底层的故障特征转换更加抽象的高级特征,能自主地学习数据特征,避免了繁琐的特征提取和选择。最终通过Sallen-Key和四运放双二次高通滤波2个模拟电路进行仿真研究,实验结果验证了算法在模拟电路故障诊断上的可行性,也表明模型学习速度快、泛化能力好,具有较强的诊断能力,故障诊断分类准确率可以达到100%,诊断时间在0.3 s左右。     

基于差分进化优化ELM的模拟电路故障诊断

极限学习机具有学习速度快、精度高的优点。为了进一步提高泛化能力,将差分进化算法的全局寻优和算法简单的特点引入到极限学习机的参数优化中,建立了基于差分进化算法优化极限学习机的模型,使两种算法的优点有机结合,应用于模拟电路故障诊断中。首先利用主元分析对电路采样信号进行处理,提取故障特征;其次利用差分进化算法的全局寻优能力优化极限学习机网络的权值和阈值,具有很好的泛化能力。此方法应用于电路仿真实例中,能在较短的时间内获得满意的结果。     

限定记忆极端学习机及其应用

为了实现极端学习机（ELM）的在线训练,提出一种限定记忆极端学习机（FM-ELM）.FM-ELM以逐次增加新训练样本与删除旧训练样本的方式,提高其对于系统动态变化特性的自适应性,并根据矩阵求逆引理实现了网络输出权值的递推求解,减小了在线训练过程的计算代价.应用于具有动态变化特性的非线性系统在线状态预测表明,FM-ELM是一种有效的ELM在线训练模式,相比于在线贯序极端学习机,FM-ELM具有更快的调节速度和更高的预测精度.     

一种基于簇的极限学习机的在线学习算法

针对传统的批量学习算法学习速度慢、对空间需求量高的缺点,提出了一种基于簇的极限学习机的在线学习算法。该算法将分簇的理念融入到极限学习机中,并结合极限学习机,提出了一种基于样本类别和样本输出的分簇标准;同时提出了一种加权的Moore-Penrose算法求隐层节点与输出节点的连接权重。实验结果表明,该算法具有学习能力好、拟合度高、泛化性能好等优点。     

基于改进极限学习机算法的行为识别

重点研究了极限学习机ELM对行为识别检测的效果。针对在线学习和行为分类上存在计算复杂性和时间消耗大的问题,提出了一种新的行为识别学习算法(ELM-Cholesky)。该算法首先引入了基于Cholesky分解求ELM的方法,接着依据在线学习期间核函数矩阵的更新特点,将分块矩阵Cholesky分解算法用于ELM的在线求解,使三角因子矩阵实现在线更新,从而得出一种新的ELM-Cholesky在线学习算法。新算法充分利用了历史训练数据,降低了计算的复杂性,提高了行为识别的准确率。最后,在基准数据库上采用该算法进行了大量实验,实验结果表明了这种在线学习算法的有效性。