神经网络极速学习方法研究进展

神经网络已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用,但学习方法的速度不能满足实际需求。传统的误差反向传播方法(BP)主要是基于梯度下降的思想,需要多次迭代;网络的所有参数都需要在训练过程中迭代确定,因此算法的计算量和搜索空间很大。ELM(Extreme Learning Machine,ELM)是一次学习思想使得学习速度提高很多,避免了多次迭代和局部最小值,具有良好的泛化性能、鲁棒性与可控性。但对于不同的数据集和不同的应用领域,无论ELM是用于数据分类或是回归,ELM算法本身还是存在问题,所以本文对已有方法深入对比分析,并指出极速学习方法未来的发展方向。     

Lasso极限最小学习机

极限最小学习机ELM(Extreme Learning Machine)是一种具有快速学习能力的神经网络训练算法。它通过随机选择神经网络节点的参数结合最小二乘法达到了减少训练时间的目的,但它需要产生大量的神经网络节点协助运算。提出一种利用迭代式Lasso回归优化的极限最小学习机(Lasso-ELM),它具有以下优势:(1)能大幅减少神经网络隐藏层节点的数量;(2)具有更好的神经网络泛化能力。实验表明Lasso-ELM的综合性能优于ELM、BP与SVM。     

基于在线序列极限学习机的车牌字符识别方法

当前基于神经网络方法的车牌字符识别技术都使用固定的训练样本,学习的效果受初始样本限制,对于识别过程中新出现的不同角度、光线等特征的字符图片不能自适应地学习。本文针对这个问题提出了基于在线序列极限学习机(OS-ELM)的车牌字符识别方法。在样本实时更新中使系统自适应调整网络权值,不断提高识别准确率。本文设计了汉字、字母、字母混合数字三个字符分类器,根据车牌字符的排列特征识别相应的字符。通过与传统ELM方法和BP神经网络法对比,结果证明该字符识别技术达到了较高的识别率,在训练速度上也比BP神经网络法提高了2~3个数量级。     

基于共轭梯度的极速学习机

极速学习机(ELM)由于具有较快的训练速度和较好的泛化能力而被广泛的应用到很多的领域,然而在计算数据样例个数较大的情况下,它的训练速度就会下降,甚至会出现程序报错,因此提出在ELM模型中用改进的共轭梯度算法代替广义逆的计算方法。实验结果表明,与求逆矩阵的ELM算法相比,在同等泛化精度的条件下,共轭梯度ELM有着更快的训练速度。通过研究发现:基于共轭梯度的极速学习机算法不需要计算一个大型矩阵的广义逆,而大部分广义逆的计算依赖于矩阵的奇异值分解(SVD),但这种奇异值分解对于阶数很高的矩阵具有很低的效率;因为已经证明共轭梯度算法可通过有限步迭代找到其解,所以基于共轭剃度的极速学习机有着较高的训练速度,而且也比较适用于处理大数据。     

基于天牛群优化与改进正则化极限学习机的网络入侵检测EI北大核心CSCD

正则化极限学习机(Regularized extreme learning machine,RELM)因其极易于实现、训练速度快等优点在诸多领域均取得了成功应用.对此,本文将RELM引入到入侵检测中,设计了天牛群优化算法(Beetle swarm optimization,BSO),并针对RELM由于随机初始化参数带来的潜在缺陷,提出基于天牛群优化与改进正则化极限学习机(BSO-IRELM)的网络入侵检测算法.使用LU分解求解RELM的输出权值矩阵,进一步缩短了RELM的训练时间,同时利用BSO对RELM的权值和阈值进行联合优化.为避免BSO算法陷入局部最优,引入Tent映射反向学习、莱维飞行的群体学习与动态变异策略提升优化性能.实验结果表明,在机器学习UCI数据集上,相比于RELM、IRELM、GA-IRELM、PSO-IRELM等算法,BSO-IRELM的数据分类性能提升明显.最后,将BSO-IRELM应用于网络入侵检测数据集NSL-KDD,并与BP(Back propagation)、LR(Logistics regression)、RBF(Radial basis function)、AB(AdaBoost)、SVM(Support vector machine)、RELM、IRELM等算法进行了对比,结果证明BSO-IRELM算法在准确率、精确率、真正率和假正率等指标上均具有明显优势.     

基于迁移学习的风力发电机叶片裂缝识别

采用基于Inception v3模型的迁移学习方法对风机叶片裂缝进行自动检测,分别设计了基于反向传播(BP)神经网络和超限学习机(ELM)的全连接层实现叶片状态分类。实验结果表明:迁移学习方法的收敛速度和网络精度均优于Faster R-CNN和Yolo v3深度学习算法。对于结构相对简单的全连接层,用ELM超限学习机可取得与BP神经网络相近的性能指标(准确率89. 3%,召回率91. 5%,F1值0. 819),但训练速度可提高上千倍,适用于对实时性要求较高的应用场景。     

基于l1-正则化的ELM回归集成学习

极速学习机(extreme learning machine,ELM)是近年提出的一种极其快速且具有良好泛化性保证的单隐层神经网络学习算法.然而ELM随机的设置权值带来的不足是其性能的不稳定.稀疏的ELM回归集成学习算法(sparse ensemble regressors of ELM,SERELM)通过稀疏地加权组合多个不稳定ELM学习机弥补该不足.一方面,在典型时间序列上的回归实验不仅验证了SERELM的性能优于单个ELM回归器,而且也优于其他两个最近提出的集成方法.另一方面,集成学习的优劣通常与多样性密切相关,而对回归如何定义和度量多样性仍是一个问题,这导致了目前几乎没有一个普遍认可的合适度量方法.SERELM则利用l1-正则化,绕开了这一问题,且实验结果表明:1)l1-正则化自动地为精度高的学习机赋以大的权值;2)很大程度上,回归中常用个体间的负相关性对多样性度量无效.     

基于IHS_RELM的网络安全态势预测方法

针对网络安全态势感知中的态势预测问题,提出一种基于IHS_RELM的网络安全态势预测方法。对和声搜索算法的原理进行了研究,在此基础上提出一种改进的和声搜索算法。将正则极速学习机(RELM)嵌入到改进的和声搜索算法(IHS)的目标函数计算过程中,利用IHS算法的全局搜索能力来优化选取RELM的输入权值和隐含层阈值,在一定程度上提升了RLLM的学习能力和泛化能力。仿真实验表明,与已有的其他预测方法相比,该方法具有更好的预测效果。     

迭代修正鲁棒极限学习机

极限学习机（ELM）的许多变体都致力于提高ELM对异常点的鲁棒性，而传统的鲁棒极限学习机（RELM）对异常点非常敏感，如何处理数据中的过多极端异常点变成构建RELM模型的棘手问题。对于残差较大的异常点，采用有界损失函数消除异常点对模型的污染；为了解决异常点过多的问题，采用迭代修正技术修改数据以降低由异常点过多带来的影响。结合这两种方法，提出迭代修正鲁棒极限学习机（IMRELM）。IMRELM通过迭代的方式求解，在每次的迭代中，通过对样本重加权减小异常点的影响，在不断修正的过程中避免算法出现欠拟合。在具有不同异常点水平的人工数据集和真实数据集上对比了IMRELM、ELM、加权极限学习机（WELM）、迭代重加权极限学习机（IRWELM）和迭代重加权正则化极限学习机（IRRELM）。在异常点占比为80%的人工数据集上，IRRELM的均方误差（MSE）为2.450 44，而IMRELM的MSE为0.000 79。实验结果表明，IMRELM在具有过多极端异常点的数据上具有良好的预测精度和鲁棒性。     

基于极限学习机的航空发动机传感器故障诊断

针对当前应用于航空发动机传感器故障诊断中的基于梯度的传统学习算法多存在参数选择困难、容易陷入局部最小化、过拟合等问题,提出了基于极限学习机(ELM)的航空发动机传感器故障诊断方法。算法只需设置隐含层神经元的个数,能够较好地避免上述问题,缩短故障诊断时间、提升诊断精度。通过仿真试验表明:基于ELM算法所建的航空发动机传感器故障诊断模型要比基于BP神经网络算法所建的模型耗时短且精度高。     

用于大数据分类的快速隐层优化分布式极限学习机

针对大数据分类问题应用设计了一种快速隐层优化方法来解决分布式超限学习机（Extreme Learning Machine,ELM）在训练过程中存在的突出问题--需要独立重复运行多次才能优化隐层结点个数或模型泛化性能。在不增加算法时间复杂度的前提下,新算法能同时训练多个ELM隐层网络,全面兼顾模型泛化能力和隐层结点个数的优化,并通过分布式计算避免大量重复计算。同时,在算法求解过程中通过这种方式能更精确、更直观地学习隐含层结点个数变化带来的影响。比较多种类型标准测试函数的实验结果,相对于分布式ELM,新算法在求解精度、泛化能力、稳定性上大大提高。     

面向人体动作识别的随机增量型混合学习机模型

针对自然人机交互应用中的人体动作识别问题,总结了传统机器学习模型在识别人体动作时的缺点,然后在此基础上针对自然人机交互应用的独特要求提出了面向人体动作识别的随机增量型混合学习机模型.该模型将误差反向传播模型、增量型极限学习机模型和双端增量型极限学习机模型相结合,克服了传统方法在识别人体动作时的不足.详细阐述了针对面向人体动作识别的随机增量型混合学习机模型的算法理论、模型合理性和实现方案.最后通过对比识别实验结果,验证了随机增量型混合学习机模型在识别人体动作问题上具有更好的鲁棒性、实时性和准确性.     

一种基于鲁棒估计的极限学习机方法

极限学习机(ELM)是一种单隐层前馈神经网络(single-hidden layer feedforward neural networks,SLFNs),它相较于传统神经网络算法来说结构简单,具有较快的学习速度和良好的泛化性能等优点。ELM的输出权值是由最小二乘法(least square,LE)计算得出,然而经典的LS估计的抗差能力较差,容易夸大离群点和噪声的影响,从而造成训练出的参数模型不准确甚至得到完全错误的结果。为了解决此问题,提出一种基于M估计的采用加权最小二乘方法来取代最小二乘法计算输出权值的鲁棒极限学习机算法(RBELM),通过对多个数据集进行回归和分类分析实验,结果表明,该方法能够有效降低异常值的影响,具有良好的抗差能力。     

基于极限学习机与改进K-means算法的入侵检测方法

入侵检测系统对于保障网络安全至关重要。针对传统的单一检测算法很难对不同种类的攻击都有很好检测效果的问题,提出一种结合极限学习机与改进K means算法的入侵检测方法。基于算法级联的方式,利用新型线性修正单元（PReLU）激活函数对极限学习机算法进行优化,采用设置距离阈值的方式,实现K means算法自动选择初始聚类中心与聚类簇数目的双重优化,设计了一种混合式入侵检测方法。采用NSL KDD数据集对所提出的入侵检测方法进行仿真实验,实验结果表明,与传统的BP神经网络、支持向量机与极限学习机算法相比,该方法有效地提高了检测效果,同时降低了误报率。     

极限学习机在岩性识别中的应用

基于传统支持向量机(SVM)训练速度慢、参数选择难等问题,提出了基于极限学习机(ELM)的岩性识别.该算法是一种新的单隐层前馈神经网络(SLFNs)学习算法,不但可以简化参数选择过程,而且可以提高网络的训练速度.在确定了最优参数的基础上,建立了ELM的岩性分类模型,并且将ELM的分类结果与SVM进行对比.实验结果表明,ELM以较少的神经元个数获得与SVM相当的分类正确率,并且ELM参数选择比SVM简便,有效降低了训练速度,表明了ELM应用于岩性识别的可行性和算法的有效性.     

基于多特征融合与CELM的场景分类算法

场景分类对于场景图像的语义解译至关重要,是遥感领域近期的主要研究课题之一。针对大部分图像分类方法中提取的特征结构单一,依赖于大量人工标记的数据以及分类器的训练过程缓慢等问题,提出了一种基于多特征融合与约束极限学习机（constrained extreme learning machines,CELM）的场景图像分类方法。该方法采用三种不同结构的预训练卷积神经网络,利用特定数据集对其进行微调,将微调后网络提取到的三种特征进行融合并送入CELM分类器进行分类,最终得到图像的类别标签。以SIRI-WHU、WHU-RS19与UC-Merced数据集作为实验数据集,在预训练卷积神经网络、单一特征和传统分类器上进行的对比实验表明,基于多特征融合与CELM相结合的方法产生了较好的分类效果,三种数据集上的总分类精度分别高达99.25%、98.26%与97.70%。     

基于改进极限学习机的泥石流发生预测

为提高泥石流预测预报的准确性,提出一种基于DBSCAN聚类的改进极限学习机(ELM)算法。首先,利用DBSCAN算法对泥石流发生训练的数据进行聚类处理;其次,将聚类得到的不同训练集分类训练ELM分类器;最后,利用ELM分类器对预测集数据进行预测。实验结果表明,利用改进ELM算法对泥石流发生预测的平均准确率达到91.6%,改进ELM算法的稳定性与传统ELM算法相比有明显提高,与传统ELM算法、BP神经网络和Fisher预测法相比,改进ELM算法的预测精度更高。     

基于PSO-ELM的机器人精度补偿方法研究

为了提高机器人的定位精度,对传统的基于神经网络的机器人精度补偿方法进行改进。采用两种基于粒子群优化的极限学习机（PSO-ELM）模型的精度补偿方法对机器人关节坐标及直角坐标进行补偿。分别对两种方法进行仿真实例分析,并与遗传算法优化的极限学习机（GA-ELM）模型进行对比。仿真结果表明,对直角坐标进行补偿的PSO-ELM机器人精度补偿法优于其他补偿方法,且具有较高的预测精度。     

在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。