流形极限学习机自编码特征表示

极限学习机（ELM）作为一种无监督分类方法,具有学习速度快、泛化性能高、逼近能力好的优点。随着无监督学习的发展,将ELM与自动编码器集成已成为无标签数据集提取特征的新视角,如极限学习机自动编码器（ELM-AE）是一种无监督的神经网络,无需迭代即可找到代表原始样本和其学习过程的主要成分。其重建输入信号获取原始样本的主要特征,且考虑了原始数据的全局信息以避免信息的丢失,然而这类方法未考虑数据的固有流形结构即样本间的近邻结构关系。借鉴极限学习机自动编码器的思想,提出了一种基于流形的极限学习机自动编码器算法（M-ELM）。该算法是一种非线性无监督特征提取方法,结合流形学习保持数据的局部信息,且在特征提取过程中同时对相似度矩阵进行学习。通过在IRIS数据集、脑电数据集和基因表达数据集上进行实验,将该算法与其他无监督学习方法PCA、LPP、NPE、LE和ELM-AE算法经过[k]-means聚类后的准确率进行了比较,以表明该算法的有效性。     

基于局部线性嵌入极限学习机的人脸识别新方法

针对人脸图片数量多、容易受噪声干扰,致使人脸识别的识别速度慢、准确率低的问题,提出一种基于局部线性嵌入极限学习机的人脸识别方法——LLE-ELM算法。利用局部线性嵌入(LLE)算法对人脸数据提取特征,最大限度保留原数据的特征结构,减少数据量,降低计算复杂;采用极限学习机(ELM)算法对提取特征后的数据进行分类;实现人脸识别,输出识别准确率和时长。通过在ORL数据库、Yale数据库、AR人脸库和CASIA-WEBFACE人脸库上的数值实验表明:与PCA、SVM、CNN算法对比,该算法具有较高的识别准确率和较快的识别速度。     

局部信息保持极限学习机的遥感图像分类

极限学习机ELM(Extreme learning machine)以其简单快速和良好的泛化能力在模式识别和机器学习领域得到了广泛的应用。近年来,研究人员将其应用到高光谱遥感图像分类问题中。然而,由于数据样本有限,极限学习机及其相关技术在遥感图像中存在数据学习不充分的问题。流形学习算法揭示了数据内在的几何结构信息。根据遥感图像的特点,基于流形学习的思想,将遥感图像数据样本的流行结构引入到ELM模型中,提出一种基于局部信息保持极限学习机LPKELM(locality information preserving extreme learning machine)。为了验证所提算法的有效性,使用两个高光谱遥感图像数据集进行实验。实验结果表明,LPKELM的分类性能优于SVM、KELM、KCRT-CK和MLR算法。     

基于深度极限学习机的模拟电路故障诊断

针对模拟电路故障诊断中特征提取以及模型训练时间较长的难题,采用了一种基于深度极限学习机的模拟电路故障诊断算法。该算法将深度学习中自编码器的思想引入到极限学习机中,构建深度网络,将底层的故障特征转换更加抽象的高级特征,能自主地学习数据特征,避免了繁琐的特征提取和选择。最终通过Sallen-Key和四运放双二次高通滤波2个模拟电路进行仿真研究,实验结果验证了算法在模拟电路故障诊断上的可行性,也表明模型学习速度快、泛化能力好,具有较强的诊断能力,故障诊断分类准确率可以达到100%,诊断时间在0.3 s左右。     

选择性集成极限学习机分类器建模研究

极限学习机ELM(Extreme Learning Machine)具有训练过程极为快速的优点,但在实际分类应用中ELM分类器的分类精度和稳定性有时并不能满足要求。针对这一问题,在ELM用于分类时引入一种训练结果信息量评价指标来改进输出权值矩阵的求解方法,并增加隐层输出矩阵竞争机制来提高ELM的稳定性。为了进一步提高ELM的分类正确率,借鉴神经网络集成的理论,提出一种选择性集成ELM分类器。在集成方法中采用改进Bagging法并提出一种基于网络参数向量的相似度评价方法和选择性集成策略。最后通过UCI数据测试表明,同Bagging法和传统的全集成法相比,该方法拥有更为优秀的分类性能。     

极限学习机类不平衡数据学习算法研究

尽管极限学习机因具有快速、简单、易实现及普适的逼近能力等特点被广泛应用于分类、回归及特征学习问题,但是,极限学习机同其他标准分类方法一样将最大化各类总分类性能作为算法的优化目标,因此,在实际应用中遇到数据样本分布不平衡时,算法对大类样本具有性能偏向性。针对极限学习机类不平衡学习问题的研究起步晚,算法少的问题,在介绍了极限学习机类不平衡数据学习研究现状,极限学习机类不平衡数据学习的典型算法-加权极限学习机及其改进算法的基础上,提出一种不需要对原始不平衡样本进行处理的Adaboost提升的加权极限学习机,通过在15个UCI不平衡数据集进行分析实验,实验结果表明提出的算法具有更好的分类性能。     

一种基于鲁棒估计的极限学习机方法

极限学习机(ELM)是一种单隐层前馈神经网络(single-hidden layer feedforward neural networks,SLFNs),它相较于传统神经网络算法来说结构简单,具有较快的学习速度和良好的泛化性能等优点。ELM的输出权值是由最小二乘法(least square,LE)计算得出,然而经典的LS估计的抗差能力较差,容易夸大离群点和噪声的影响,从而造成训练出的参数模型不准确甚至得到完全错误的结果。为了解决此问题,提出一种基于M估计的采用加权最小二乘方法来取代最小二乘法计算输出权值的鲁棒极限学习机算法(RBELM),通过对多个数据集进行回归和分类分析实验,结果表明,该方法能够有效降低异常值的影响,具有良好的抗差能力。     

基于极限学习机的股票价格预测

极限学习机（ Extreme Learning Machine , ELM）是一种新型的单馈层神经网络算法,克服了传统的误差反向传播方法需要多次迭代,算法的计算量和搜索空间大的缺点,只需要设置合适的隐含层节点个数,为输入权和隐含层偏差进行随机赋值,一次完成无需迭代。研究表明股票市场是一个非常复杂的非线性系统,需要用到人工智能理论、统计学理论和经济学理论。本文将极限学习机方法引入股票价格预测中,通过对比支持向量机（ Support Vector Machine , SVM）和误差反传神经网络（ Back Propagation Neural Network , BP神经网络）,分析极限学习机在股票价格预测中的可行性和优势。结果表明极限学习机预测精度高,并且在参数选择及训练速度上具有较明显的优势。     

极限学习机ELM在图像分割中的应用研究

使用极限学习机(ELM)的方法进行图像分割问题研究。针对传统图像分割方法中存在着结构设计复杂、所需时间较长、造成图像分割分辨率低,清晰度不高等问题,提出了一种基于极限学习机的图像分割算法。在确定了最优参数的基础上,建立了基于ELM的图像分割算法。最后仿真实验证明本文提出的算法能快速有效的分割图像,图像分割孤立点少,边缘明显,同时该算法大大的缩短了样本的训练时间。     

基于收缩极限学习机的故障诊断鲁棒方法

为降低特征噪声对分类性能的影响,提出一种基于极限学习机(extreme learning machine,ELM)的收缩极限学习机鲁棒算法模型(CELM)。采用自编码器对输入数据进行重构,将隐层输出值关于输入的雅克比矩阵的F范数引入到目标函数中,提取出更具鲁棒性的抽象特征表示,利用提取到的新特征对常规的ELM层进行训练,提高方法的鲁棒性。对Mnist、UCI数据集、TE过程数据集以及添加不同强度的混合高斯噪声之后的Mnist数据集进行仿真,实验结果表明,提出的方法较ELM、HELM具有更高的分类精度和更好的鲁棒性。     

一种鲁棒非平衡极速学习机算法

极速学习机（ELM）算法只对平衡数据集分类较好,对于非平衡数据集,它通常偏向多数样本类,对于少数样本类性能较低。针对这一问题,提出了一种处理不平衡数据集分类的ELM模型（ELM-CIL）,该模型按照代价敏感学习的原则为少数类样本赋予较大的惩罚系数,并引入模糊隶属度值减小了外围噪声点的影响。实验表明,提出的方法不仅对提高不平衡数据集中少数类的分类精度效果较明显,而且提高了对噪声的鲁棒性。     

变长增量型极限学习机及其泛化性能研究*

极限学习机（ELM）在训练过程中无需调整隐层节点参数,因其高效的训练方式被广泛应用于分类和回归,然而极限学习机也面临着结构选择与过拟合等严重等问题。为了解决此问题,针对隐层节点增量数目对收敛速度以及训练时间的影响进行了研究,提出一种利用网络输出误差的变化率控制网络增长速度的变长增量型极限学习机算法(VI-ELM)。通过对多个数据集进行回归和分类问题分析实验,结果表明,本文提出的方法能够以更高效的训练方式获得良好的泛化性能。     

A study on effectiveness of extreme learning machine

Extreme learning machine (ELM), proposed by Huang et al., has been shown a promising learning algorithm for single-hidden layer feedforward neural networks (SLFNs). Nevertheless, because of the random choice of input weights and biases, the ELM algorithm sometimes makes the hidden layer output matrix H of SLFN not full column rank, which lowers the effectiveness of ELM. This paper discusses the effectiveness of ELM and proposes an improved algorithm called EELM that makes a proper selection of the input weights and bias before calculating the output weights, which ensures the full column rank of H in theory. This improves to some extend the learning rate (testing accuracy, prediction accuracy, learning time) and the robustness property of the networks. The experimental results based on both the benchmark function approximation and real-world problems including classification and regression applications show the good performances of EELM.     

网络结构增长的极端学习机算法

针对极端学习机(extreme learning machine,ELM)结构设计问题,基于隐含层激活函数及其导函数提出一种前向神经网络结构增长算法.首先以Sigmoid函数为例给出了一类基函数的派生特性:导函数可以由其原函数表示.其次,利用这种派生特性提出了ELM结构设计方法,该方法自动生成双隐含层前向神经网络,其第1隐含层的结点随机逐一生成.第2隐含层的输出由第1隐含层新添结点的激活函数及其导函数确定,输出层权值由最小二乘法分析获得.最后给出了所提算法收敛性及稳定性的理论证明.对非线性系统辨识及双螺旋分类问题的仿真结果证明了所提算法的有效性.     

限定记忆极端学习机及其应用

为了实现极端学习机（ELM）的在线训练,提出一种限定记忆极端学习机（FM-ELM）.FM-ELM以逐次增加新训练样本与删除旧训练样本的方式,提高其对于系统动态变化特性的自适应性,并根据矩阵求逆引理实现了网络输出权值的递推求解,减小了在线训练过程的计算代价.应用于具有动态变化特性的非线性系统在线状态预测表明,FM-ELM是一种有效的ELM在线训练模式,相比于在线贯序极端学习机,FM-ELM具有更快的调节速度和更高的预测精度.     

融合累积变异比和集成超限学习机的高光谱图像分类

目的 高光谱图像具有高维度的光谱结构,而且邻近波段之间往往存在大量冗余信息,导致在随机样本选择策略和图像分类过程中出现选择波段算法复杂度较高和不适合小样本的现象。针对该问题,在集成学习算法的基础上,考虑不同波段在高光谱图像分类过程中的作用不同,提出一种融合累积变异比和超限学习机的高光谱图像分类算法。方法 定义波段的累积变异比函数来确定各波段在分类算法的贡献程度。基于累积变异比函数剔除低效波段,并结合空谱特征进行平均分组加权随机选择策略进行数据降维。为了进一步提高算法的泛化能力,对降维后提取的空谱特征进行多次样本重采样,训练得到多个超限学习机弱分类器,再将多个弱分类器的结果通过投票表决法得到最后的分类结果。结果 实验使用Indian Pines、Pavia University scene和Salinas这3种典型的高光谱图像作为实验标准数据集,采用支持向量机（support vector machine,SVM）,超限学习机（extreme learning machine,ELM）,基于二进制多层Gabor超限学习机（ELM with Gabor,GELM）,核函数超限学习机（ELM with kernel,KELM）,GELM-CK（GELM with composite kernel）,KELM-CK（KELM with composite kernel）和SS-EELM（spatial-spectral and ensemble ELM）为标准检测算法验证本文算法的有效性,在样本比例较小的实验中,本文算法的总体分类精度在3种数据集中分别为98.0%、98.9%和97.9%,比其他算法平均分别高出9.6%和4.7%和4.1%。本文算法耗时在3种数据集中分别为15.2 s、60.4 s和169.4 s。在同类目标空谱特性差异较大的情况下,相比于分类精度较高的KELM-CK和SS-EELM算法减少了算法耗时,提高了总体分类精度;在同类目标空谱特性相近的情况下,相比于其他算法,样本数量的增加对本文算法的耗时影响较小。结论 本文算法通过波段的累积变异比函数优化了平均分组波段选择策略,针对各类地物目标分布较广泛并且同类目标空谱特性差异较大的高光谱数据集,能够有效提取特征光谱维度的差异性,确定参数较少,总体分类效果较好。     

基于极限学习机的航空发动机传感器故障诊断

针对当前应用于航空发动机传感器故障诊断中的基于梯度的传统学习算法多存在参数选择困难、容易陷入局部最小化、过拟合等问题,提出了基于极限学习机(ELM)的航空发动机传感器故障诊断方法。算法只需设置隐含层神经元的个数,能够较好地避免上述问题,缩短故障诊断时间、提升诊断精度。通过仿真试验表明:基于ELM算法所建的航空发动机传感器故障诊断模型要比基于BP神经网络算法所建的模型耗时短且精度高。     

感知器残差网络和超限学习机融合的3D物体识别

目的 随着3D扫描技术和虚拟现实技术的发展,真实物体的3D识别方法已经成为研究的热点之一。针对现有基于深度学习的方法训练时间长,识别效果不理想等问题,提出了一种结合感知器残差网络和超限学习机（ELM）的3D物体识别方法。方法 以超限学习机的框架为基础,使用多层感知器残差网络学习3D物体的多视角投影特征,并利用提取的特征数据和已知的标签数据同时训练了ELM分类层、K最近邻（KNN）分类层和支持向量机（SVM）分类层识别3D物体。网络使用增加了多层感知器的卷积层替代传统的卷积层。卷积网络由改进的残差单元组成,包含多个卷积核个数恒定的并行残差通道,用于拟合不同数学形式的残差项函数。网络中半数卷积核参数和感知器参数以高斯分布随机产生,其余通过训练寻优得到。结果 提出的方法在普林斯顿3D模型数据集上达到了94.18%的准确率,在2D的NORB数据集上达到了97.46%的准确率。该算法在两个国际标准数据集中均取得了当前最好的效果。同时,使用超限学习机框架使得本文算法的训练时间比基于深度学习的方法减少了3个数量级。结论 本文提出了一种使用多视角图识别3D物体的方法,实验表明该方法比现有的ELM方法和深度学习等最新方法的识别率更高,抗干扰性更强,并且其调节参数少,收敛速度快。