基于微分同胚优化极端学习机的人脸识别

极端学习机(ELM)以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用。然而当前的ELM及其改进算法并没有充分考虑到隐层节点输出矩阵对极端学习机泛化能力的影响。通过实验发现激活函数选取不当及数据维数过高将导致隐层节点输出值趋于零,使得输出权值矩阵求解不准,降低ELM的分类性能。为此,提出一种微分同胚优化的极端学习机算法。该算法结合降维和微分同胚技术提高激活函数的鲁棒性,克服隐层节点输出值趋于零的问题。为验证所提算法的有效性使用人脸数据进行实验。实验结果表明所提算法具有良好的泛化性能。     

基于近似结构风险的ELM隐层节点数优化

隐层节点数是影响极端学习机(ELM)泛化性能的关键参数,针对传统的ELM隐层节点数确定算法中优化过程复杂、容易过学习或陷入局部最优的问题,提出结构风险最小化-极端学习机(SRM-ELM)算法。通过分析VC维与隐层节点数量之间的关联,对VC信任函数进行近似改进,使其为凹函数,并结合经验风险重构近似的SRM。在此基础上,将粒子群优化的位置值直接作为ELM的隐层节点数,利用粒子群算法最小化结构风险函数获得极端学习机的隐层节点数,作为最优节点数。使用6组UCI数据和胶囊缺陷数据进行仿真验证,结果表明,该算法能获得极端学习机的最优节点数,并具有更好的泛化能力。     

基于成员相似性的集成极端学习机

为了增大各成员间的差异度以改善集成系统的性能,提出了一种基于成员间相似性选择的集成极端学习机(ELM)。首先,筛选出分类性能较高的备选极端学习机;其次,根据成员间的相似性运用微粒群算法(PSO)进一步选出最优的集成成员集合。通过选出相似度低的极端学习机来提高集成成员间差异度,从而有效提高集成系统的分类能力。选出的成员学习机在不同的集成规则下都具有良好性能。在四个UCI数据集上的实验结果表明,与经典的集成极端学习机相比,基于成员相似性选择的集成极端学习机具有更优的泛化性能和稳定性。     

基于小波变换和AdaBoost极限学习机的癫痫脑电信号分类

针对单一极限学习机(ELM)在癫痫脑电信号研究中分类结果不稳定、泛化能力差的缺陷,提出一种基于互信息(MI)的AdaBoost极限学习机分类算法。该算法将AdaBoost引入到极限学习机中,并嵌入互信息输入变量选择,以强学习器最终的性能作为评价指标,实现对输入变量以及网络模型的优化。利用小波变换(WT)提取脑电信号特征,并结合提出的分类算法对UCI脑电数据集以及波恩大学癫痫脑电数据进行分类。实验结果表明,所提方法相比传统方法以及其他同类型研究,在分类精度和稳定性上有着明显提高,并具有较好的泛化性能。     

局部信息保持极限学习机的遥感图像分类

极限学习机ELM(Extreme learning machine)以其简单快速和良好的泛化能力在模式识别和机器学习领域得到了广泛的应用。近年来,研究人员将其应用到高光谱遥感图像分类问题中。然而,由于数据样本有限,极限学习机及其相关技术在遥感图像中存在数据学习不充分的问题。流形学习算法揭示了数据内在的几何结构信息。根据遥感图像的特点,基于流形学习的思想,将遥感图像数据样本的流行结构引入到ELM模型中,提出一种基于局部信息保持极限学习机LPKELM(locality information preserving extreme learning machine)。为了验证所提算法的有效性,使用两个高光谱遥感图像数据集进行实验。实验结果表明,LPKELM的分类性能优于SVM、KELM、KCRT-CK和MLR算法。     

高维数据中鲁棒激活函数的极端学习机及线性降维

极端学习机(extreme learning machine,ELM)训练速度快、分类率高,已经广泛应用于人脸识别等实际问题中,并取得了较好的效果.但实际问题中的数据往往维数较高,且经常带有噪声及离群点,降低了ELM算法的分类率.这主要是由于:1)输入样本维数过高;2)激活函数选取不当.以上两点使激活函数的输出值趋于零,最终降低了ELM算法的性能.针对第1个问题,提出一种鲁棒的线性降维方法(RAF-global embedding,RAF-GE)预处理高维数据,再通过ELM算法对数据进行分类;而对第2个问题,深入分析不同激活函数的性质,提出一种鲁棒激活函数(robust activation function,RAF),该激活函数可尽量避免激活函数的输出值趋于零,提升RAF-GE及ELM算法的性能.实验证实人脸识别方法的性能普遍优于使用其他激活函数的对比方法.     

基于隐特征空间的极限学习机模型选择

针对极限学习机（ELM）中冗余的隐神经元会削弱模型泛化能力的缺点,提出了一种基于隐特征空间的ELM模型选择算法。首先,为了寻找合适的ELM隐层,在ELM中添加正则项,该项为现有隐层空间到低维隐特征空间的映射函数矩阵的Frobenius范数;其次,为解决该非凸问题,采用交替优化的策略,并通过凸二次型优化学习该隐空间;最终自适应得到最优映射函数和ELM模型。分别采用UCI标准数据集和载荷识别工程数据对所提算法进行测试,结果表明,与经典ELM相比,该算法可有效提高预测精度和数值稳定性,与现有模型选择算法相比,该算法预测精度相当,但运行时间则大幅降低。     

基于改进极限学习机的软测量建模

极限学习机（ELM）因其泛化能力好和学习速度快而成为软测量的新方法,但当应用到铝电解工艺参数建模时,ELM通常需要较多隐层节点并且泛化能力较低。针对这一问题,提出一种基于改进极限学习机（IELM）的软测量模型。首先,利用粗糙集中的约简理论剔除输入变量中的冗余或不相关属性,以降低ELM的输入复杂性;然后,利用偏相关系数对输入变量和输出变量间的相关性进行分析,将输入数据分为正输入和负输入两部分,分别对这两部分建立输入单元,重新构建ELM网络;最后,建立了基于改进极限学习机的铝电解分子比软测量模型。仿真实验结果表明,基于改进极限学习机的软测量模型具有较好的泛化能力和稳定性。     

粗糙集属性约简的极限学习机网络入侵检测算法

针对网络入侵数据量大、属性冗余及属性之间线性相关导致分类算法计算速度慢、准确度不高等问题,提出一种改进粗糙集属性约简的极限学习机网络入侵分类算法。对训练集采用粗糙集正域和分辨矩阵相结合的方法获得属性核,筛选出只有属性核的数据集得到无冗余属性的特征集合;使用极限学习机(ELM)作为分类模型进行分类,使用支持向量机(SVM)、神经网络、极限学习机比较证明提出方法的有效性,为网络入侵检测提供一种新的解决方法。     

ELM算法中随机映射作用的实验研究

通过实验研究ELM算法中随机映射的作用及神经网络中隐含层结点个数对网络泛化能力的影响.在35个数据集上进行实验,针对不同的数据集,找到网络的最优精度所对应的隐含层结点个数.实验结果表明,当随机映射使数据升维到一定维数时,网络性能得到提高.     

极限学习机类不平衡数据学习算法研究

尽管极限学习机因具有快速、简单、易实现及普适的逼近能力等特点被广泛应用于分类、回归及特征学习问题,但是,极限学习机同其他标准分类方法一样将最大化各类总分类性能作为算法的优化目标,因此,在实际应用中遇到数据样本分布不平衡时,算法对大类样本具有性能偏向性。针对极限学习机类不平衡学习问题的研究起步晚,算法少的问题,在介绍了极限学习机类不平衡数据学习研究现状,极限学习机类不平衡数据学习的典型算法-加权极限学习机及其改进算法的基础上,提出一种不需要对原始不平衡样本进行处理的Adaboost提升的加权极限学习机,通过在15个UCI不平衡数据集进行分析实验,实验结果表明提出的算法具有更好的分类性能。     

局部感知的类限制极限学习机

极限学习机(ELM)由于高效的训练方式被广泛应用于分类回归,然而不同的输入权值在很大程度上会影响其学习性能。为了进一步提高ELM的学习性能,针对ELM的输入权值进行了研究,充分利用图像局部感知的稀疏性,将局部感知的方法运用到基于自动编码器的ELM(ELM-AE)上,提出了局部感知的类限制极限学习机(RF-C₂ELM)。通过对MNIST数据集进行分类问题分析实验,实验结果表明,在具有相同隐层结点数的条件下,提出的方法能够获得更高的分类精度。     

基于蚁群优化的极限学习机选择性集成学习算法

针对现有极限学习机集成学习算法分类精度低、泛化能力差等缺点,提出了一种基于蚁群优化思想的极限学习机选择性集成学习算法。该算法首先通过随机分配隐层输入权重和偏置的方法生成大量差异的极限学习机分类器,然后利用一个二叉蚁群优化搜索算法迭代地搜寻最优分类器组合,最终使用该组合分类测试样本。通过12个标准数据集对该算法进行了测试,该算法在9个数据集上获得了最优结果,在另3个数据集上获得了次优结果。采用该算法可显著提高分类精度与泛化性能。     

The extreme learning machine learning algorithm with tunable activation function

In this paper, we propose an extreme learning machine (ELM) with tunable activation function (TAF-ELM) learning algorithm, which determines its activation functions dynamically by means of the differential evolution algorithm based on the input data. The main objective is to overcome the problem dependence of fixed slop of the activation function in ELM. We mainly considered the issue of processing of benchmark problems on function approximation and pattern classification. Compared with ELM and E-ELM learning algorithms with the same network size or compact network configuration, the proposed algorithm has improved generalization performance with good accuracy. In addition, the proposed algorithm also has very good performance in the TAF neural networks learning algorithms.     

Self-adaptive extreme learning machine

In order to overcome the disadvantage of the traditional algorithm for SLFN (single-hidden layer feedforward neural network), an improved algorithm for SLFN, called extreme learning machine (ELM), is proposed by Huang et al. However, ELM is sensitive to the neuron number in hidden layer and its selection is a difficult-to-solve problem. In this paper, a self-adaptive mechanism is introduced into the ELM. Herein, a new variant of ELM, called self-adaptive extreme learning machine (SaELM), is proposed. SaELM is a self-adaptive learning algorithm that can always select the best neuron number in hidden layer to form the neural networks. There is no need to adjust any parameters in the training process. In order to prove the performance of the SaELM, it is used to solve the Italian wine and iris classification problems. Through the comparisons between SaELM and the traditional back propagation, basic ELM and general regression neural network, the results have proven that SaELM has a faster learning speed and better generalization performance when solving the classification problem.     

正负模糊规则系统、极限学习机与图像分类

传统的图像分类一般只利用了图像的正规则,忽略了负规则在图像分类中的作用。Nguyen将负规则引入图像分类,提出将正负模糊规则相结合形成正负模糊规则系统,并将其用于遥感图像和自然图像的分类。实验证明,其在图像分类过程中取得了很好的效果。他们提出的前馈神经网络模型在调整权值时利用了梯度下降法,由于步长选择不合理或陷入局部最优从而使训练速度受到了限制。极限学习机（ELM）是一种单隐层前馈神经网络（SLFN）学习算法,具有学习速度快,泛化性能好的优点。本文证明了极限学习机与正负模糊规则系统的实质是等价的,遂将其用于图像分类。实验结果说明了极限学习机能很好的利用正负模糊规则相结合的方法对图像进行分类,实验结果较为理想。     

融合极端学习机的判别性分析字典学习算法

研究表明,端学习机和判别性字典学习算法在图像分类领域极具有高效和准确的优势。然而,这两种方法也具有各自的缺点,极端学习机对噪声的鲁棒性较差,判别性字典学习算法在分类过程中耗时较长。为统一这种互补性以提高分类性能,文中提出了一种融合极端学习机的判别性分析字典学习模型。该模型利用迭代优化算法学习最优的判别性分析字典和极端学习机分类器。为验证所提算法的有效性,利用人脸数据集进行分类。实验结果表明,与目前较为流行的字典学习算法和极端学习机相比,所提算法在分类过程中具有更好的效果。     

Face recognition based on extreme learning machine

Extreme learning machine (ELM) is an efficient learning algorithm for generalized single hidden layer feedforward networks (SLFNs), which performs well in both regression and classification applications. It has recently been shown that from the optimization point of view ELM and support vector machine (SVM) are equivalent but ELM has less stringent optimization constraints. Due to the mild optimization constraints ELM can be easy of implementation and usually obtains better generalization performance. In this paper we study the performance of the one-against-all (OAA) and one-against-one (OAO) ELM for classification in multi-label face recognition applications. The performance is verified through four benchmarking face image data sets.     

Performance enhancement of extreme learning machine for multi-category sparse data classification problems

This paper presents a performance enhancement scheme for the recently developed extreme learning machine (ELM) for multi-category sparse data classification problems. ELM is a single hidden layer neural network with good generalization capabilities and extremely fast learning capacity. In ELM, the input weights are randomly chosen and the output weights are analytically calculated. The generalization performance of the ELM algorithm for sparse data classification problem depends critically on three free parameters. They are, the number of hidden neurons, the input weights and the bias values which need to be optimally chosen. Selection of these parameters for the best performance of ELM involves a complex optimization problem.In this paper, we present a new, real-coded genetic algorithm approach called ‘RCGA-ELM’ to select the optimal number of hidden neurons, input weights and bias values which results in better performance. Two new genetic operators called ‘network based operator’ and ‘weight based operator’ are proposed to find a compact network with higher generalization performance. We also present an alternate and less computationally intensive approach called ‘sparse-ELM’. Sparse-ELM searches for the best parameters of ELM using K-fold validation. A multi-class human cancer classification problem using micro-array gene expression data (which is sparse), is used for evaluating the performance of the two schemes. Results indicate that the proposed RCGA-ELM and sparse-ELM significantly improve ELM performance for sparse multi-category classification problems.     

Artificial bee colony algorithm for clustering: an extreme learning approach

Extreme learning machine (ELM) as a new learning approach has shown its good generalization performance in regression and classification applications. Clustering analysis is an important tool to explore the structure of data and has been employed in many disciplines and applications. In this paper, we present a method that builds on ELM projection of input data into a high-dimensional feature space and followed by unsupervised clustering using artificial bee colony (ABC) algorithm. While ELM projection facilitates separability of clusters, a metaheuristic technique such as ABC algorithm overcomes problems of dependence on initialization of cluster centers and convergence to local minima suffered by conventional algorithms such as K-means. The proposed ELM-ABC algorithm is tested on 12 benchmark data sets. The experimental results show that the ELM-ABC algorithm can effectively improve the quality of clustering.