基于微分同胚优化极端学习机的人脸识别

极端学习机(ELM)以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用。然而当前的ELM及其改进算法并没有充分考虑到隐层节点输出矩阵对极端学习机泛化能力的影响。通过实验发现激活函数选取不当及数据维数过高将导致隐层节点输出值趋于零,使得输出权值矩阵求解不准,降低ELM的分类性能。为此,提出一种微分同胚优化的极端学习机算法。该算法结合降维和微分同胚技术提高激活函数的鲁棒性,克服隐层节点输出值趋于零的问题。为验证所提算法的有效性使用人脸数据进行实验。实验结果表明所提算法具有良好的泛化性能。     

基于改进粒子群优化的并行极限学习机*

为了提高极限学习机(ELM)网络的稳定性,提出基于改进粒子群优化的极限学习机(IPSO-ELM)。结合改进的粒子群优化算法寻找ELM网络中最优的输入权值、隐层偏置及隐层节点数。通过引入变异算子,增强种群的多样性,并提高收敛速度。为了处理大规模电力负荷数据,提出基于Spark并行计算框架的并行化算法(PIPSO-ELM)。基于真实电力负荷数据的实验表明,PIPSO-ELM具有更高的稳定性及可扩展性,适合处理大规模的电力负荷数据。     

一种粒子群优化的SVM-ELM模型

极限学习机(extreme learning machine,ELM)是一种简单易用、有效的单隐层前馈神经网络(single hidden layer feedforward neural networks,SLFNs)学习算法,近几年来已成为机器学习研究的热门领域之一。但是ELM单个隐层节点的判断能力不足,分类正确率的高低在一定程度上取决于隐层节点数。为了提高ELM单个隐层节点的判断能力,将支持向量机(support vector machine,SVM)和ELM结合,建立一种精简的SVM-ELM模型。同时,该模型为了避免人为选择参数的主观性,利用粒子群算法(particle swarm optimization,PSO)的全局搜索最优解对参数进行自动优化选取,建立了PSO-SVM-ELM模型。实验证明,该模型较SVMELM和ELM分类精度有较大的提高,具有很好的稳健性和泛化性。     

基于极端学习机的人脸特征深度稀疏自编码方法

针对输入人脸特征的不准确性导致识别系统识别率不高的问题,提出了一种有效的基于极端学习机（ELM）的人脸特征深度稀疏自编码（DSAE）方法。首先,利用截断式核范数构造损失函数,通过最小化损失函数提取人脸图像的稀疏特征;其次,利用极端学习机自编码器（ELM-AE）模型进行人脸特征的自编码,实现数据维度的降低以及噪声过滤;最后,通过经验风险极小化得到最优的深度结构。在ORL、IMM、Yale和UMIST人脸数据集上的实验结果表明,DSAE方法对高维人脸图像的识别率明显优于极端学习机、随机森林（RF）等算法,且具有良好的泛化性能。     

基于结合混沌纵横交叉的粒子群算法优化极限学习机的短期负荷预测

为了解决传统的单一负荷预测模型精度低以及常规智能算法在解决高维、多模复杂问题时容易陷入局部最优的问题,提出了一种结合混沌纵横交叉的粒子群算法（CC-PSO）优化极限学习机(ELM)的短期负荷预测模型。ELM的泛化能力与其输入权值和隐含层偏置密切相关,采用结合混沌纵横交叉的粒子群算法优化ELM的输入权值与隐含层偏置,提高了ELM的泛化能力和预测精度。选择广东某地区实际电网负荷数据进行分析,研究结果表明,相对于BP神经网络和支持向量机,ELM具有更高的泛化能力和预测精度;CC-PSO相对于粒子群和遗传算法具有更高的全局搜索能力,CC-PSO-ELM模型具有较高的负荷预测精度。     

基于改进极限学习机的MBR仿真预测研究

研究MBR膜通量,进行膜污染预测,是当今污水处理研究领域的重要课题之一。为了有效,准确地预测MBR膜通量,提出一种改进的极限学习机(PSO-ELM)预测模型。极限学习机(ELM)能够有效地克服反向传播(BP)算法的缺陷,并能以极快的速度获得很好的泛化性能。由于随机给定输入权值和隐层阈值,ELM通常需要较多隐含层节点才能达到理想精度。利用粒子群算法(PSO)对极限学习机(ELM)的权值和阈值进行优化,建立PSO-ELM预测模型,将提取的主成分作为该模型的输入,膜通量作为模型输出。研究结果表明,该模型对MBR膜通量预测具有较好的泛化能力和更高的预测精度。     

自适应混沌粒子群算法对极限学习机参数的优化

针对极限学习机（ELM）在处理非线性数据时效果不理想,并且ELM的参数随机化不利于模型泛化的特点,提出了一种改进的极限学习机算法。结合自适应混沌粒子群（ACPSO）算法对ELM的参数进行优化,以增强算法的稳定性,提高ELM对基因表达数据分类的精度。在UCI基因数据集上进行仿真实验,实验结果表明,与探测粒子群-极限学习机（DPSO-ELM）、粒子群-极限学习机（PSO-ELM）等算法相比,自适应混沌粒子群-极限学习机（ACPSO-ELM）算法具有较好的稳定性、可靠性,且能有效提高基因分类精度。     

基于惩罚函数泛化的神经网络剪枝算法研究

神经网络的隐层数和隐层节点数决定了网络规模,并对网络性能造成较大影响。在满足网络所需最少隐层节点数的前提下,利用剪枝算法删除某些冗余节点,减少隐层节点数,得到更加精简的网络结构。基于惩罚函数的剪枝算法是在目标函数后加入一个惩罚函数项,该惩罚函数项是一个变量为网络权值的函数。由于惩罚函数中的网络权值变量可以附加一个可调参数,将单一惩罚函数项泛化为一类随参数规律变化的新的惩罚函数,初始惩罚函数可看作泛化后惩罚函数的参数取定值的特殊情况。实验利用基于标准BP神经网络的XOR数据进行测试,得到隐层节点剪枝效果和网络权值随惩罚函数的泛化而发生变化,并从数据分析中得出具有更好剪枝效果及更优网络结构的惩罚函数泛化参数。     

在高斯分布下优化仿射变换的极限学习机

极限学习机(ELM)会大量映射到激活函数的饱和区域,同时隐含层输入与输出远远不能获得共同的分布方式,导致泛化性能大打折扣.针对这一问题,研究了在高斯分布下优化激活函数中仿射变换(AT)的极限学习机,主要思想是在隐含层输入数据上引入新型的线性关系,利用梯度下降算法对误差函数中的缩放参数和平移参数进行优化,以满足隐含层输出能够高度服从高斯分布.基于高斯分布计算仿射参数的方法,能够保证隐节点相互独立的同时,也强调了高度的依赖关系.实验结果表明,在实际分类数据集和图像回归数据集中,隐含层输出数据不能很好地服从均匀分布,但服从高斯分布趋势,总体上能够达到更好的实验效果.与原始ELM算法和AT-ELM1算法比较,均有显著的改善.     

在高斯分布下优化仿射变换的极限学习机

极限学习机(ELM)会大量映射到激活函数的饱和区域,同时隐含层输入与输出远远不能获得共同的分布方式,导致泛化性能大打折扣.针对这一问题,研究了在高斯分布下优化激活函数中仿射变换(AT)的极限学习机,主要思想是在隐含层输入数据上引入新型的线性关系,利用梯度下降算法对误差函数中的缩放参数和平移参数进行优化,以满足隐含层输出能够高度服从高斯分布.基于高斯分布计算仿射参数的方法,能够保证隐节点相互独立的同时,也强调了高度的依赖关系.实验结果表明,在实际分类数据集和图像回归数据集中,隐含层输出数据不能很好地服从均匀分布,但服从高斯分布趋势,总体上能够达到更好的实验效果.与原始ELM算法和AT-ELM1算法比较,均有显著的改善.     

逐层可加的急速学习机

已有的急速学习机（Extreme Learning Machine）的学习精度受隐节点数目的影响很大。无论是已提出的单隐层急速学习机还是多隐层神经网络,都是先确定隐藏层数,再通过增加每一层的神经元个数来提高精度。但当训练集规模很大时,往往需要引入很多的隐节点,导致违逆矩阵计算复杂度大,从而不利于学习效率的提高。提出逐层可加的急速学习机MHL-ELM（Extreme Learning Machine with Incremental Hidden Layers）,其思想是首先对当前隐藏层神经元（数目不大且不寻优,因而复杂度小）的权值进行随机赋值,用ELM思想求出逼近误差;若误差达不到要求,再增加一个隐含层。然后运用ELM的思想对当前隐含层优化。逐渐增加隐含层,直至满足误差精度为止。除此以外,MHL-ELM的算法复杂度为[l=1MO(N3l)]。实验使用10个UCI,keel真实数据集,通过与BP,OP-ELM等传统方法进行比较,表明MHL-ELM学习方法具有更好的泛化性,在学习精度和学习速度方面都有很大的提升。     

An integrated PSO for parameter determination and feature selection of ELM and its application in classification of power system disturbances

This paper presents a performance enhancement scheme for the recently developed extreme learning machine (ELM) for classifying power system disturbances using particle swarm optimization (PSO). Learning time is an important factor while designing any computational intelligent algorithms for classifications. ELM is a single hidden layer neural network with good generalization capabilities and extremely fast learning capacity. In ELM, the input weights are chosen randomly and the output weights are calculated analytically. However, ELM may need higher number of hidden neurons due to the random determination of the input weights and hidden biases. One of the advantages of ELM over other methods is that the parameter that the user must properly adjust is the number of hidden nodes only. But the optimal selection of its parameter can improve its performance. In this paper, a hybrid optimization mechanism is proposed which combines the discrete-valued PSO with the continuous-valued PSO to optimize the input feature subset selection and the number of hidden nodes to enhance the performance of ELM. The experimental results showed the proposed algorithm is faster and more accurate in discriminating power system disturbances.     

用于大数据分类的快速隐层优化分布式极限学习机

针对大数据分类问题应用设计了一种快速隐层优化方法来解决分布式超限学习机（Extreme Learning Machine,ELM）在训练过程中存在的突出问题--需要独立重复运行多次才能优化隐层结点个数或模型泛化性能。在不增加算法时间复杂度的前提下,新算法能同时训练多个ELM隐层网络,全面兼顾模型泛化能力和隐层结点个数的优化,并通过分布式计算避免大量重复计算。同时,在算法求解过程中通过这种方式能更精确、更直观地学习隐含层结点个数变化带来的影响。比较多种类型标准测试函数的实验结果,相对于分布式ELM,新算法在求解精度、泛化能力、稳定性上大大提高。     

基于GAN-PSO-ELM的网络入侵检测方法

针对传统机器学习方法在处理非平衡的海量入侵数据时少数类检测率低的问题，提出一种融合生成式对抗网络（GAN）、粒子群算法（PSO）和极限学习机（ELM）的入侵检测（GAN-PSO-ELM）方法。对原始网络数据进行预处理，利用GAN并采用整体类扩充的方式对数据集进行少数类样本扩充。在扩充后的平衡数据集上，利用PSO算法优化ELM的输入权重与隐含层偏置，并建立入侵检测模型。在NSL-KDD数据集上进行仿真实验。实验结果表明，与SVM、ELM、PSO-ELM方法相比，GAN-PSO-ELM不仅具有较高的检测效率，而且在整体检测准确率上平均提高了3.74%，在少数类R2L和U2R上分别平均提高了28.13%和16.84%。     

拟概率空间上结构风险最小化原则

首先,给出了拟概率空间上结构风险最小化原则。然后,为了解决在拟概率空间上结构风险是否一致收敛到期望风险,也就是根据这个最小化原则结构风险是否能收敛到最小可能的风险,给出并证明了结构风险最小化原则的一致收敛性。     

Model selection of extreme learning machine based on multi-objective optimization

As a novel learning algorithm for single-hidden-layer feedforward neural networks, extreme learning machines (ELMs) have been a promising tool for regression and classification applications. However, it is not trivial for ELMs to find the proper number of hidden neurons due to the nonoptimal input weights and hidden biases. In this paper, a new model selection method of ELM based on multi-objective optimization is proposed to obtain compact networks with good generalization ability. First, a new leave-one-out (LOO) error bound of ELM is derived, and it can be calculated with negligible computational cost once the ELM training is finished. Furthermore, the hidden nodes are added to the network one-by-one, and at each step, a multi-objective optimization algorithm is used to select optimal input weights by minimizing this LOO bound and the norm of output weight simultaneously in order to avoid over-fitting. Experiments on five UCI regression data sets are conducted, demonstrating that the proposed algorithm can generally obtain better generalization performance with more compact network than the conventional gradient-based back-propagation method, original ELM and evolutionary ELM.     

基于极限学习机的股票价格预测

极限学习机（ Extreme Learning Machine , ELM）是一种新型的单馈层神经网络算法,克服了传统的误差反向传播方法需要多次迭代,算法的计算量和搜索空间大的缺点,只需要设置合适的隐含层节点个数,为输入权和隐含层偏差进行随机赋值,一次完成无需迭代。研究表明股票市场是一个非常复杂的非线性系统,需要用到人工智能理论、统计学理论和经济学理论。本文将极限学习机方法引入股票价格预测中,通过对比支持向量机（ Support Vector Machine , SVM）和误差反传神经网络（ Back Propagation Neural Network , BP神经网络）,分析极限学习机在股票价格预测中的可行性和优势。结果表明极限学习机预测精度高,并且在参数选择及训练速度上具有较明显的优势。     

Performance enhancement of extreme learning machine for power system disturbances classification

This paper proposes an optimal feature and parameter selection approach for extreme learning machine (ELM) for classifying power system disturbances. The relevant features of non-stationary time series data from power disturbances are extracted using a multiresolution S-transform which can be treated either as a phase corrected wavelet transform or a variable window short-time Fourier transform. After extracting the relevant features from the time series data, an integrated PSO and ELM architectures are used for pattern recognition of disturbance waveform data. The particle swarm optimization is a powerful meta-heuristic technique in artificial intelligence field; therefore, this study proposes a PSO-based approach, to specify the beneficial features and the optimal parameter to enhance the performance of ELM. One of the advantages of ELM over other methods is that the parameter that the user must properly adjust is the number of hidden nodes only. In this paper, a hybrid optimization mechanism is proposed which combines the discrete-valued PSO with the continuous-valued PSO to optimize the input feature subset selection and the number of hidden nodes to enhance the performance of ELM. The experimental results showed the proposed algorithm is faster and more accurate in discriminating power system disturbances.     

基于ELM和FOA的股票价格预测

针对股票价格预测中应用极限学习机预测存在稳定性不理想的问题,提出了一种改进果蝇优化极限学习机（IFOA-ELM）预测模型的算法。在该算法中,果蝇群通过不断调整群半径来优化ELM的输入层与隐含层连接权值和隐含层阈值,并以优化后的结果为基础,构建ELM预测模型。将IFOA-ELM模型用于股票价格预测。实验表明,与ELM和FOA-ELM相比,IFOA-ELM在股票价格预测中具有更高的预测精度和更好的稳定性。     

改进的粒子群算法及其SVM参数优化应用

支持向量机是一种性能优越的机器学习算法,而其参数的选择对建模精度和泛化性能等有着重要的影响,也是目前机器学习研究的一个重要方向。在简要介绍基本粒子群优化（PSO）算法的基础上,提出了一种量子粒子群优化算法,给出了其实现方式,并通过4个基准测试函数进行性能对比评价。基于这种量子粒子群优化算法,对最小二乘支持向量机（LS-SVM）的参数优化进行了研究。仿真结果表明,量子粒子群优化算法能给出很好的优化结果。