基于微分同胚优化极端学习机的人脸识别

极端学习机(ELM)以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用。然而当前的ELM及其改进算法并没有充分考虑到隐层节点输出矩阵对极端学习机泛化能力的影响。通过实验发现激活函数选取不当及数据维数过高将导致隐层节点输出值趋于零,使得输出权值矩阵求解不准,降低ELM的分类性能。为此,提出一种微分同胚优化的极端学习机算法。该算法结合降维和微分同胚技术提高激活函数的鲁棒性,克服隐层节点输出值趋于零的问题。为验证所提算法的有效性使用人脸数据进行实验。实验结果表明所提算法具有良好的泛化性能。     

基于角度优化的鲁棒极端学习机算法

极端学习机因其学习速度快、泛化性能强等优点,在当今模式识别领域中已经成为了主流的研究方向;但是,由于该算法稳定性差,往往易受数据集中噪声的干扰,在实际应用中导致得到的分类效果不是很显著;因此,为了提高极端学习机分类的准确性,针对数据集样本中带有噪声和离群点问题,提出了一种基于角度优化的鲁棒极端学习机算法;该方法利用鲁棒激活函数角度优化的原则,首先降低了离群点对分类算法的影响,从而保持数据样本的全局结构信息,达到更好的去噪效果;其次,有效的避免隐层节点输出矩阵求解不准的问题,进一步增强极端学习机的泛化性能;通过应用在普遍图像数据库上的实验结果表明,这种提出的算法与其他算法相比具有更强的鲁棒性和较高的识别率。     

高维数据中鲁棒激活函数的极端学习机及线性降维

极端学习机(extreme learning machine, ELM)训练速度快、分类率高,已经广泛应用于人脸识别等实际问题中,并取得了较好的效果.但实际问题中的数据往往维数较高,且经常带有噪声及离群点,降低了ELM算法的分类率.这主要是由于：1)输入样本维数过高;2)激活函数选取不当.以上两点使激活函数的输出值趋于零,最终降低了ELM算法的性能.针对第1个问题,提出一种鲁棒的线性降维方法(RAF-global embedding, RAF-GE)预处理高维数据,再通过ELM算法对数据进行分类;而对第2个问题,深入分析不同激活函数的性质,提出一种鲁棒激活函数(robust activation function, RAF),该激活函数可尽量避免激活函数的输出值趋于零,提升RAF-GE及ELM算法的性能.实验证实人脸识别方法的性能普遍优于使用其他激活函数的对比方法.     

一种基于鲁棒估计的极限学习机方法

极限学习机(ELM)是一种单隐层前馈神经网络(single-hidden layer feedforward neural networks,SLFNs),它相较于传统神经网络算法来说结构简单,具有较快的学习速度和良好的泛化性能等优点。ELM的输出权值是由最小二乘法(least square,LE)计算得出,然而经典的LS估计的抗差能力较差,容易夸大离群点和噪声的影响,从而造成训练出的参数模型不准确甚至得到完全错误的结果。为了解决此问题,提出一种基于M估计的采用加权最小二乘方法来取代最小二乘法计算输出权值的鲁棒极限学习机算法(RBELM),通过对多个数据集进行回归和分类分析实验,结果表明,该方法能够有效降低异常值的影响,具有良好的抗差能力。     

迭代修正鲁棒极限学习机

极限学习机（ELM）的许多变体都致力于提高ELM对异常点的鲁棒性,而传统的鲁棒极限学习机（RELM）对异常点非常敏感,如何处理数据中的过多极端异常点变成构建RELM模型的棘手问题。对于残差较大的异常点,采用有界损失函数消除异常点对模型的污染;为了解决异常点过多的问题,采用迭代修正技术修改数据以降低由异常点过多带来的影响。结合这两种方法,提出迭代修正鲁棒极限学习机（IMRELM）。IMRELM通过迭代的方式求解,在每次的迭代中,通过对样本重加权减小异常点的影响,在不断修正的过程中避免算法出现欠拟合。在具有不同异常点水平的人工数据集和真实数据集上对比了IMRELM、ELM、加权极限学习机（WELM）、迭代重加权极限学习机（IRWELM）和迭代重加权正则化极限学习机（IRRELM）。在异常点占比为80%的人工数据集上,IRRELM的均方误差（MSE）为2.450 44,而IMRELM的MSE为0.000 79。实验结果表明,IMRELM在具有过多极端异常点的数据上具有良好的预测精度和鲁棒性。     

针对动态非平衡数据集鲁棒的在线极端学习机

动态数据存在数据量动态改变,数据类别分布非平衡、不稳定等问题,这些问题成为分类的难点。针对该问题,通过对在线极端学习机模型进行拓展,提出鲁棒的权值在线极端学习机算法。为解决动态数据非平衡性,该算法借助代价敏感学习理论生成局部动态权值矩阵,从而优化分类模型产生的经验风险。同时,算法进一步考虑动态数据由于时序性质改变造成的数据分布变化,而引入遗忘因子增强分类器对数据分布变更的敏感性。算法在不同数据分布的24个非平衡动态数据集上测试,取得了较好的效果。     

基于微分同胚变换的故障重构算法

针对一类含有未知输入扰动的不确定非线性系统提出一种鲁棒故障重构方案. 采用全局微分同胚变换, 将非线性系统变换为二个子系统, 使得其中一子系统不受故障影响, 状态部分可观, 另一子系统受故障影响但状态完全可观. 利用滑模变结构原理对两个子系统分别设计状态观测器消除扰动对系统的影响后, 再利用等值控制方法实现对故障的重构. 应用案例验证了所提方法的有效性.     

模糊非线性随机微分对策的鲁棒设计

研究模糊不确定微分对策的鲁棒性。采用Takagi-Sugeno模糊模型描述多人非合作的非线性随机微分对策系统,并将全局模糊模型表示成不确定的形式,采用鲁棒次优H∞控制策略,定义了微分对策系统的鲁棒控制,并设计出稳定的模糊控制器。     

基于成员相似性的集成极端学习机

为了增大各成员间的差异度以改善集成系统的性能,提出了一种基于成员间相似性选择的集成极端学习机(ELM)。首先,筛选出分类性能较高的备选极端学习机;其次,根据成员间的相似性运用微粒群算法(PSO)进一步选出最优的集成成员集合。通过选出相似度低的极端学习机来提高集成成员间差异度,从而有效提高集成系统的分类能力。选出的成员学习机在不同的集成规则下都具有良好性能。在四个UCI数据集上的实验结果表明,与经典的集成极端学习机相比,基于成员相似性选择的集成极端学习机具有更优的泛化性能和稳定性。     

非线性不确定系统的鲁棒镇定与HJI微分不等式

研究一类带模有界条件的非线性不确定系统的鲁棒镇定,定义了Ｌｙａｐｕｎｏｖ意义下的鲁棒镇定概念,得到了系统鲁棒镇定的充分必要条件。结果说明,在带模有界条件下,非线性不确定系统的鲁棒可镇定性与一个扩展的Ｈａｍｉｌｔｏｎ Ｊａｃｏｂｉ－Ｉｓａａｃｓ（ＨＪＩ）微分不等式是否存在正解完全等价。     

基于p阶最大相关熵准则损失函数的鲁棒极限学习机

当前对于短期负荷预测的研究主要针对影响因素的分析以及模型的改进,很少有对模型的鲁棒性进行研究.以极限学习机(extreme learning machine,ELM)作为研究对象,针对ELM模型的鲁棒性问题进行了深入的研究,并将其应用到短期负荷预测问题中.ELM模型的鲁棒性受损失函数的影响,当前ELM模型在处理含异常点样本时,鲁棒性差、预测精度较低.针对该问题,提出了一种基于p阶最大相关熵准则的损失函数,并将该损失函数应用到ELM模型中,以提高其在短期负荷预测问题中的鲁棒性.提出了一种估计实际样本中异常点百分比的计算方法,在建立短期负荷预测模型之前,估计出实际负荷样本中的异常点百分比.仿真结果表明,在异常点超过12％的样本中,提出的算法模型具有更好的鲁棒性以及预测精度.     

基于差分进化优化ELM的模拟电路故障诊断

极限学习机具有学习速度快、精度高的优点。为了进一步提高泛化能力,将差分进化算法的全局寻优和算法简单的特点引入到极限学习机的参数优化中,建立了基于差分进化算法优化极限学习机的模型,使两种算法的优点有机结合,应用于模拟电路故障诊断中。首先利用主元分析对电路采样信号进行处理,提取故障特征;其次利用差分进化算法的全局寻优能力优化极限学习机网络的权值和阈值,具有很好的泛化能力。此方法应用于电路仿真实例中,能在较短的时间内获得满意的结果。     

一种鲁棒非平衡极速学习机算法

极速学习机（ELM）算法只对平衡数据集分类较好,对于非平衡数据集,它通常偏向多数样本类,对于少数样本类性能较低。针对这一问题,提出了一种处理不平衡数据集分类的ELM模型（ELM-CIL）,该模型按照代价敏感学习的原则为少数类样本赋予较大的惩罚系数,并引入模糊隶属度值减小了外围噪声点的影响。实验表明,提出的方法不仅对提高不平衡数据集中少数类的分类精度效果较明显,而且提高了对噪声的鲁棒性。     

基于核极限学习机的标记分布学习

标记分布学习作为一种新的学习范式,利用最大熵模型构造的专用化算法能够很好地解决某些标记多样性问题,但是计算量巨大。基于此,引入运行速度快、稳定性更高的核极限学习机模型,提出基于核极限学习机的标记分布学习算法（KELM-LDL）。首先在极限学习机算法中通过RBF核函数将特征映射到高维空间,然后对原标记空间建立KELM回归模型求得输出权值,最后通过模型计算预测未知样本的标记分布。与现有算法在各领域不同规模数据集的实验表明,实验结果均优于多个对比算法,统计假设检验进一步说明KELM-LDL算法的有效性和稳定性。     

基于改进极限学习机算法的行为识别

重点研究了极限学习机ELM对行为识别检测的效果。针对在线学习和行为分类上存在计算复杂性和时间消耗大的问题,提出了一种新的行为识别学习算法(ELM-Cholesky)。该算法首先引入了基于Cholesky分解求ELM的方法,接着依据在线学习期间核函数矩阵的更新特点,将分块矩阵Cholesky分解算法用于ELM的在线求解,使三角因子矩阵实现在线更新,从而得出一种新的ELM-Cholesky在线学习算法。新算法充分利用了历史训练数据,降低了计算的复杂性,提高了行为识别的准确率。最后,在基准数据库上采用该算法进行了大量实验,实验结果表明了这种在线学习算法的有效性。     

一种新的混合智能极限学习机

提出一种基于差分进化(DE)和粒子群优化(PSO)的混合智能方法—–DEPSO算法,并通过对10个典型函数进行测试,表明DEPSO算法具有良好的寻优性能。针对单隐层前向神经网络(SLFNs)提出一种改进的学习算法—–DEPSO-ELM算法,即应用DEPSO算法优化SLFNs的隐层节点参数,采用极限学习算法(ELM)求取SLFNs的输出权值。将DEPSO-ELM算法应用于6个典型真实数据集的回归计算,并与DE-ELM、SaE-ELM算法相比,获得了更精确的计算结果。最后,将DEPSO-ELM算法应用于数控机床热误差的建模预测,获得了良好的预测效果。     

基于复合差分进化算法与极限学习机的高炉铁水硅含量预报

针对铁水硅含量无法直接在线检测的问题,本文提出了一种基于优化极限学习机(ELM)的高炉铁水硅含量预报方法.该方法利用复合差分进化算法(CoDE)的快速定位全局最优解的能力来优化极限学习机的输入权值和隐层节点阈值,在此基础上建立了基于复合差分进化算法优化极限学习机(CoDE-ELM)的高炉铁水硅含量预报模型.以某钢铁厂2650 m~3的高炉为例,利用实际采集数据进行模型检验,结果表明,当绝对误差小于0.1时,铁水硅含量的预报命中率为89%,均方根误差为0.047,实际目标值序列与预报值序列的相关系数为0.851.所建模型的预报结果优于支持向量机(SVM)、前馈神经网络(BP-NN)、极限学习机以及差分优化极限学习机(DE-ELM),对高炉炉温的实际调控具有较好的指导意义.     

A study on effectiveness of extreme learning machine

Extreme learning machine (ELM), proposed by Huang et al., has been shown a promising learning algorithm for single-hidden layer feedforward neural networks (SLFNs). Nevertheless, because of the random choice of input weights and biases, the ELM algorithm sometimes makes the hidden layer output matrix H of SLFN not full column rank, which lowers the effectiveness of ELM. This paper discusses the effectiveness of ELM and proposes an improved algorithm called EELM that makes a proper selection of the input weights and bias before calculating the output weights, which ensures the full column rank of H in theory. This improves to some extend the learning rate (testing accuracy, prediction accuracy, learning time) and the robustness property of the networks. The experimental results based on both the benchmark function approximation and real-world problems including classification and regression applications show the good performances of EELM.     

结合期望风险的极限学习机的研究

对极限学习机的模型进行了研究,提出了一种结合期望风险最小化的极限学习机的预测模型。其基本思想是同时考虑结构风险和期望风险,根据期望风险和经验风险之间的关系,将期望风险转换成经验风险,进行最小化期望风险的极限学习机预测模型求解。利用人工数据集和实际数据集进行回归问题的数值实验,并与极限学习机（ELM）和正则极限学习机（RELM）两种算法的性能进行了比较,实验结果表明,所提方法能有效提高了泛化能力。