在高斯分布下优化仿射变换的极限学习机

极限学习机(ELM)会大量映射到激活函数的饱和区域,同时隐含层输入与输出远远不能获得共同的分布方式,导致泛化性能大打折扣.针对这一问题,研究了在高斯分布下优化激活函数中仿射变换(AT)的极限学习机,主要思想是在隐含层输入数据上引入新型的线性关系,利用梯度下降算法对误差函数中的缩放参数和平移参数进行优化,以满足隐含层输出能够高度服从高斯分布.基于高斯分布计算仿射参数的方法,能够保证隐节点相互独立的同时,也强调了高度的依赖关系.实验结果表明,在实际分类数据集和图像回归数据集中,隐含层输出数据不能很好地服从均匀分布,但服从高斯分布趋势,总体上能够达到更好的实验效果.与原始ELM算法和AT-ELM1算法比较,均有显著的改善.     

在高斯分布下优化仿射变换的极限学习机

极限学习机(ELM)会大量映射到激活函数的饱和区域,同时隐含层输入与输出远远不能获得共同的分布方式,导致泛化性能大打折扣.针对这一问题,研究了在高斯分布下优化激活函数中仿射变换(AT)的极限学习机,主要思想是在隐含层输入数据上引入新型的线性关系,利用梯度下降算法对误差函数中的缩放参数和平移参数进行优化,以满足隐含层输出能够高度服从高斯分布.基于高斯分布计算仿射参数的方法,能够保证隐节点相互独立的同时,也强调了高度的依赖关系.实验结果表明,在实际分类数据集和图像回归数据集中,隐含层输出数据不能很好地服从均匀分布,但服从高斯分布趋势,总体上能够达到更好的实验效果.与原始ELM算法和AT-ELM1算法比较,均有显著的改善.     

大数据分割式极限学习机算法

在海量数据输入背景下，为提升极限学习机算法的学习速度，降低计算机内存消耗，提出一种分割式极限学习机算法。将海量数据分割成[K]等份，分别训练极限学习机并获得单一外权，基于算术平均算子得到分割式极限学习机的综合外权；为避免异常数据对极限学习机输出结果的影响，采用有序加权平均算子融合单一极限学习机的输出信息，使分割式极限学习机的输出结果更为稳定。数值对比仿真显示：分割式极限学习机比传统极限学习机的学习速度、拟合精度和内存消耗都高，验证了该方法的有效性和可行性。     

回归核极限学习机的多标记学习算法

基于极限学习机(ELM)的多标记学习算法多使用ELM分类模式,忽略标记之间存在的相关性.为此,文中提出结合关联规则与回归核极限学习机的多标记学习算法(ML-ASRKELM).首先通过关联规则分析标记空间,提取标记之间的规则向量.然后通过提出的多标记回归核极限学习机(ML-RKELM)得出预测结果.若规则向量不为空,将规则向量与预测结果运算得出最终预测结果,否则最终结果即为ML-RKELM的预测结果.对比实验表明ML-ASRKELM与ML-RKELM性能较优,统计假设检验进一步说明文中算法的有效性.     

选择性集成核极限学习机建模及其应用研究

针对选择性集成逆向传播神经网络(GASEN-BPNN)模型训练学习速度慢,选择性集成极限学习机(GASEN-ELM)模型建模精度稳定性差等问题,提出一种基于遗传算法的选择性集成核极限学习机(GASEN-KELM)建模方法。该方法首先通过对训练样本进行随机采样获取子模型训练样本;然后采用泛化性、稳定性较佳的核极限学习机(KELM)算法建立候选子模型,通过标准遗传算法工具箱,依据设定阈值按进化策略优化选择最佳子模型;最后通过简单平均加权集成的方式获得最终GASEN-KELM模型。采用标准混凝土抗压强度数据验证了所提出方法的有效性,并与GASEN-BPNN和GASEN-ELM选择性集成算法进行比较,表明所提出方法可以在模型学习速度和建模预测稳定性方面获得较好的均衡。     

基于深度极限学习机的模拟电路故障诊断

针对模拟电路故障诊断中特征提取以及模型训练时间较长的难题,采用了一种基于深度极限学习机的模拟电路故障诊断算法。该算法将深度学习中自编码器的思想引入到极限学习机中,构建深度网络,将底层的故障特征转换更加抽象的高级特征,能自主地学习数据特征,避免了繁琐的特征提取和选择。最终通过Sallen-Key和四运放双二次高通滤波2个模拟电路进行仿真研究,实验结果验证了算法在模拟电路故障诊断上的可行性,也表明模型学习速度快、泛化能力好,具有较强的诊断能力,故障诊断分类准确率可以达到100%,诊断时间在0.3 s左右。     

基于改进极限学习机算法的行为识别

重点研究了极限学习机ELM对行为识别检测的效果。针对在线学习和行为分类上存在计算复杂性和时间消耗大的问题,提出了一种新的行为识别学习算法(ELM-Cholesky)。该算法首先引入了基于Cholesky分解求ELM的方法,接着依据在线学习期间核函数矩阵的更新特点,将分块矩阵Cholesky分解算法用于ELM的在线求解,使三角因子矩阵实现在线更新,从而得出一种新的ELM-Cholesky在线学习算法。新算法充分利用了历史训练数据,降低了计算的复杂性,提高了行为识别的准确率。最后,在基准数据库上采用该算法进行了大量实验,实验结果表明了这种在线学习算法的有效性。     

基于分解极限学习机的手写字符识别方法

手写字符识别是图像识别的一个重要分支,是基于数据挖掘和机器学习技术对数字、字母和文字等的手写体进行识别。当前手写字符识别方法主要集中在对不同深度学习模型的完善和改进上,其中多层极限学习机由于其快于深度信念网络和深度玻尔兹曼机的训练速度以及更高的识别精度引起了学术界和工业界的广泛关注。但是,多层极限学习机的预测表现极易受随机权重的影响,层数越多影响就越明显。文中在深入分析浅层极限学习机训练模式的基础上,提出了一种基于隐含层输出矩阵分解的浅层极限学习机模型,并将其应用于对手写字符的识别。分解极限学习机不需要对手写字符图像进行特征提取,而是通过对大规模隐含层输出矩阵的分解来获得极限学习机的输出层权重。相比深层极限学习机,分解极限学习机降低了基于极限学习机的手写字符识别模型训练的随机性。同时,在MNIST类数据集(即MNIST,EMNIST,KMNIST和K49-MNIST)上的比较结果表明,在相同的训练时间下,分解极限学习机能够获得优于多层极限学习机的识别精度;在相同的识别精度下,分解极限学习机的训练时间明显短于多层极限学习机。实验结果证实了分解极限学习的可行性以及在处理手写字符识别问题上的...     

基于YOLO和极限学习机的驾驶员安全带检测模型研究

针对现有的驾驶员安全带检测算法存在的定位精度差、实时性低的问题,提出一种基于YOLO和极限学习机相结合的驾驶员安全带检测模型。利用YOLO网络快速定位主驾驶区域,提取主驾驶区域特征,传递给极限学习机,训练成一个安全带检测分类器。实验结果表明,与传统的安全带检测算法相比,该方法在驾驶员安全带检测中准确率更高,检测速度大大提升。     

基于优化深度极限学习机的船舶柴油机故障诊断

针对人工生态系统算法易限于局部最优、全局探索能力差等缺陷,提出一种改进人工生态系统优化算法(Improved Artificial Ecosystem-based Optimization Algorithm, IAEO)。利用Hammersley点集初始化,使个体分布更加均匀;采用非线性递减及混沌序列来提高算法的探索和开发能力;加入爆炸操作和高斯变异来提高算法跳出局部最优的能力,在四个基准函数的仿真结果表明寻优能力有较大提高。利用多层极限学习机对数据进行特征提取,在有监督部分利用混合核极限学习机进行分类。利用IAEO优化混合核函数的核参数、正则化系数和比例系数,并在标准数据集上进行性能验证。将该方法应用于船舶柴油机故障诊断,该方法有效提高了故障诊断的准确性和稳定性并表现出较好的泛化性能。     

基于模拟退火算法的改进极限学习机

传统的极限学习机作为一种有监督的学习模型,任意对隐藏层神经元的输入权值和偏置进行赋值,通过计算隐藏层神经元的输出权值完成学习过程.针对传统的极限学习机在数据分析预测研究中存在预测精度不足的问题,提出一种基于模拟退火算法改进的极限学习机.首先,利用传统的极限学习机对训练集进行学习,得到隐藏层神经元的输出权值,选取预测结果评价标准.然后利用模拟退火算法,将传统的极限学习机隐藏层输入权值和偏置视为初始解,预测结果评价标准视为目标函数,通过模拟退火的降温过程,找到最优解即学习过程中预测误差最小的极限学习机的隐藏层神经元输入权值和偏置,最后通过传统的极限学习机计算得到隐藏层输出权值.实验选取鸢尾花分类数据和波士顿房价预测数据进行分析.实验发现与传统的极限学习机相比,基于模拟退火改进的极限学习机在分类和回归性能上都更优.     

极限学习机综述

极限学习机是一种单隐层前向网络的训练算法,主要特点是训练速度极快,而且可以达到很高的泛化性能。回顾了极限学习机的发展历程,分析了极限学习机的数学模型,详细介绍了极限学习机的各种改进算法,并列举了极限学习机在识别、预测和医学诊断领域的应用。最后总结预测了极限学习机的改进方向。     

基于蚁群优化的极限学习机选择性集成学习算法

针对现有极限学习机集成学习算法分类精度低、泛化能力差等缺点,提出了一种基于蚁群优化思想的极限学习机选择性集成学习算法。该算法首先通过随机分配隐层输入权重和偏置的方法生成大量差异的极限学习机分类器,然后利用一个二叉蚁群优化搜索算法迭代地搜寻最优分类器组合,最终使用该组合分类测试样本。通过12个标准数据集对该算法进行了测试,该算法在9个数据集上获得了最优结果,在另3个数据集上获得了次优结果。采用该算法可显著提高分类精度与泛化性能。     

基于流形正则化极限学习机的语种识别系统

支持向量机 (Support vector machine, SVM) 在语种识别中已经起到了重要的作用.近些年来,极限学习机 (Extreme learning machine, ELM) 在很多领域取得了成功的应用.相比于 SVM, ELM 最大的优点在于极易实现、训练速度快,而且通常可以取得与 SVM 相近甚至优于 SVM 的识别性能. 鉴于 ELM 这些优异的特点,本文将 ELM 引入到语种识别中,并针对 ELM 由于随机初始化模型参 数所带来的潜在问题,提出了流形正则化极限学习机 (Manifold regularized extreme learning machine, MRELM) 算法.实验结果表明,在高斯超矢量(Gaussian supervector, GSV)特征空间上,相对于 SVM 基线系统,该算法对30秒语音的识别性能有明显的提升. 同时该算法也可以成功地应用到 i-vector 特征空间中,取得与当前主流的打分算法相近的识别性能.     

基于极限学习机的XML文档分类

研究基于极限学习机(ELM)的XML文档分类方法。为优化文档的相似性计算,在结构链接向量模型的基础上,提出一种改进的特征向量模型RS-VSM,将有效的结构化信息合并到向量模型中。应用ELM对XML文档进行分类,为提高ELM分类的准确率,提出一种基于投票机制的Voting-ELM算法。实验结果证明,该算法的分类效果较优。     

基于双模态深度自编码的孤立性肺结节诊断方法

近年来,深度学习技术在肺癌诊断方面得到了广泛的应用,但现有的研究主要集中于肺部CT图像。为了有效提高肺结节的诊断性能,提出一种基于双模态深度降噪自编码的肺结节诊断方法。首先,分别从肺部CT和PET图像中得到肺结节区域的特征信息;然后,以候选结节的PET/CT图像作为整个深度自编码网络的输入,并对高层信息进行学习;最后,采用融合策略对多种特征进行融合并将其作为整个框架的输出。实验结果表明,提出的方法可以达到92.81%的准确率、91.75%的敏感度和1.58%的特异性,且优于其他方法的诊断性能,更适用于肺结节良/恶性的辅助诊断。     

融合极端学习机的判别性分析字典学习算法

研究表明,端学习机和判别性字典学习算法在图像分类领域极具有高效和准确的优势。然而,这两种方法也具有各自的缺点,极端学习机对噪声的鲁棒性较差,判别性字典学习算法在分类过程中耗时较长。为统一这种互补性以提高分类性能,文中提出了一种融合极端学习机的判别性分析字典学习模型。该模型利用迭代优化算法学习最优的判别性分析字典和极端学习机分类器。为验证所提算法的有效性,利用人脸数据集进行分类。实验结果表明,与目前较为流行的字典学习算法和极端学习机相比,所提算法在分类过程中具有更好的效果。     

Universal Approximation and QoS Violation Application of Extreme Learning Machine

Neural networks have been successfully applied to many applications due to their approximation capability. However, complicated network structures and algorithms will lead to computational and time-consuming burdens. In order to satisfy demanding real-time requirements, many fast learning algorithms were explored in the past. Recently, a fast algorithm, Extreme Learning Machine (ELM) (Huang et al. 70:489–501, 2006) was proposed. Unlike conventional algorithms whose neurons need to be tuned, the input-to-hidden neurons of ELM are randomly generated. Though a large number of experimental results have shown that input-to-hidden neurons need not be tuned, there lacks a rigorous proof whether ELM possesses the universal approximation capability. In this paper, based on the universal approximation property of an orthonormal method, we firstly illustrate the equivalent relationship between ELM and the orthonormal method, and further prove that neural networks with ELM are also universal approximations. We also successfully apply ELM to the identification of QoS violation in the multimedia transmission.     

基于深度极限学习机的卫星云图云量计算

卫星云图云量计算是卫星气象应用的基础,现阶段对其的研究未能充分利用卫星云图的特征,导致云检测及云量计算的效果不好。针对该问题,利用多层神经网络进行卫星云图的特征提取,并通过大量实验寻找到最优的深度学习的网络结构。基于度极限学习机对卫星云图的云进行检测和分类,再利用“空间相关法”计算云图中的总云量。实验结果表明,基于传统极限学习机的深度极限学习机能够充分提取云图的特征,在进行云分类时能够较清晰地区分厚云和薄云间的界限。相比于传统阈值法、极限学习机模型以及卷积神经网络,深度极限学习机的云识别率以及云量计算准确率更高,且所提方法比卷积神经网络的效率更高。