基于流形正则化极限学习机的语种识别系统

支持向量机 (Support vector machine, SVM) 在语种识别中已经起到了重要的作用.近些年来,极限学习机 (Extreme learning machine, ELM) 在很多领域取得了成功的应用.相比于 SVM, ELM 最大的优点在于极易实现、训练速度快,而且通常可以取得与 SVM 相近甚至优于 SVM 的识别性能. 鉴于 ELM 这些优异的特点,本文将 ELM 引入到语种识别中,并针对 ELM 由于随机初始化模型参 数所带来的潜在问题,提出了流形正则化极限学习机 (Manifold regularized extreme learning machine, MRELM) 算法.实验结果表明,在高斯超矢量(Gaussian supervector, GSV)特征空间上,相对于 SVM 基线系统,该算法对30秒语音的识别性能有明显的提升. 同时该算法也可以成功地应用到 i-vector 特征空间中,取得与当前主流的打分算法相近的识别性能.     

基于去噪自编码器的极限学习机

针对极限学习机算法（ELM）参数随机赋值降低算法鲁棒性及性能受噪声影响显著的问题，将去噪自编码器（DAE）与ELM算法相结合，提出了基于去噪自编码器的极限学习机算法（DAE-ELM）。首先，通过去噪自编码器产生ELM的输入数据、输入权值与隐含层参数；然后，以ELM求得隐含层输出权值，完成对分类器的训练。该算法一方面继承了DAE的优点，自动提取的特征更具代表性与鲁棒性，对于噪声有较强的抑制作用；另一方面克服了ELM参数赋值的随机性，增强了算法鲁棒性。实验结果表明，在不含噪声影响下DAE-ELM相较于ELM、PCA-ELM、SAA-2算法，其分类错误率在MNIST数据集中至少下降了5.6%，在Fashion MNIST数据集中至少下降了3.0%，在Rectangles数据集中至少下降了2.0%，在Convex数据集中至少下降了12.7%。     

基于流形正则化极限学习机的文本分类算法研究

基于极限学习机的文本分类方法在对输入的文本特征进行随机映射时,会呈现一种非线性的几何结构,利用最小二乘法无法对其进行求解,影响文本的分类性能。为此,引入一种新的流形正则化思想,提出基于极限学习机的改进算法。利用拉普拉斯特征映射保持输入文本特征的几何结构。基于样本的类别信息对样本点之间的距离进行修正,优先选择类别相同的样本点,以改善分类性能。在Reuters和20newsgroup数据集上的实验结果表明,与正则化极限学习机算法、AdaBELM算法等相比,该算法分类性能较好,F1-measure值可达91.42%。     

局部感知的类限制极限学习机

极限学习机(ELM)由于高效的训练方式被广泛应用于分类回归,然而不同的输入权值在很大程度上会影响其学习性能。为了进一步提高ELM的学习性能,针对ELM的输入权值进行了研究,充分利用图像局部感知的稀疏性,将局部感知的方法运用到基于自动编码器的ELM(ELM-AE)上,提出了局部感知的类限制极限学习机(RF-C₂ELM)。通过对MNIST数据集进行分类问题分析实验,实验结果表明,在具有相同隐层结点数的条件下,提出的方法能够获得更高的分类精度。     

基于快速自编码的RELM的文本分类

正则化极限学习机RELM是一种单隐层前馈神经网络,不同于传统神经网络算法,RELM通过随机设置输入层权重和偏置值,可以快速求得输出层权重,并且引入正则化因子,能够提高模型的泛化能力。针对文本信息高维度、多类别的问题,提出一种基于快速自编码的正则化极限学习机FARELM。将由RELM改进后的快速自编码神经网络对样本进行无监督特征学习,并对特征提取后的数据使用RELM进行分类。实验表明,FA-RELM的学习速度和分类精度较优。     

基于分解极限学习机的手写字符识别方法

手写字符识别是图像识别的一个重要分支,是基于数据挖掘和机器学习技术对数字、字母和文字等的手写体进行识别。当前手写字符识别方法主要集中在对不同深度学习模型的完善和改进上,其中多层极限学习机由于其快于深度信念网络和深度玻尔兹曼机的训练速度以及更高的识别精度引起了学术界和工业界的广泛关注。但是,多层极限学习机的预测表现极易受随机权重的影响,层数越多影响就越明显。文中在深入分析浅层极限学习机训练模式的基础上,提出了一种基于隐含层输出矩阵分解的浅层极限学习机模型,并将其应用于对手写字符的识别。分解极限学习机不需要对手写字符图像进行特征提取,而是通过对大规模隐含层输出矩阵的分解来获得极限学习机的输出层权重。相比深层极限学习机,分解极限学习机降低了基于极限学习机的手写字符识别模型训练的随机性。同时,在MNIST类数据集(即MNIST,EMNIST,KMNIST和K49-MNIST)上的比较结果表明,在相同的训练时间下,分解极限学习机能够获得优于多层极限学习机的识别精度;在相同的识别精度下,分解极限学习机的训练时间明显短于多层极限学习机。实验结果证实了分解极限学习的可行性以及在处理手写字符识别问题上的...     

子空间结构保持的多层极限学习机自编码器

处理高维复杂数据的聚类问题,通常需先降维后聚类,但常用的降维方法未考虑数据的同类聚集性和样本间相关关系,难以保证降维方法与聚类算法相匹配,从而导致聚类信息损失.非线性无监督降维方法极限学习机自编码器(Ex-treme learning machine,ELM-AE)因其学习速度快、泛化性能好,近年来被广泛应用于降维及去...     

基于深度极限学习机的模拟电路故障诊断

针对模拟电路故障诊断中特征提取以及模型训练时间较长的难题,采用了一种基于深度极限学习机的模拟电路故障诊断算法。该算法将深度学习中自编码器的思想引入到极限学习机中,构建深度网络,将底层的故障特征转换更加抽象的高级特征,能自主地学习数据特征,避免了繁琐的特征提取和选择。最终通过Sallen-Key和四运放双二次高通滤波2个模拟电路进行仿真研究,实验结果验证了算法在模拟电路故障诊断上的可行性,也表明模型学习速度快、泛化能力好,具有较强的诊断能力,故障诊断分类准确率可以达到100%,诊断时间在0.3 s左右。     

应用于人脸图像识别的邻域保持极限学习机

极限学习机广泛应用于人脸识别领域。传统的极限学习机算法因在少量标签样本上进行训练，容易发生学习过程不充分问题，同时在学习过程中往往忽略了样本内在的几何结构，影响其对人脸识别的分类能力。受流形学习思想的启发，提出一种邻域保持极限学习机算法。该算法保持数据最本质的结构和同类数据的判别信息，利用最小化类内散度矩阵来提高极限学习机整体的分类性能。通过人脸数据集上的多次实验结果表明，该算法的人脸识别准确率高于其他算法，更能有效地进行分类识别。     

特征标记依赖自编码器的多标记特征提取方法

在多标记学习中,如何处理高维特征一直是研究难点之一,而特征提取算法可以有效解决数据特征高维性导致的分类性能降低问题。但目前已有的多标记特征提取算法很少充分利用特征信息并充分提取"特征-标记"独立信息及融合信息。基于此,提出一种基于特征标记依赖自编码器的多标记特征提取方法。使用核极限学习机自编码器将原标记空间与原特征空间融合并产生重构后的新特征空间。一方面最大化希尔伯特-施密特范数以充分利用标记信息;另一方面通过主成分分析来降低特征提取过程中的信息损失,结合二者并分别提取"特征-特征"和"特征-标记"信息。通过在Yahoo多组高维多标记数据集上的对比实验表明,该算法的性能优于当前五种主要的多标记特征提取方法,验证了所提算法的有效性。     

拉普拉斯多层极速学习机

极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机（ML-ELM）是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法（ELM-AE）构建多层神经网络模型,不仅实现复杂函数的逼近,并且训练过程中无需迭代,学习效率高.我们把流形正则化框架引入ML-ELM中提出拉普拉斯多层极速学习机算法（Lap-ML-ELM）.然而,ELM-AE不能很好的解决过拟合问题,针对这一问题我们把权值不确定引入ELM-AE中提出权值不确定极速学习机-自动编码器算法（WU-ELM-AE）,它学习到更为鲁棒的特征.最后,我们在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法（WUL-ML-ELM）,它堆叠WU-ELM-AE构建深度模型,并且用流形正则化框架求取输出权值,该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.     

基于双模态深度自编码的孤立性肺结节诊断方法

近年来,深度学习技术在肺癌诊断方面得到了广泛的应用,但现有的研究主要集中于肺部CT图像。为了有效提高肺结节的诊断性能,提出一种基于双模态深度降噪自编码的肺结节诊断方法。首先,分别从肺部CT和PET图像中得到肺结节区域的特征信息;然后,以候选结节的PET/CT图像作为整个深度自编码网络的输入,并对高层信息进行学习;最后,采用融合策略对多种特征进行融合并将其作为整个框架的输出。实验结果表明,提出的方法可以达到92.81%的准确率、91.75%的敏感度和1.58%的特异性,且优于其他方法的诊断性能,更适用于肺结节良/恶性的辅助诊断。     

基于极限学习机的玻璃瓶口缺陷检测方法研究

针对目前玻璃空瓶回收再生产过程中造成瓶口缺陷破损的在线实时检测难题,提出一种基于极限学习机(Extreme Learning Machine, ELM)的检测算法。首先对采集的瓶口进行预处理,通过研究表面缺陷,提取灰度方差等6种表面特征。然后运用遗传算法对极限学习机的输入层层的阈值和权值进行优化,提高算法的检测精度。最后现场选取569个样本对所设计ELM分类器进行训练学习与测试,并与LVQ算法、BP分类器对比实验。结果表明该算法能够满足对机器视觉检测系统缺陷检测高速高精度的要求。     

一种卷积神经网络和极限学习机相结合的人脸识别方法

卷积神经网络是一种很好的特征提取器,但却不是最佳的分类器,而极限学习机能够很好地进行分类,却不能学习复杂的特征,根据这两者的优点和缺点,将它们结合起来,提出一种新的人脸识别方法。卷积神经网络提取人脸特征,极限学习机根据这些特征进行识别。本文还提出固定卷积神经网络的部分卷积核以减少训练参 数,从而提高识别精度的方法。在人脸库ORL和XM2VTS上进行测试的结果表明,本文的结合方法能有效提高人脸识别的识别率,而且固定部分卷积核的方式在训练样本少时具有优势。     

自闭症干预中无监督自编码的语音情感识别

语音情感识别是人机交互中重要的研究内容,儿童自闭症干预治疗中的语音情感识别系统有助于自闭症儿童的康复,但是由于目前语音信号中的情感特征多而杂,特征提取本身就是一项具有挑战性的工作,这样不利于整个系统的识别性能.针对这一问题,提出了一种语音情感特征提取算法,利用无监督自编码网络自动学习语音信号中的情感特征,通过构建一个3层的自编码网络提取语音情感特征,把多层编码网络学习完的高层特征作为极限学习机分类器的输入进行分类,其识别率为84.14%,比传统的基于提取人为定义特征的识别方法有所提高.     

极限学习机综述

极限学习机是一种单隐层前向网络的训练算法,主要特点是训练速度极快,而且可以达到很高的泛化性能。回顾了极限学习机的发展历程,分析了极限学习机的数学模型,详细介绍了极限学习机的各种改进算法,并列举了极限学习机在识别、预测和医学诊断领域的应用。最后总结预测了极限学习机的改进方向。     

基于极限学习机的船舶柴油机故障诊断

针对传统深度核极限学习机网络仅利用端层特征进行分类导致特征不全面，以及故障诊断分类器中核函数选择不恰当等问题，提出基于多层特征表达和多核极限学习机的船舶柴油机故障诊断方法。利用深度极限学习机网络提取故障数据的多层特征；将提取出的各层特征级联为一个具有多属性特征的故障数据特征向量；使用多核极限学习机分类器准确地实现柴油机的故障诊断。在标准分类数据集和船舶柴油机仿真故障数据集上的实验结果表明，与其他极限学习机算法相比，该方法能够有效提高故障诊断的准确率和稳定性，且具有较好的泛化性能，是柴油机故障诊断一个更为优秀实用的工具。