基于流形正则化极限学习机的文本分类算法研究

基于极限学习机的文本分类方法在对输入的文本特征进行随机映射时,会呈现一种非线性的几何结构,利用最小二乘法无法对其进行求解,影响文本的分类性能。为此,引入一种新的流形正则化思想,提出基于极限学习机的改进算法。利用拉普拉斯特征映射保持输入文本特征的几何结构。基于样本的类别信息对样本点之间的距离进行修正,优先选择类别相同的样本点,以改善分类性能。在Reuters和20newsgroup数据集上的实验结果表明,与正则化极限学习机算法、AdaBELM算法等相比,该算法分类性能较好,F1-measure值可达91.42%。     

流形极限学习机自编码特征表示

极限学习机（ELM）作为一种无监督分类方法,具有学习速度快、泛化性能高、逼近能力好的优点。随着无监督学习的发展,将ELM与自动编码器集成已成为无标签数据集提取特征的新视角,如极限学习机自动编码器（ELM-AE）是一种无监督的神经网络,无需迭代即可找到代表原始样本和其学习过程的主要成分。其重建输入信号获取原始样本的主要特征,且考虑了原始数据的全局信息以避免信息的丢失,然而这类方法未考虑数据的固有流形结构即样本间的近邻结构关系。借鉴极限学习机自动编码器的思想,提出了一种基于流形的极限学习机自动编码器算法（M-ELM）。该算法是一种非线性无监督特征提取方法,结合流形学习保持数据的局部信息,且在特征提取过程中同时对相似度矩阵进行学习。通过在IRIS数据集、脑电数据集和基因表达数据集上进行实验,将该算法与其他无监督学习方法PCA、LPP、NPE、LE和ELM-AE算法经过[k]-means聚类后的准确率进行了比较,以表明该算法的有效性。     

基于极限学习机的股票价格预测

极限学习机（ Extreme Learning Machine , ELM）是一种新型的单馈层神经网络算法,克服了传统的误差反向传播方法需要多次迭代,算法的计算量和搜索空间大的缺点,只需要设置合适的隐含层节点个数,为输入权和隐含层偏差进行随机赋值,一次完成无需迭代。研究表明股票市场是一个非常复杂的非线性系统,需要用到人工智能理论、统计学理论和经济学理论。本文将极限学习机方法引入股票价格预测中,通过对比支持向量机（ Support Vector Machine , SVM）和误差反传神经网络（ Back Propagation Neural Network , BP神经网络）,分析极限学习机在股票价格预测中的可行性和优势。结果表明极限学习机预测精度高,并且在参数选择及训练速度上具有较明显的优势。     

极限学习机在岩性识别中的应用

基于传统支持向量机(SVM)训练速度慢、参数选择难等问题,提出了基于极限学习机(ELM)的岩性识别.该算法是一种新的单隐层前馈神经网络(SLFNs)学习算法,不但可以简化参数选择过程,而且可以提高网络的训练速度.在确定了最优参数的基础上,建立了ELM的岩性分类模型,并且将ELM的分类结果与SVM进行对比.实验结果表明,ELM以较少的神经元个数获得与SVM相当的分类正确率,并且ELM参数选择比SVM简便,有效降低了训练速度,表明了ELM应用于岩性识别的可行性和算法的有效性.     

基于流形正则化的支持向量回归及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对回归问题的新算法。该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机回归已有的结果,解决半监督学习的回归问题,提高了泛化能力。通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性,与支持向量回归相比,具有更高的学习精度。     

基于一对一极限学习机的人脸表情识别方法

为了克服极限学习机(ELM)稳定性差、识别率不高的缺陷, 利用支持向量机(SVM)一对一投票式分类算法准确度高的优势, 提出一种改进的表情识别方法. 该方法将一对一分类算法和ELM算法相结合形成一个新的算法即OAO-ELM(One-Against-One-Extreme Learning Machine), 首先, 对样本采用一对一的分类并利用ELM训练成一个弱分类器, 然后, 将这些弱分类器组合成一个最终的强分类器. 预测结果, 采用投票方式. 用Gabor滤波提取表情特征, 由于提取后特征维度很高, 冗余大, 引入主成分分析(PCA)来降维. 基于JAFFE数据库实验结果表明, 该算法在人脸表情识别上具有较高分类识别率和稳定性.     

高斯超向量-支持向量机鉴别性语种识别系统

支持向量机在语种识别技术中获得了广泛的研究和应用,并且达到和传统混合高斯模型相当的性能。高斯超向量-支持向量机系统将高斯混合模型与支持向量机有效地结合起来,采用高斯超向量核函数,以支持向量机作为后端分类器。重点介绍基于高斯超向量-支持向量机的语种识别系统,并和传统的高斯混合模型系统进行比较。在美国国家标准技术研究院2003年和2007年语种识别评测数据集上进行实验。实验结果表明,高斯超向量-支持向量机系统相对于混合高斯模型建模的方法,在长时数据上有较明显的性能优势。     

基于流形正则化的分类与回归算法及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对流形正则化的模式分类和回归分析的新算法.该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机分类与回归已有的结果,解决半监督学习的分类与回归问题,提高了泛化能力.该算法实现简单,无需调用其他程序.通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性.且在分类问题上,该算法在输入极少数有标签样本时,也能保持较好的分类效果;在回归问题上,也具有较好的学习精度,尤其在输入带有噪音的流形数据上时,表现就更为突出.     

基于音素解码的语种识别系统联合自适应算法研究

针对真实环境下的语种识别,信道类型和通话内容等非语种方面因素的不同都会造成测试和训练条件的不匹配, 从而影响系统的识别性能.本文以音素识别器后接向量空间模型(Phone recognizer followed by vector space model, PRVSM)为语种识别系统,引入联合自适应算法来解决系统中测试和训练条件的失配问题.研究了三种自适应方法用于系统的不同阶段: 1)基于受约束的最大似然线性回归(Constrained maximum likelihood linear regression, CMLLR)的声学模型自适应; 2)基于全局N元文法的音位特征向量自适应; 3) VSM模型中的支持向量机(Support vector machines, SVM)自适应.在综合采用多种自适应技术后, PRVSM系统的性能有了较大的提高,在NIST LRE 2009测试库上对于30s、10s和3s的测试段, 基于不同音素识别器的PRVSM系统的等错误率(Equal error rate, EER)分别相对降低了18%～23%、12%～20%以及5%～9%.     

基于支持向量机的西北少数民族语语种识别

首先从西北少数民族语语种的特征方面进行分析,找出不同语种之间的差异,提取语种语音特征参数,特征参数以矢量形式表现。然后利用训练矢量来训练one—against—one支持向量机模型,利用支持向量机模型对测试矢量集进行分类投票,获得投票数最多的语种被判定为未知语音的语种。     

极限学习机综述

极限学习机是一种单隐层前向网络的训练算法,主要特点是训练速度极快,而且可以达到很高的泛化性能。回顾了极限学习机的发展历程,分析了极限学习机的数学模型,详细介绍了极限学习机的各种改进算法,并列举了极限学习机在识别、预测和医学诊断领域的应用。最后总结预测了极限学习机的改进方向。     

灵敏度正则化极限学习机及其在数字识别中的应用

针对正则化极限学习机（RELM）中隐节点数影响分类准确性问题,提出一种灵敏度正则化极限学习机（SRELM）算法.首先根据隐含层激活函数的输出及其相对应的输出层权重系数,推导实际值与隐节点输出值残差相对于隐节点的灵敏度计算公式,然后根据不同隐节点的灵敏度进行排序,利用优化样本的分类准确率删减次要隐节点,从而有效提高SRELM的分类准确率.MNIST手写体数字库实验结果表明,相比于传统的SVM和RELM, SRELM方法的耗时与RELM相差不大,均明显低于SVM, SRELM对手写数字的识别准确率最高.     

选择性集成核极限学习机建模及其应用研究

针对选择性集成逆向传播神经网络(GASEN-BPNN)模型训练学习速度慢,选择性集成极限学习机(GASEN-ELM)模型建模精度稳定性差等问题,提出一种基于遗传算法的选择性集成核极限学习机(GASEN-KELM)建模方法。该方法首先通过对训练样本进行随机采样获取子模型训练样本;然后采用泛化性、稳定性较佳的核极限学习机(KELM)算法建立候选子模型,通过标准遗传算法工具箱,依据设定阈值按进化策略优化选择最佳子模型;最后通过简单平均加权集成的方式获得最终GASEN-KELM模型。采用标准混凝土抗压强度数据验证了所提出方法的有效性,并与GASEN-BPNN和GASEN-ELM选择性集成算法进行比较,表明所提出方法可以在模型学习速度和建模预测稳定性方面获得较好的均衡。     

应用于人脸图像识别的邻域保持极限学习机

极限学习机广泛应用于人脸识别领域。传统的极限学习机算法因在少量标签样本上进行训练，容易发生学习过程不充分问题，同时在学习过程中往往忽略了样本内在的几何结构，影响其对人脸识别的分类能力。受流形学习思想的启发，提出一种邻域保持极限学习机算法。该算法保持数据最本质的结构和同类数据的判别信息，利用最小化类内散度矩阵来提高极限学习机整体的分类性能。通过人脸数据集上的多次实验结果表明，该算法的人脸识别准确率高于其他算法，更能有效地进行分类识别。     

拉普拉斯多层极速学习机

极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机（ML-ELM）是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法（ELM-AE）构建多层神经网络模型,不仅实现复杂函数的逼近,并且训练过程中无需迭代,学习效率高.我们把流形正则化框架引入ML-ELM中提出拉普拉斯多层极速学习机算法（Lap-ML-ELM）.然而,ELM-AE不能很好的解决过拟合问题,针对这一问题我们把权值不确定引入ELM-AE中提出权值不确定极速学习机-自动编码器算法（WU-ELM-AE）,它学习到更为鲁棒的特征.最后,我们在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法（WUL-ML-ELM）,它堆叠WU-ELM-AE构建深度模型,并且用流形正则化框架求取输出权值,该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.     

基于改进多核学习的语音情感识别算法

提出一种基于改进多核学习的语音情感识别算法.算法以高斯径向基核函数为基准,通过采样不同的样本,采用不同的评价标准并获得不同的参数,来提高分类性能.此外,通过引入多核技术,将得到的高斯核函数构建多核学习的基核,并通过利用松弛因子构建的软间隔多核学习的目标函数改善了学习效率.对比仿真实验结果表明,本文提出的基于多核学习语音情感识别算法有效提高了语音情感识别性能.     

多任务正则极限学习机的研究与应用

MT-ELM通过隐含层共享不同任务间的数据特性实现多任务学习，但MT-ELM忽略任务间关联程度的差异以及存在的过拟合问题，为此提出基于MT-RELM软测量建模方法。首先，利用RELM解决过拟合问题；其次，考虑任务之间关联度的差异，基于相关性较强的任务其权值向量也较相似的假设，在每个任务输出权值的基础上加入约束条件，利用此约束条件表示任务间的相关程度；最后，利用ADMM算法迭代求解得到MT-RELM的模型参数。基于合成数据集与湿式球磨机数据集的结果表明，此算法可有效地提高模型的预测精度以及泛化能力。     

一种基于超限学习机的电子磁罗盘非线性误差补偿方法

针对磁罗盘传感器非线性校正中现有方法的不足,提出采用小波函数和双曲正弦函数作为超限学习机(ELM)的激活函数,并将此改进超限学习机用于磁罗盘的校正.同时,阐述了传感器的非线性校正原理,磁罗盘航向误差模型及改进超限学习机的实现过程,并分别采用BP神经网络法和传统ELM对磁罗盘进行非线性校正.实验结果表明,改进ELM算法补偿后最大误差为0.103°,均方根误差为0.0596°,优于BP神经网络算法(补偿后最大误差为0.5°,均方根误差为0.1805°)和传统ELM神经网络(补偿后最大误差为0.21°,均方根误差为0.1056°).