基于模拟退火算法的改进极限学习机

传统的极限学习机作为一种有监督的学习模型,任意对隐藏层神经元的输入权值和偏置进行赋值,通过计算隐藏层神经元的输出权值完成学习过程.针对传统的极限学习机在数据分析预测研究中存在预测精度不足的问题,提出一种基于模拟退火算法改进的极限学习机.首先,利用传统的极限学习机对训练集进行学习,得到隐藏层神经元的输出权值,选取预测结果评价标准.然后利用模拟退火算法,将传统的极限学习机隐藏层输入权值和偏置视为初始解,预测结果评价标准视为目标函数,通过模拟退火的降温过程,找到最优解即学习过程中预测误差最小的极限学习机的隐藏层神经元输入权值和偏置,最后通过传统的极限学习机计算得到隐藏层输出权值.实验选取鸢尾花分类数据和波士顿房价预测数据进行分析.实验发现与传统的极限学习机相比,基于模拟退火改进的极限学习机在分类和回归性能上都更优.     

基于分解极限学习机的手写字符识别方法

手写字符识别是图像识别的一个重要分支,是基于数据挖掘和机器学习技术对数字、字母和文字等的手写体进行识别。当前手写字符识别方法主要集中在对不同深度学习模型的完善和改进上,其中多层极限学习机由于其快于深度信念网络和深度玻尔兹曼机的训练速度以及更高的识别精度引起了学术界和工业界的广泛关注。但是,多层极限学习机的预测表现极易受随机权重的影响,层数越多影响就越明显。文中在深入分析浅层极限学习机训练模式的基础上,提出了一种基于隐含层输出矩阵分解的浅层极限学习机模型,并将其应用于对手写字符的识别。分解极限学习机不需要对手写字符图像进行特征提取,而是通过对大规模隐含层输出矩阵的分解来获得极限学习机的输出层权重。相比深层极限学习机,分解极限学习机降低了基于极限学习机的手写字符识别模型训练的随机性。同时,在MNIST类数据集(即MNIST,EMNIST,KMNIST和K49-MNIST)上的比较结果表明,在相同的训练时间下,分解极限学习机能够获得优于多层极限学习机的识别精度;在相同的识别精度下,分解极限学习机的训练时间明显短于多层极限学习机。实验结果证实了分解极限学习的可行性以及在处理手写字符识别问题上的...     

集成重复训练极限学习机的数据分类

极限学习机是一种随机化算法,它随机生成单隐含层神经网络输入层连接权和隐含层偏置,用分析的方法确定输出层连接权。给定网络结构,用极限学习机重复训练网络,会得到不同的学习模型。本文提出了一种集成模型对数据进行分类的方法。首先用极限学习机算法重复训练若干个单隐含层前馈神经网络,然后用多数投票法集成训练好的神经网络,最后用集成模型对数据进行分类,并在10个数据集上和极限学习机及集成极限学习机进行了实验比较。实验结果表明,本文提出的方法优于极限学习机和集成极限学习机。     

基于PCOS-ELM的室内指纹定位算法

针对传统室内指纹定位算法存在定位精度低、对环境适应能力差的问题,提出了一种基于并行混沌优化的在线连续极限学习机(PCOS-ELM)定位算法.离线阶段,通过并行混沌优化算法(PCOA)对极限学习机的隐含层节点参数进行寻优并构建高精度初始定位模型;在线阶段,利用在线连续极限学习机(OS-ELM)使新增位置指纹数据对定位模型进行动态调整,以适应室内环境的变化.结果表明:提出的PCOS-ELM定位算法具有更高的定位精度和更好的环境适应性.     

基于分布式并行分层极限学习机的大数据多模式质量预测

考虑分布式系统质量预测中的大数据处理问题,提出一种基于分布式并行分层极限学习机(distributed parallel hierarchical extreme learning machine, dp-HELM)的大数据多模式质量预测模型。根据Map-Reduce框架,将高效的极限学习机算法转化为分布式并行建模形式。由于分层极限学习机(hierarchical extreme learning machine, HELM)的深度学习网络结构在特征上具备的预测精度优势,结合深层隐藏层的ELM自动编码器,进一步开发了dp-HELM。通过dp-ELM和dp-HELM以同步并行方式进一步训练分布式并行K均值划分的过程模式,利用贝叶斯模型融合技术来集成用于在线预测的局部模型。将所提出的预测模型应用于预脱碳装置中残留的二氧化碳含量估算,实验结果表明了该方法的有效性与可行性。     

基于深度极限学习机的卫星云图云量计算

卫星云图云量计算是卫星气象应用的基础,现阶段对其的研究未能充分利用卫星云图的特征,导致云检测及云量计算的效果不好。针对该问题,利用多层神经网络进行卫星云图的特征提取,并通过大量实验寻找到最优的深度学习的网络结构。基于度极限学习机对卫星云图的云进行检测和分类,再利用“空间相关法”计算云图中的总云量。实验结果表明,基于传统极限学习机的深度极限学习机能够充分提取云图的特征,在进行云分类时能够较清晰地区分厚云和薄云间的界限。相比于传统阈值法、极限学习机模型以及卷积神经网络,深度极限学习机的云识别率以及云量计算准确率更高,且所提方法比卷积神经网络的效率更高。     

基于极限学习机的供水管网故障智能诊断方法

为进一步提高传统极限学习机的泛化能力,提出了一种基于人工蜂群算法优化的极限学习机模型.该模型将人工蜂群算法的全局寻优能力和极限学习机的快速学习能力相结合,有效克服了传统极限学习机的过拟合现象.在确定水压变化比值作为故障特征参数的基础上,将优化后的极限学习机模型应用于供水管网的泄漏故障诊断实验,实验结果表明,经人工蜂群算法优化的极限学习机模型在故障诊断速度和精度方面均优于其他3种模型.     

一种基于蚁狮优化的极限学习机

极限学习机(Extreme Learning Machine,ELM)是一种高效率的单隐层前馈神经网络,由于其训练速度快与泛化性能好,在各个领域中都有广泛的应用。但是极限学习机随机生成输入权值与隐含层偏置矩阵,随机性影响训练模型的泛化性能与稳定性,降低模型分类的精度。为了解决这一问题,借鉴蚁狮优化算法中利用蚁狮种群中的多个个体进行并行寻优的能力,改进优化极限学习机的输入权值与隐含层偏置矩阵,得到一个分类精度更高模型。以UCI标准数据库中数据进行分类实验分析验证,实验结果表明,在5类UCI数据集上基于蚁狮优化的极限学习机(ALO-ELM)相比于PSO-ELM和SaDE-ELM具有更高的分类精度。     

基于KPCA和ELM的新型民机舵机系统故障诊断

针对传统极限学习机模型难以学习高维数据、输入权值矩阵和隐含层偏置随机给定的问题,利用核主成分分析法来降低民机故障数据维数,通过改进的极限学习机来建立新型民机升降舵故障诊断模型.模型利用差分进化算法改进了极限学习机输入权值矩阵、隐含层偏置随机生成的缺点,应用到新型民机升降舵系统的故障诊断中.测试结果表明,KPCA-ELM...     

基于Softplus+HKELM的彩色图像超分辨率算法

在极限学习机网络结构中,对于隐藏层节点,一般都采用Sigmoid激活函数。为了使基于极限学习机的彩色图像超分辨率算法具有更快的学习速度,更好的泛化能力,论文提出一种具有生物学激活模型且有一定稀疏表达能力的Soft plus激活函数与学习能力更好的HKELM相结合的彩色图像超分辨率算法。实验证明,与传统的极限学机相比,基于Soft plus+HKELM的彩色图像超分辨率算法不仅具有更好的泛化能力,而且最大程度降低了极限学习机训练的复杂度,提高了超分辨算法的实时应用性。     

大数据分割式极限学习机算法

在海量数据输入背景下，为提升极限学习机算法的学习速度，降低计算机内存消耗，提出一种分割式极限学习机算法。将海量数据分割成[K]等份，分别训练极限学习机并获得单一外权，基于算术平均算子得到分割式极限学习机的综合外权；为避免异常数据对极限学习机输出结果的影响，采用有序加权平均算子融合单一极限学习机的输出信息，使分割式极限学习机的输出结果更为稳定。数值对比仿真显示：分割式极限学习机比传统极限学习机的学习速度、拟合精度和内存消耗都高，验证了该方法的有效性和可行性。     

用于鲁棒性建模的概率权重极限学习机

极限学习机(ELM)在机器学习领域获得了很多的关注,并在应用方面取得了极大的成功。然而,极限学习机对训练数据中的异常值点和非高斯噪声非常敏感,从而大大阻碍了ELM的应用。概率权重ELM方法主要对含有异常值和非高斯噪声数据集进行建模,首先建立概率局部ELM模型,并在此基础上利用Parzen窗方法建立局部模型的概率分布,然后将概率分布作为权重来融合所有的局部模型以建立全局鲁棒性模型。该方法成功地应用了数学例子和UCI实例,并与传统ELM、正则化ELM和鲁棒ELM进行了比较分析,结果表明概率权重ELM表现出了较好的建模性能。     

回归核极限学习机的多标记学习算法

基于极限学习机(ELM)的多标记学习算法多使用ELM分类模式,忽略标记之间存在的相关性.为此,文中提出结合关联规则与回归核极限学习机的多标记学习算法(ML-ASRKELM).首先通过关联规则分析标记空间,提取标记之间的规则向量.然后通过提出的多标记回归核极限学习机(ML-RKELM)得出预测结果.若规则向量不为空,将规则向量与预测结果运算得出最终预测结果,否则最终结果即为ML-RKELM的预测结果.对比实验表明ML-ASRKELM与ML-RKELM性能较优,统计假设检验进一步说明文中算法的有效性.     

基于流形正则化极限学习机的语种识别系统

支持向量机 (Support vector machine, SVM) 在语种识别中已经起到了重要的作用.近些年来,极限学习机 (Extreme learning machine, ELM) 在很多领域取得了成功的应用.相比于 SVM, ELM 最大的优点在于极易实现、训练速度快,而且通常可以取得与 SVM 相近甚至优于 SVM 的识别性能. 鉴于 ELM 这些优异的特点,本文将 ELM 引入到语种识别中,并针对 ELM 由于随机初始化模型参 数所带来的潜在问题,提出了流形正则化极限学习机 (Manifold regularized extreme learning machine, MRELM) 算法.实验结果表明,在高斯超矢量(Gaussian supervector, GSV)特征空间上,相对于 SVM 基线系统,该算法对30秒语音的识别性能有明显的提升. 同时该算法也可以成功地应用到 i-vector 特征空间中,取得与当前主流的打分算法相近的识别性能.     

Learning to Rank with Extreme Learning Machine

Relevance ranking has been a popular and interesting topic over the years, which has a large variety of applications. A number of machine learning techniques were successfully applied as the learning algorithms for relevance ranking, including neural network, regularized least square, support vector machine and so on. From machine learning point of view, extreme learning machine actually provides a unified framework where the aforementioned algorithms can be considered as special cases. In this paper, pointwise ELM and pairwise ELM are proposed to learn relevance ranking problems for the first time. In particular, ELM type of linear random node is newly proposed together with kernel version of ELM to be linear as well. The famous publicly available dataset collection LETOR is tested to compare ELM-based ranking algorithms with state-of-art linear ranking algorithms.     

基于蚁群优化的极限学习机选择性集成学习算法

针对现有极限学习机集成学习算法分类精度低、泛化能力差等缺点,提出了一种基于蚁群优化思想的极限学习机选择性集成学习算法。该算法首先通过随机分配隐层输入权重和偏置的方法生成大量差异的极限学习机分类器,然后利用一个二叉蚁群优化搜索算法迭代地搜寻最优分类器组合,最终使用该组合分类测试样本。通过12个标准数据集对该算法进行了测试,该算法在9个数据集上获得了最优结果,在另3个数据集上获得了次优结果。采用该算法可显著提高分类精度与泛化性能。     

蝙蝠算法优化极限学习机的滚动轴承故障分类

针对传统智能故障诊断方法在滚动轴承的故障诊断中诊断准确率不高的问题,引入了一种启发式搜索算法——蝙蝠算法(BA)优化极限学习机(ELM)的方法,利用ELM构建滚动轴承故障诊断分类模型。首先采用滚动轴承振动信号的五种代表性时域无量纲指标作为诊断模型输入特征,然后,利用蝙蝠算法的全局寻优能力对ELM模型的参数进行优化,获取最优输入权重和隐含层偏置的ELM分类模型,最后采用美国西储大学轴承数据中心网站公开发布的轴承探伤数据集验证算法诊断效果。实验结果表明：该方法可以有效地对滚动轴承不同故障状态进行识别,与BP神经网络、支持向量机(SVM)和极限学习机(ELM)方法比较,所提出的方法能够提高故障诊断准确率,达到99.17%。     

Manifold regularized extreme learning machine

Extreme learning machine (ELM) works for generalized single-hidden-layer feedforward networks (SLFNs), and its essence is that the hidden layer of SLFNs need not be tuned. But ELM only utilizes labeled data to carry out the supervised learning task. In order to exploit unlabeled data in the ELM model, we first extend the manifold regularization (MR) framework and then demonstrate the relation between the extended MR framework and ELM. Finally, a manifold regularized extreme learning machine is derived from the proposed framework, which maintains the properties of ELM and can be applicable to large-scale learning problems. Experimental results show that the proposed semi-supervised extreme learning machine is the most cost-efficient method. It tends to have better scalability and achieve satisfactory generalization performance at a relatively faster learning speed than traditional semi-supervised learning algorithms.