基于核极限学习机的标记分布学习

标记分布学习作为一种新的学习范式,利用最大熵模型构造的专用化算法能够很好地解决某些标记多样性问题,但是计算量巨大。基于此,引入运行速度快、稳定性更高的核极限学习机模型,提出基于核极限学习机的标记分布学习算法（KELM-LDL）。首先在极限学习机算法中通过RBF核函数将特征映射到高维空间,然后对原标记空间建立KELM回归模型求得输出权值,最后通过模型计算预测未知样本的标记分布。与现有算法在各领域不同规模数据集的实验表明,实验结果均优于多个对比算法,统计假设检验进一步说明KELM-LDL算法的有效性和稳定性。     

岭参数优化的ELM岭回归学习算法

针对ELM(extreme learning machine,极限学习机)学习算法可能存在的解的奇异问题,提出了岭参数优化的ELM岭回归学习算法(ELMRR).该算法利用岭回归方法代替原有的线性回归算法,以均方根误差为性能指标,采用粒子群优化算法确定最佳岭参数.为了验证该方法的有效性,对函数回归和分类问题进行仿真实验分析,结果表明该方法改善了ELM的预测性能且克服了传统岭回归算法岭参数难以确定的缺点.     

基于深度极限学习机的危险源识别算法HIELM

危险源识别是民用航空管理的重要环节之一,危险源识别结果必须高度准确才能确保飞行的安全。为此,提出了一种基于深度极限学习机的危险源识别算法HIELM(Hazard Identification Algorithm Based on Extreme Lear-ning Machine),设计了一种由多个深层栈式极限学习机(S-ELM)和一个单隐藏层极限学习机(ELM)构成的深层网络结构。算法中,多个深层S-ELM使用平行结构,各自可以拥有不同的隐藏结点个数,按照危险源领域分类接受危险源状态信息完成预学习,并结合识别特征改进网络输入权重的产生方式。在单隐藏层ELM中,深层ELM的预学习结果作为其输入,改进了反向传播算法,提高了网络识别的精确度。同时,分别训练各深层S-ELM,缓解了高维数据训练的内存压力和节点过多产生的过拟合现象。     

选择性集成核极限学习机建模及其应用研究

针对选择性集成逆向传播神经网络(GASEN-BPNN)模型训练学习速度慢,选择性集成极限学习机(GASEN-ELM)模型建模精度稳定性差等问题,提出一种基于遗传算法的选择性集成核极限学习机(GASEN-KELM)建模方法。该方法首先通过对训练样本进行随机采样获取子模型训练样本;然后采用泛化性、稳定性较佳的核极限学习机(KELM)算法建立候选子模型,通过标准遗传算法工具箱,依据设定阈值按进化策略优化选择最佳子模型;最后通过简单平均加权集成的方式获得最终GASEN-KELM模型。采用标准混凝土抗压强度数据验证了所提出方法的有效性,并与GASEN-BPNN和GASEN-ELM选择性集成算法进行比较,表明所提出方法可以在模型学习速度和建模预测稳定性方面获得较好的均衡。     

弹性网络核极限学习机的多标记学习算法

将正则化极限学习机或者核极限学习机理论应用到多标记分类中,一定程度上提高了算法的稳定性。但目前这些算法关于损失函数添加的正则项都基于L2正则,导致模型缺乏稀疏性表达。同时,弹性网络正则化既保证模型鲁棒性且兼具模型稀疏化学习,但结合弹性网络的极限学习机如何解决多标记问题鲜有研究。基于此,本文提出一种对核极限学习机添加弹性网络正则化的多标记学习算法。首先,对多标记数据特征空间使用径向基核函数映射;随后,对核极限学习机损失函数施加弹性网络正则项;最后,采用坐标下降法迭代求解输出权值以得到最终预测标记。通过对比试验和统计分析表明,提出的算法具有更好的性能表现。     

在高斯分布下优化仿射变换的极限学习机

极限学习机(ELM)会大量映射到激活函数的饱和区域,同时隐含层输入与输出远远不能获得共同的分布方式,导致泛化性能大打折扣.针对这一问题,研究了在高斯分布下优化激活函数中仿射变换(AT)的极限学习机,主要思想是在隐含层输入数据上引入新型的线性关系,利用梯度下降算法对误差函数中的缩放参数和平移参数进行优化,以满足隐含层输出能够高度服从高斯分布.基于高斯分布计算仿射参数的方法,能够保证隐节点相互独立的同时,也强调了高度的依赖关系.实验结果表明,在实际分类数据集和图像回归数据集中,隐含层输出数据不能很好地服从均匀分布,但服从高斯分布趋势,总体上能够达到更好的实验效果.与原始ELM算法和AT-ELM1算法比较,均有显著的改善.     

在高斯分布下优化仿射变换的极限学习机

极限学习机(ELM)会大量映射到激活函数的饱和区域,同时隐含层输入与输出远远不能获得共同的分布方式,导致泛化性能大打折扣.针对这一问题,研究了在高斯分布下优化激活函数中仿射变换(AT)的极限学习机,主要思想是在隐含层输入数据上引入新型的线性关系,利用梯度下降算法对误差函数中的缩放参数和平移参数进行优化,以满足隐含层输出能够高度服从高斯分布.基于高斯分布计算仿射参数的方法,能够保证隐节点相互独立的同时,也强调了高度的依赖关系.实验结果表明,在实际分类数据集和图像回归数据集中,隐含层输出数据不能很好地服从均匀分布,但服从高斯分布趋势,总体上能够达到更好的实验效果.与原始ELM算法和AT-ELM1算法比较,均有显著的改善.     

ELMs和SVMs在多分类问题上的泛化性能比较

多分类问题是机器学习、数据挖掘领域的重要研究内容。在文本分类、语音识别、图像识别、基因检测等方面有广泛的应用。通过在UCI数据集对极限学习机算法ELMs(ELM,KELM)和支持向量机算法SVMs(SVM,LSSVM)在多分类问题上的表现进行详细比较,得出以下结论:ELMs相较于SVM在多分类问题上有更高的分类准确率,而且随着分类数目的增加,ELMs的泛化能力相较于SVM提高越多,但是ELMs对于LSSVM并没有得到上述结论;ELMs相较于SVMs对数据的类别数目不敏感,分类准确率随类别数目增加下降不明显;ELMs相较于SVMs在多分类问题上所需计算代价更小,且拥有更快的学习和训练速度,适用于多分类问题。     

基于径向基神经网络和正则化极限学习机的多标签学习模型*

相比径向基(RBF)神经网络,极限学习机(ELM)训练速度更快,泛化能力更强.同时,近邻传播聚类算法(AP)可以自动确定聚类个数.因此,文中提出融合AP聚类、多标签RBF(ML-RBF)和正则化ELM(RELM)的多标签学习模型(ML-AP-RBF-RELM).首先,在该模型中输入层使用ML-RBF进行映射,且通过AP聚类算法自动确定每一类标签的聚类个数,计算隐层节点个数.然后,利用每类标签的聚类个数通过K均值聚类确定隐层节点RBF函数的中心.最后,通过RELM快速求解隐层到输出层的连接权值.实验表明,ML-AP-RBF-RELM效果较好.     

大数据分割式极限学习机算法

在海量数据输入背景下，为提升极限学习机算法的学习速度，降低计算机内存消耗，提出一种分割式极限学习机算法。将海量数据分割成[K]等份，分别训练极限学习机并获得单一外权，基于算术平均算子得到分割式极限学习机的综合外权；为避免异常数据对极限学习机输出结果的影响，采用有序加权平均算子融合单一极限学习机的输出信息，使分割式极限学习机的输出结果更为稳定。数值对比仿真显示：分割式极限学习机比传统极限学习机的学习速度、拟合精度和内存消耗都高，验证了该方法的有效性和可行性。     

近邻标签空间非平衡化标签补全的多标签学习

研究者目前通常通过标注标签之间的相关信息研究标签之间的相关性,未考虑未标注标签与标注标签之间的关系对标签集质量的影响.受K近邻的启发,文中提出近邻标签空间的非平衡化标签补全算法(NeLC-NLS),旨在充分利用近邻空间中元素的相关性,提升近邻标签空间的质量,从而提升多标签分类性能.首先利用标签之间的信息熵衡量标签之间关系的强弱,获得基础标签置信度矩阵.然后利用提出的非平衡标签置信度矩阵计算方法,获得包含更多信息的非平衡标签置信度矩阵.继而度量样本在特征空间中的相似度,得到k个近邻标签空间样本,并利用非平衡标签置信度矩阵计算得到近邻标签空间的标签补全矩阵.最后利用极限学习机作为线性分类器进行分类.在公开的8个基准多标签数据集上的实验表明,NeLC-NLS具有一定优势,使用假设检验和稳定性分析进一步说明算法的有效性.     

大数据环境下基于关联规则的多标签学习算法

传统单标签挖掘技术研究中,每个样本只属于一个标签且标签之间两两互斥。而在多标签学习问题中,一个样本可能对应多个标签,并且各标签之间往往具有关联性。目前,标签间关联性研究逐渐成为多标签学习研究的热门问题。首先为适应大数据环境,对传统关联规则挖掘算法Apriori进行并行化改进,提出基于Hadoop的并行化算法Apriori_ING,实现各节点独立完成候选项集的生成、剪枝与支持数统计,充分发挥并行化的优势;通过Apriori_ING算法得到的频繁项集和关联规则生成标签集合,提出基于推理机的标签集合生成算法IETG。然后,将标签集合应用到多标签学习中,提出多标签学习算法FreLP。FreLP利用关联规则生成标签集合,将原始标签集分解为多个子集,再使用LP算法训练分类器。通过实验将FreLP与现有的多标签学习算法进行对比,结果表明在不同评价指标下所提算法可以取得更好的结果。     

基于模拟退火算法的改进极限学习机

传统的极限学习机作为一种有监督的学习模型,任意对隐藏层神经元的输入权值和偏置进行赋值,通过计算隐藏层神经元的输出权值完成学习过程.针对传统的极限学习机在数据分析预测研究中存在预测精度不足的问题,提出一种基于模拟退火算法改进的极限学习机.首先,利用传统的极限学习机对训练集进行学习,得到隐藏层神经元的输出权值,选取预测结果评价标准.然后利用模拟退火算法,将传统的极限学习机隐藏层输入权值和偏置视为初始解,预测结果评价标准视为目标函数,通过模拟退火的降温过程,找到最优解即学习过程中预测误差最小的极限学习机的隐藏层神经元输入权值和偏置,最后通过传统的极限学习机计算得到隐藏层输出权值.实验选取鸢尾花分类数据和波士顿房价预测数据进行分析.实验发现与传统的极限学习机相比,基于模拟退火改进的极限学习机在分类和回归性能上都更优.     

基于改进粒子群优化的并行极限学习机*

为了提高极限学习机(ELM)网络的稳定性,提出基于改进粒子群优化的极限学习机(IPSO-ELM)。结合改进的粒子群优化算法寻找ELM网络中最优的输入权值、隐层偏置及隐层节点数。通过引入变异算子,增强种群的多样性,并提高收敛速度。为了处理大规模电力负荷数据,提出基于Spark并行计算框架的并行化算法(PIPSO-ELM)。基于真实电力负荷数据的实验表明,PIPSO-ELM具有更高的稳定性及可扩展性,适合处理大规模的电力负荷数据。     

基于标记分布学习的异态集成学习算法

为了提高预测的准确性,文中结合机器学习中堆积(Stacking)集成框架,组合多个分类器对标记分布进行学习,提出基于标记分布学习的异态集成学习算法(HELA-LDL).算法构造两层模型框架,通过第一层结构将样本数据采用组合方式进行异态集成学习,融合各分类器的学习结果,将融合结果输入到第二层分类器,预测结果是带有置信度的标记分布.在专用数据集上的对比实验表明,HELA-LDL可以发挥各种算法在不同场景下的性能较优,稳定性分析进一步说明算法的有效性.     

融合萤火虫方法的多标签懒惰学习算法

已有的多标签懒惰学习算法（IMLLA）在利用近邻标签时因仅考虑了近邻标签相关性信息，而忽略相似度的影响，这可能会使算法的鲁棒性有所降低。针对这个问题，引入萤火虫方法，将相似度信息与标签信息相结合，提出一种融合萤火虫方法的多标签懒惰学习算法（FF-MLLA）。首先，利用Minkowski距离来度量样本间相似度，从而找到近邻点；然后，结合标签近邻点和萤火虫方法对标签计数向量进行改进；最后，使用奇异值分解（SVD）与核极限学习机（ELM）进行线性分类。该算法同时考虑了标签信息与相似度信息从而提高了鲁棒性。实验结果表明，所提算法较其他的多标签学习算法有一定优势，并使用统计假设检验与稳定性分析进一步说明所提出算法的合理性与有效性。     

极限学习机的分类器集成模型研究

将极限学习机算法与旋转森林算法相结合,提出了以ELM算法为基分类器并以旋转森林算法为框架的RF-ELM集成学习模型。在8个数据集上进行了3组预测实验,根据实验结果讨论了ELM算法中隐含层神经元个数对预测结果的影响以及单个ELM模型预测结果不稳定的缺陷;将RF-ELM模型与单ELM模型和基于Bagging算法集成的ELM模型相比较,由稳定性和预测精度的两组对比实验的实验结果表明,对ELM的集成学习可以有效地提高ELM模型的性能,且RF-ELM模型较其他两个模型具有更好的稳定性和更高的准确率,验证了RF-ELM是一种有效的ELM集成学习模型。     

基于局部保留投影的堆叠隐空间模糊C均值算法*

传统模糊聚类算法在处理复杂非线性数据时学习能力较差。针对此问题,文中基于极限学习机(ELM)理论,结合局部保留投影(LPP)与ELM特征映射,提出压缩隐空间特征映射算法,从而将原始数据从原空间映射至压缩ELM隐空间中。通过连接多个压缩隐空间特征映射,结合模糊聚类技术,提出基于LPP的堆叠隐空间模糊C均值算法。大量实验表明,文中算法对模糊指数的变化不敏感,在处理复杂非线性数据和存在类内差异的图像数据时,能够取得更精确、高效、稳定的学习效果。     

Multi layer ELM-RBF for multi-label learning

Many neural network methods such as ML-RBF and BP-MLL have been used for multi-label classification. Recently, extreme learning machine (ELM) is used as the basic elements to handle multi-label classification problem because of its fast training time. Extreme learning machine based auto encoder (ELM-AE) is a novel method of neural network which can reproduce the input signal as well as auto encoder, but it can not solve the over-fitting problem in neural networks elegantly. Introducing weight uncertainty into ELM-AE, we can treat the input weights as random variables following Gaussian distribution and propose weight uncertainty ELM-AE (WuELM-AE). In this paper, a neural network named multi layer ELM-RBF for multi-label learning (ML-ELM-RBF) is proposed. It is derived from radial basis function for multi-label learning (ML-RBF) and WuELM-AE. ML-ELM-RBF firstly stacks WuELM-AE to create a deep network, and then it conducts clustering analysis on samples features of each possible class to compose the last hidden layer. ML-ELM-RBF has achieved satisfactory results on single-label and multi-label data sets. Experimental results show that WuELM-AE and ML-ELM-RBF are effective learning algorithms.