A pruning algorithm with L1/2regularizer for extreme learning machine简

Compared with traditional learning methods such as the back propagation （BP） method, extreme learning machine provides much faster learning speed and needs less human intervention, and thus has been widely used. In this paper we combine the L1/2 regularization method with extreme learning machine to prune extreme learning machine. A variable learning coefficient is employed to prevent too large a learning increment. A numerical experiment demonstrates that a network pruned by L1/2 regularization has fewer hidden nodes but provides better performance than both the original network and the network pruned by L2 regularization.     

基于深度极限学习机的危险源识别算法HIELM

危险源识别是民用航空管理的重要环节之一,危险源识别结果必须高度准确才能确保飞行的安全。为此,提出了一种基于深度极限学习机的危险源识别算法HIELM(Hazard Identification Algorithm Based on Extreme Lear-ning Machine),设计了一种由多个深层栈式极限学习机(S-ELM)和一个单隐藏层极限学习机(ELM)构成的深层网络结构。算法中,多个深层S-ELM使用平行结构,各自可以拥有不同的隐藏结点个数,按照危险源领域分类接受危险源状态信息完成预学习,并结合识别特征改进网络输入权重的产生方式。在单隐藏层ELM中,深层ELM的预学习结果作为其输入,改进了反向传播算法,提高了网络识别的精确度。同时,分别训练各深层S-ELM,缓解了高维数据训练的内存压力和节点过多产生的过拟合现象。     

基于形态学属性剖面的高光谱影像集成分类

传统高光谱遥感影像逐像素分类方法未考虑像元之间的空间关联性且泛化性能较低。形态学属性剖面是表征影像空间结构的有效方法,同时集成学习可显著提升分类算法的泛化能力。为了在高光谱影像分类中充分利用影像的空间信息并提高分类的稳定性,提出一种基于形态学属性剖面高光谱遥感影像集成学习分类方法。首先,用主成分分析和最小噪声变换进行特征提取,并借助形态学属性剖面获取影像的多重空间特征;然后用极限学习和支持向量机的方法进行分类;最后将多个分类结果以多数投票的方式集成。区别于已有集成学习方法,综合考虑了不同特征提取和不同分类方法的联合集成,并将形态学属性剖面引入其中以充分利用影像的空间信息。采用AVIRIS和ROSIS两组高光谱数据检验该方法的分类性能,实验结果表明该方法可获得高精度和高稳定性的分类结果,总体精度分别达到83.41%和95.14%。     

一种适用于物联网的在线GP-ELM算法

为满足物联网环境下边缘设备对机器学习算法准确、快速以及自适应产生参数的需求,在DE-ELM的基础上提出一种在线的GP-ELM算法.通过改进结点增加方式,在每次增加结点的同时添加结点统计和结点删除步骤,提高训练速度,同时保持算法的准确性.运用Matlab软件对图片分割、卫星图片分类、卫星DNA等数据集进行训练实验,结果表...     

多样性正则化极限学习机的集成方法

极限学习机（ELM）是一种单隐层前向网络的训练算法;随机确定输入层权值和隐含层偏置;通过分析的方法确定输出层的权值;ELM克服了基于梯度的学习算法的很多不足;如局部极小、不合适的学习速率、学习速度慢等;却不可避免地造成了过拟合的隐患且稳定性较差;特别是对于规模较大的数据集。针对上述问题;提出多样性正则化极限学习机（DRELM）的集成方法。首先;从改变隐层节点参数的分布来为每个ELM随机选取输入权重;采用LOO交叉验证方法和 方法来寻找每个基学习器的最优隐节点数;计算并输出最优隐含层输出权重;训练出较好且具有差异性的基学习器。然后;将有关多样性的新惩罚项显式添加到整个目标函数中;迭代更新每个基学习器的隐含层输出权重并输出结果。最后;集成所有基学习器的输出结果对其求平均值;得到整个网络模型最后的输出结果。该方法能够有效地实现多样性正则化极限学习机（RELM）的融合;兼顾准确率和多样性。在10个不同规模的UCI数据集上的实验结果表明所提出的方法是行之有效的。     

基于EMD-TCN-ELM的短期电力负荷预测

为降低负荷序列的复杂性,利用EMD分解方法得到不同的分量.为降低训练时间和减小分量逐个预测所带来的累计误差,利用分量过零率大小将分量重构为高频分量和低频分量,利用TCN模型预测负荷的高频分量,利用极限学习机ELM预测负荷低频分量.通过实验将所提模型EMD-TCN-ELM分别与3个单模型TCN、ELM、LSTM和3个混合模型EMD-TCN、EMD-ELM、EMD-LSTM比较,其MAPE分别降低0.538%, 1.866%, 1.191%,0.026%, 1.559%, 0.323%,所提模型的预测精度最高.且所提模型在预测精度前3的模型中训练时间最短,验证了所提模型在负荷预测精度和训练时间方面的优越性.     

基于FAM-ELM股票价格预测研究

研究股票价格准确预测问题.股票价格预测是股票交易者最关心的问题,直接影响着股票交易者的收益.由于股票受经济发展的影响,价格波动较大,在股票价格预测中采用传统神经网络方法存在训练速度慢,易陷入局部极小值,隐含层节点数人为指定等问题,导致泛化能力受到影响,预测不准.为了提高股票价格预测的精度,提出基于因子分析法的极限学习机股票价格预测模型.首先使用因子分析法综合股票价格影响指标;接着使用隐含层神经元数量寻优算法搜索最优隐含层神经元数量值;然后使用极限学习机对综合后的股票价格影响指标进行学习,建立股票价格预测模型;最后通过实验对模型性能进行测试.试验结果证明,基于因子分析法的极限学习机提高了股票价格的预测精度和运行效率.     

结合栈式监督AE与可变加权ELM的回归预测模型

在现代工业生产过程中,许多关键变量与产品质量或生产效率密切相关,关键变量的实时监测是实现利润最大化及节能降耗的有效途径。针对回归预测任务中目标特征提取不全面、预测精度较低等问题,提出一种基于栈式监督自编码器与可变加权极限学习机的回归预测模型。通过堆叠多层自编码器并在每层自编码器中添加回归网络,同时以有监督方式对栈式自编码器（SAE）进行逐层预训练,得到与输出变量相关的特征表示。利用反向传播算法对网络参数进行微调,优化自编码器模型参数。在分析提取特征与输出变量的相关性基础上,对极限学习机（ELM）的输入权值和偏置进行加权得到预测结果。实验结果表明,与基于ELM和SAE-ELM的回归预测模型相比,该模型在多晶硅铸锭的G6产品数据集上的均方根误差降低0.056 7和0.011 2、决定系数提高0.489 3和0.290 3,具有更高的回归预测准确性及更强的鲁棒性与泛化性能。     

基于MapReduce的大数据主动学习

针对传统的主动学习算法只能处理中小型数据集的问题,提出一种基于MapReduce的大数据主动学习算法。首先,在有类别标签的初始训练集上,用极限学习机（ELM）算法训练一个分类器,并将其输出用软最大化函数变换为一个后验概率分布。然后,将无类别标签的大数据集划分为l个子集,并部署到l个云计算节点上。在每一个节点,用训练出的分类器并行地计算各个子集中样例的信息熵,并选择信息熵大的前q个样例进行类别标注,将标注类别的l×q个样例添加到有类别标签的训练集中。重复以上步骤直到满足预定义的停止条件。在Artificial、Skin、Statlog和Poker 4个数据集上与基于ELM的主动学习算法进行了比较,结果显示,所提算法在4个数据集上均能完成主动样例选择,而基于ELM的主动学习算法只在规模最小的数据集上能完成主动样例选择。实验结果表明,所提算法优于基于极限学习机的主动学习算法。     

基于局部线性嵌入极限学习机的人脸识别新方法

针对人脸图片数量多、容易受噪声干扰,致使人脸识别的识别速度慢、准确率低的问题,提出一种基于局部线性嵌入极限学习机的人脸识别方法——LLE-ELM算法。利用局部线性嵌入(LLE)算法对人脸数据提取特征,最大限度保留原数据的特征结构,减少数据量,降低计算复杂;采用极限学习机(ELM)算法对提取特征后的数据进行分类;实现人脸识别,输出识别准确率和时长。通过在ORL数据库、Yale数据库、AR人脸库和CASIA-WEBFACE人脸库上的数值实验表明:与PCA、SVM、CNN算法对比,该算法具有较高的识别准确率和较快的识别速度。     

Fynesse: An architecture for integrating prior knowledge in autonomously learning agents

Reinforcement learning is an optimisation technique for applications like control or scheduling problems. It is used in learning situations, where success and failure of the system are the only training information. Unfortunately, we have to pay a price for this powerful ability: long training times and the instability of the learning process are not tolerable for industrial applications with large continuous state spaces. From our point of view, the integration of prior knowledge is a key mechanism for making autonomous learning practicable for industrial applications. The learning control architecture Fynesse provides a unified view onto the integration of prior control knowledge in the reinforcement learning framework. In this way, other approaches in this area can be embedded into Fynesse. The key features of Fynesse are (1) the integration of prior control knowledge like linear controllers, control characteristics or fuzzy controllers, (2) autonomous learning of control strategies and (3) the interpretation of learned strategies in terms of fuzzy control rules. The benefits and problems of different methods for the integration of a priori knowledge are demonstrated on empirical studies.The research project F ynesse was supported by the Deutsche Forschungsgemeinschaft (DFG).     

Improved bi-dimensional EMD and Hilbert spectrum for the analysis of textures

An improved bi-dimensional empirical mode decomposition (IBEMD) is proposed. Structure of image extremas represents the important feature of images, and is useful for the information extraction and analysis. The image extrema are classified into the five different sets, which are called as the structural extrema. The structural extrema are used instead of the classical extrema, and the BEMD (bi-dimensional empirical mode decomposition) algorithms based on the structural extrema are more accurate through interpolating the up and down envelopes. Specially, the IBEMD has the least NMSE (normalised mean square error) and the biggest SNR (signal-to-noise ratio) for the mode decomposition, and greatly improves the robustness of the BEMD. Moreover, quaternion Hilbert transform based space-spatial-frequency tool is improved, and applied to the texture analysis. The experiments of texture analysis show that the new approach is efficient for the application in texture analysis.     

半监督极限学习机及其在近红外光谱数据分析中的应用

当数据集中包含的训练信息不充分时,监督的极限学习机较难应用,因此将半监督学习应用到极限学习机,提出一种半监督极限学习机分类模型;但其模型是非凸、非光滑的,很难直接求其全局最优解。为此利用组合优化方法,将提出的半监督极限学习机化为线性混合整数规划,可直接得到其全局最优解。进一步,利用近红外光谱技术,将半监督极限学习机应用于药品和杂交种子的近红外光谱数据的模式分类。与传统方法相比,在不同的光谱区域的数值实验结果显示:当数据集中包含训练信息不充分时,提出的半监督极限学习机提高了模型的推广能力,验证了所提出方法的可行性和有效性。     

基于Hilbert-Huang变换的语音信号分离

针对短时傅里叶变换不能正确得到非平稳信号的能量频率分布问题,提出了一种基于Hilbert-Huang变换的单信道语音信号分离的算法。该算法首先对分解得到的各内蕴模式函数分量(IMF)进行Hilbert变换,得到混合信号时频面上的Hilbert谱,然后对混合信号的Hilbert谱运用独立子空间分析的方法得出代表各个独立源信号的子空间,并对其求逆变换,从而恢复出各个源信号。通过仿真实验验证了此算法的正确性和有效性,且与短时傅里叶变换时频分析法相比较,其分离性能明显得到改善,显示了Hilbert-Huang变换在处理非平稳信号的优越性。     

融合萤火虫方法的多标签懒惰学习算法

已有的多标签懒惰学习算法(IMLLA)在利用近邻标签时因仅考虑了近邻标签相关性信息,而忽略相似度的影响,这可能会使算法的鲁棒性有所降低。针对这个问题,引入萤火虫方法,将相似度信息与标签信息相结合,提出一种融合萤火虫方法的多标签懒惰学习算法(FF-MLLA)。首先,利用Minkowski距离来度量样本间相似度,从而找到近邻点;然后,结合标签近邻点和萤火虫方法对标签计数向量进行改进;最后,使用奇异值分解(SVD)与核极限学习机(ELM)进行线性分类。该算法同时考虑了标签信息与相似度信息从而提高了鲁棒性。实验结果表明,所提算法较其他的多标签学习算法有一定优势,并使用统计假设检验与稳定性分析进一步说明所提出算法的合理性与有效性。