基于模拟退火算法的改进极限学习机

传统的极限学习机作为一种有监督的学习模型,任意对隐藏层神经元的输入权值和偏置进行赋值,通过计算隐藏层神经元的输出权值完成学习过程.针对传统的极限学习机在数据分析预测研究中存在预测精度不足的问题,提出一种基于模拟退火算法改进的极限学习机.首先,利用传统的极限学习机对训练集进行学习,得到隐藏层神经元的输出权值,选取预测结果评价标准.然后利用模拟退火算法,将传统的极限学习机隐藏层输入权值和偏置视为初始解,预测结果评价标准视为目标函数,通过模拟退火的降温过程,找到最优解即学习过程中预测误差最小的极限学习机的隐藏层神经元输入权值和偏置,最后通过传统的极限学习机计算得到隐藏层输出权值.实验选取鸢尾花分类数据和波士顿房价预测数据进行分析.实验发现与传统的极限学习机相比,基于模拟退火改进的极限学习机在分类和回归性能上都更优.     

基于微分同胚优化极端学习机的人脸识别

极端学习机(ELM)以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用。然而当前的ELM及其改进算法并没有充分考虑到隐层节点输出矩阵对极端学习机泛化能力的影响。通过实验发现激活函数选取不当及数据维数过高将导致隐层节点输出值趋于零,使得输出权值矩阵求解不准,降低ELM的分类性能。为此,提出一种微分同胚优化的极端学习机算法。该算法结合降维和微分同胚技术提高激活函数的鲁棒性,克服隐层节点输出值趋于零的问题。为验证所提算法的有效性使用人脸数据进行实验。实验结果表明所提算法具有良好的泛化性能。     

MapReduce框架下的实时大数据图像分类

图像数据作为大数据的重要组成部分蕴含着丰富的知识,且图像分类有着广泛的应用,利用传统分类方法已经无法满足实时计算的需求.针对此问题,提出并行在线极端学习机算法.首先利用在线极端学习机理论得到隐层输出权值矩阵;其次根据MapReduce计算框架的特点对该矩阵进行分割,以代替原有大规模矩阵累乘操作,并将分割后的多个矩阵在不同工作节点上并行计算;最后将计算节点上的结果按键值合并,得到最终的分类器.在保证原有计算精度的前提下,将文中算法在MapReduce框架上进行拓展,以人脸图像为例对大规模图像数据进行分类的结果表明,该算法能够针对大数据图像进行快速、准确的分类.     

大数据分割式极限学习机算法

在海量数据输入背景下，为提升极限学习机算法的学习速度，降低计算机内存消耗，提出一种分割式极限学习机算法。将海量数据分割成[K]等份，分别训练极限学习机并获得单一外权，基于算术平均算子得到分割式极限学习机的综合外权；为避免异常数据对极限学习机输出结果的影响，采用有序加权平均算子融合单一极限学习机的输出信息，使分割式极限学习机的输出结果更为稳定。数值对比仿真显示：分割式极限学习机比传统极限学习机的学习速度、拟合精度和内存消耗都高，验证了该方法的有效性和可行性。     

基于近似结构风险的ELM隐层节点数优化

隐层节点数是影响极端学习机(ELM)泛化性能的关键参数,针对传统的ELM隐层节点数确定算法中优化过程复杂、容易过学习或陷入局部最优的问题,提出结构风险最小化-极端学习机(SRM-ELM)算法。通过分析VC维与隐层节点数量之间的关联,对VC信任函数进行近似改进,使其为凹函数,并结合经验风险重构近似的SRM。在此基础上,将粒子群优化的位置值直接作为ELM的隐层节点数,利用粒子群算法最小化结构风险函数获得极端学习机的隐层节点数,作为最优节点数。使用6组UCI数据和胶囊缺陷数据进行仿真验证,结果表明,该算法能获得极端学习机的最优节点数,并具有更好的泛化能力。     

基于PCA和PSO-ELM的煤与瓦斯突出软测量研究

针对煤与瓦斯突出预测效率和准确率不高这一问题,提出将主成分分析(PCA)法与改进的极端学习机(PSO-ELM)相结合的方法对煤与瓦斯突出进行预测。根据某煤矿地质动力区划方法,在划分活动断裂,岩体应力计算等工作基础上获取影响突出的相关数据;通过主成分分析法对原始数据进行降维处理,消除变量间的线性相关性;利用粒子群算法(PSO)对极端学习机(ELM)的输入权值和隐层阈值进行优化,建立PSO-ELM预测模型,将提取的主成分作为该模型的输入,煤与瓦斯突出强度作为模型输出。实验结果表明,该方法的预测精度高、结构简化,具有较强的泛化性能力强。     

基于VAE-ELM的时间序列预测及应用

针对传统自适应集成极限学习机预测算法中集成权值更新不充分,受人为因素影响较大所导致的集成模型预测精度较低的问题,提出一种基于方差自适应集成极限学习机(Variance Adaptive Ensemble of Extreme Learning Machine,VAE-ELM)的时间序列预测算法。该算法以最小化预测误差为目标,根据各个弱学习机的预测误差,通过反复迭代自适应地对其集成权值进行多次更新,按照最终的集成权值向量集成各个弱学习机得到最终输出。时间序列的仿真结果及液压泵状态参数预测实例表明,与E-ELM和AE-ELM算法相比,该算法鲁棒性强,预测精度更高。     

用于航空发动机动态辨识的MSMEA-ELM算法

针对传统思维进化算法搜索半径缺乏目的性,临时子群体补充缺乏方向性以及神经网络训练速度慢、泛化能力不足,传统极端学习机隐含层神经元个数多的缺点,提出一种多群体自适应思维进化算法优化的极端学习机(MSMEA-ELM)算法,通过传感器数据训练该算法用于对航空发动机大范围动态过程进行辨识.以训练均方误差与权值2范数的加权和最小为优化目标,采用多群体自适应思维进化算法优化极端学习机.以某型涡扇发动机为研究对象,采用MSMEA-ELM算法进行航空发动机动态过程辨识,验证了该算法的有效性.     

基于影响度剪枝的极端学习机分类算法研究

针对极端学习机(ELM)网络规模控制问题,从剪枝思路出发,提出了一种基于影响度剪枝的ELM分类算法。利用ELM网络单个隐节点连接输入层和输出层的权值向量、该隐节点的输出、初始隐节点个数以及训练样本个数,定义单个隐节点相对于整个网络学习的影响度,根据影响度判断隐节点的重要性并将其排序,采用与ELM网络规模相匹配的剪枝步长删除冗余节点,最后更新隐含层与输入层和输出层连接的权值向量。通过对多个UCI机器学习数据集进行分类实验,并将提出的算法与EM-ELM、PELM和ELM算法相比较,结果表明,该算法具有较高的稳定性和测试精度,训练速度较快,并能有效地控制网络规模。     

基于FRS与GA-ELM的煤与瓦斯突出预测研究

针对煤与瓦斯突出发生内在机理复杂性、致突因素与突出事件之间模糊性导致预测精度不高这一问题,提出将模糊粗糙集理论（FRS）结合改进的极端学习机（ELM）进行煤与瓦斯突出预测。通过FRS信息约简理论降低致突因素原始数据属性维度,提取出致突辅助因素,与主要因素共同作为ELM网络神经元输入,利用遗传算法（GA）对极端学习机网络输入权值、隐含层阈值进行优化,建立GA-ELM预测模型,模型输出为煤与瓦斯突出强度预测结果。经过模型训练和试验验证,该模型泛化能力强、预测精度高、收敛速度明显加快。     

基于深度序列加权核极限学习的入侵检测算法

针对海量多源异构且数据分布不平衡的网络入侵检测问题以及传统深度学习算法无法根据实时入侵情况在线更新其输出权重的问题,提出了一种基于深度序列加权核极限学习的入侵检测算法（DBN-WOS-KELM算法）。该算法先使用深度信念网络DBN对历史数据进行学习,完成对原始数据的特征提取和数据降维,再利用加权序列核极限学习机进行监督学习完成入侵识别,结合了深度信念网络提取抽象特征的能力以及核极限学习机的快速学习能力。最后在部分KDD99数据集上进行了仿真实验,实验结果表明DBN-WOS-KELM算法提高了对小样本攻击的识别率,并且能够根据实际情况在线更新输出权重,训练效率更高。     

一种混合优化的结构自适应极限过程神经网络及应用

为解决过程神经网络的隐层结构和训练速度问题,在极限学习机的基础上,提出一种混合优化的结构自适应极限过程神经网络.首先,采用在隐层中逐次增加过程神经元节点直至满足输出误差的方式完成模型结构自适应;然后,为消除冗余节点,提出对新增临时节点输出实施Gram-Schmidt正交化完成相关性判别;最后,构建一种量子衍生布谷鸟算法,对新增节点输入权函数正交基展开系数实施寻优.仿真实验以Mackey-Glass和页岩油TOC预测为例,通过对比分析验证所提出方法的有效性,仿真结果表明所得模型的逼近效率和训练速度有明显提高.     

CNN-ELM混合短文本分类模型

针对目前自然语言处理研究中,使用卷积神经网络（CNN）进行短文本分类任务时可以结合不同神经网络结构与分类算法以提高分类性能的问题,提出了一种结合卷积神经网络与极速学习机的CNN-ELM混合短文本分类模型。使用词向量训练构成文本矩阵作为输入数据,然后使用卷积神经网络提取特征并使用Highway网络进行特征优化,最后使用误差最小化极速学习机(EM-ELM)作为分类器完成短文本分类任务。与其他模型相比,该混合模型能够提取更具代表性的特征并能快速准确地输出分类结果。在多种英文数据集上的实验结果表明提出的CNN-ELM混合短文本分类模型比传统机器学习模型与深度学习模型更适合完成短文本分类任务。     

Solving Partial Differential Equation Based on Bernstein Neural Network and Extreme Learning Machine Algorithm

In this paper, we introduce a new method based on Bernstein Neural Network model (BeNN) and extreme learning machine algorithm to solve the differential equation. In the proposed method, we develop a single-layer functional link BeNN, the hidden layer is eliminated by expanding the input pattern by Bernstein polynomials. The network parameters are obtained by solving a system of linear equations using the extreme learning machine algorithm. Finally, the numerical experiment is carried out by MATLAB, results obtained are compared with the existing method, which proves the feasibility and superiority of the proposed method.     

基于PSO-ELM算法的红外目标模拟器校准数据拟合方法研究

提高红外目标模拟器校准数据的拟合精度,对于红外目标的辐射照度等辐射特性的测量有着重要意义;针对校准数据具有很强的非线性,传统的拟合算法精度不高的问题,引入一种基于粒子群算法优化的极限学习机算法（PSO-ELM）,以标准黑体辐射温度作为输入因子,以MCT探测器实际测量出的辐射照度作为输出因子,建立PSO-ELM模型,利用粒子群算法（PSO）对连接隐藏神经元和输入层的权值和隐藏神经元阈值进行优化,拟合出输入参数和输出参数之间的非线性关系;这两个参数的优化提高了极限学习机算法（ELM）的性能,该方法的主要优点是具有较强的容错性、较好的对复杂非线性数据处理性能和ELM算法参数设置上的优化机制;通过与GA-ELM模型、ELM模型进行对,验证了与传统数据拟合方法相比,基于PSO-ELM的方法拟合精度有了很大提高,为红外目标模拟器校准数据拟合提供了新的方法。     

基于改进极端学习机的网络流量预测

为了提高网络流量的预测精度,针对极端学习机的训练样本选择问题,提出一种改进极端学习机的网络流量预测模型（IELM）。根据最优延迟时间和嵌入维数对网络流量重构,建立网络学习样本,将学习样本输入到改进极端学习机进行训练,随新样本加入而逐步求解网络的权值,以提高学习速度,引入cholesky分解方法提高模型的泛化能力,采用具体网络流量数据进行了仿真测试。结果表明,IELM不仅可以获得较传统网络流量预测模型更高的精度,并且大幅度减少了计算时间,提高了建模效率,可以较好地满足网络流量预测要求。     

基于极限学习机的网页分类应用

极限学习机ELM不同于传统的神经网络学习算法（如BP算法）,是一种高效的单隐层前馈神经网络（SLFNs）学习算法。将极限学习机引入到中文网页分类任务中。对中文网页进行预处理,提取其特性信息,从而形成网页特征树,产生定长编码作为极限学习机的输入数据。实验结果表明该方法能够有效地分类网页。     

Selective ensemble extreme learning machine modeling of effluent quality in wastewater treatment plants

Real-time and reliable measurements of the effluent quality are essential to improve operating efficiency and reduce energy consumption for the wastewater treatment process.Due to the low accuracy and unstable performance of the traditional effluent quality measurements,we propose a selective ensemble extreme learning machine modeling method to enhance the effluent quality predictions.Extreme learning machine algorithm is inserted into a selective ensemble frame as the component model since it runs much faster and provides better generalization performance than other popular learning algorithms.Ensemble extreme learning machine models overcome variations in different trials of simulations for single model.Selective ensemble based on genetic algorithm is used to further exclude some bad components from all the available ensembles in order to reduce the computation complexity and improve the generalization performance.The proposed method is verified with the data from an industrial wastewater treatment plant,located in Shenyang,China.Experimental results show that the proposed method has relatively stronger generalization and higher accuracy than partial least square,neural network partial least square,single extreme learning machine and ensemble extreme learning machine model.     

基于时空相似LSTM的空气质量预测模型

由传统机器学习方法组成的空气质量预测模型得到了普遍应用,但是此类模型对于数据有效性,特别是时空相关数据的选取仍旧存在不足.针对深度学习输入数据有效性问题进行研究,提出了一种基于时空相似LSTM的预测模型(spatial-temporal similarity LSTM model,STS-LSTM),以便在时间和空间层面选取更加有效的数据.STS-LSTM分为前序、中序和后序三个模块,前序模块为时空相似选择输入模块,提出了格兰杰因果权重动态时间折叠(Granger causal index weighted dynamic time warping,GCWDTW)算法,用于选取具有更高时空相似性的数据;中序模块使用LSTM作为深度学习网络进行训练;后序模块根据目标站点特征选择不同的输出组合进行集成.STS-LSTM整体模型在空气质量预测误差上较现有算法提升了8％左右,经过有效性选取的数据对于模型精度达到了最高21％的提升.实验结果表明,对于有效数据的选取该算法取得了显著效果,将数据输入输出方法作为应用型深度学习网络的一部分,可以有效提升深度学习网络的最终效果.