基于灵敏度分析法的ELM剪枝算法

针对极端学习机(ELM)网络结构设计问题,提出基于灵敏度分析法的ELM剪枝算法.利用隐含层节点输出和相对应的输出层权值向量,定义学习残差对于隐含层节点的灵敏度和网络规模适应度,根据灵敏度大小判断隐含层节点的重要性,利用网络规模适应度确定隐含层节点个数,删除重要性较低的节点.仿真结果表明,所提出的算法能够较为准确地确定与学习样本相匹配的网络规模,解决了ELM网络结构设计问题.     

基于成员相似性的集成极端学习机

为了增大各成员间的差异度以改善集成系统的性能,提出了一种基于成员间相似性选择的集成极端学习机(ELM)。首先,筛选出分类性能较高的备选极端学习机;其次,根据成员间的相似性运用微粒群算法(PSO)进一步选出最优的集成成员集合。通过选出相似度低的极端学习机来提高集成成员间差异度,从而有效提高集成系统的分类能力。选出的成员学习机在不同的集成规则下都具有良好性能。在四个UCI数据集上的实验结果表明,与经典的集成极端学习机相比,基于成员相似性选择的集成极端学习机具有更优的泛化性能和稳定性。     

基于条件误分类的决策树剪枝算法

在建立决策树分类模型时,剪枝的方法直接影响分类器的分类效果。通过研究基于误差率的剪枝算法,引入条件误差的概念,改进剪枝标准的评估方法,针对决策树的模型进行优化,提出条件误差剪枝方法,并将其应用于C4.5算法中。实验结果表明,条件误差剪枝方法有效地解决剪枝不充分和过剪枝的情况,在一定程度上提高了准确率。     

网络结构增长的极端学习机算法

针对极端学习机(extreme learning machine,ELM)结构设计问题,基于隐含层激活函数及其导函数提出一种前向神经网络结构增长算法.首先以Sigmoid函数为例给出了一类基函数的派生特性:导函数可以由其原函数表示.其次,利用这种派生特性提出了ELM结构设计方法,该方法自动生成双隐含层前向神经网络,其第1隐含层的结点随机逐一生成.第2隐含层的输出由第1隐含层新添结点的激活函数及其导函数确定,输出层权值由最小二乘法分析获得.最后给出了所提算法收敛性及稳定性的理论证明.对非线性系统辨识及双螺旋分类问题的仿真结果证明了所提算法的有效性.     

基于角度优化的鲁棒极端学习机算法

极端学习机因其学习速度快、泛化性能强等优点,在当今模式识别领域中已经成为了主流的研究方向;但是,由于该算法稳定性差,往往易受数据集中噪声的干扰,在实际应用中导致得到的分类效果不是很显著;因此,为了提高极端学习机分类的准确性,针对数据集样本中带有噪声和离群点问题,提出了一种基于角度优化的鲁棒极端学习机算法;该方法利用鲁棒激活函数角度优化的原则,首先降低了离群点对分类算法的影响,从而保持数据样本的全局结构信息,达到更好的去噪效果;其次,有效的避免隐层节点输出矩阵求解不准的问题,进一步增强极端学习机的泛化性能;通过应用在普遍图像数据库上的实验结果表明,这种提出的算法与其他算法相比具有更强的鲁棒性和较高的识别率。     

融合极端学习机的判别性分析字典学习算法

研究表明,端学习机和判别性字典学习算法在图像分类领域极具有高效和准确的优势。然而,这两种方法也具有各自的缺点,极端学习机对噪声的鲁棒性较差,判别性字典学习算法在分类过程中耗时较长。为统一这种互补性以提高分类性能,文中提出了一种融合极端学习机的判别性分析字典学习模型。该模型利用迭代优化算法学习最优的判别性分析字典和极端学习机分类器。为验证所提算法的有效性,利用人脸数据集进行分类。实验结果表明,与目前较为流行的字典学习算法和极端学习机相比,所提算法在分类过程中具有更好的效果。     

基于灵敏度分析的FPGM剪枝算法研究

针对等比例剪枝导致的重要卷积层剪枝过度、残留大量冗余参数以及精度损失较大的问题,在FPGM剪枝策略基础上融入灵敏度分析进行网络剪枝。算法采用精度反馈来分析每一层卷积层的重要性,控制单层剪枝比例分析每一层不同剪枝比例对精度损失的影响,获取各个卷积层的灵敏度;结合FPGM策略分析卷积层内卷积核的重要程度按灵敏度的剪枝比例剪掉不重要的卷积核,达到对神经网络进行有效剪枝的目的。实验结果表明,所提方法在MobileNet-v1和ResNet50上剪枝率为50%的情况下,精确度仅下降1.56%和0.11%;所提方法在精度损失一致下,ResNet50上具有更高剪枝率和更低计算量。     

基于随机子空间核极端学习机集成的高光谱遥感图像分类

结合随机子空间和核极端学习机集成提出了一种新的高光谱遥感图像分类方法。首先利用随机子空间方法从高光谱遥感图像数据的整体特征中随机生成多个大小相同的特征子集;然后利用核极端学习机在这些特征子集上进行训练从而获得基分类器;最后将所有基分类器的输出集成起来,通过投票机制得到分类结果。在高光谱遥感图像数据集上的实验结果表明:所提方法能够提高分类效果,且其分类总精度要高于核极端学习机和随机森林方法。     

一种基于互信息变量选择的极端学习机算法

针对回归问题中存在的变量选择和网络结构设计问题, 提出一种基于互信息的极端学习机(ELM) 训练算法, 同时实现输入变量的选择和隐含层的结构优化. 该算法将互信息输入变量选择嵌入到ELM网络的学习过程之中, 以网络的学习性能作为衡量输入变量与输出变量相关与否的指标, 并以增量式的方法确定隐含层节点的规模.在Lorenz、Gas Furnace 和10 组标杆数据上的仿真结果表明了所提出算法的有效性. 该算法不仅可以简化网络结构, 还可以提高网络的泛化性能.

     

基于改进花粉算法的极限学习机分类模型

针对多输出极限学习机（MELM）分类模型输入层权值和阈值随机选取导致的分类精度波动问题,提出一种基于改进花粉算法（CS-ACFPA）的极限学习机多分类模型（CS-ACFPA-MELM）。利用自适应算子和Tent策略优化花粉算法的寻优方式,构造一种基于代价敏感的适应度函数,使花粉算法能够更好地匹配MELM模型的输出,最后使用改进的花粉算法和基于代价敏感的适应度函数优化极限学习机的输入权值和阈值,以提高MELM模型的的分类性能。通过对比实验验证了CS-ACFPA算法对MELM模型改进的有效性,并且体现了CS-ACFPA-MELM模型在大规模样本上的优势以及小样本上的适用性。     

A pruning algorithm with L1/2regularizer for extreme learning machine简

Compared with traditional learning methods such as the back propagation （BP） method, extreme learning machine provides much faster learning speed and needs less human intervention, and thus has been widely used. In this paper we combine the L1/2 regularization method with extreme learning machine to prune extreme learning machine. A variable learning coefficient is employed to prevent too large a learning increment. A numerical experiment demonstrates that a network pruned by L1/2 regularization has fewer hidden nodes but provides better performance than both the original network and the network pruned by L2 regularization.     

改进的灵敏度剪枝极限学习机

针对极限学习机(ELM) 网络结构优化问题, 提出一种改进的灵敏度剪枝ELM(ImSAP-ELM). ImSAP-ELM 将??₂ 正则化因子引入SAP-ELM 中, 采用留一准则确定最优隐节点数. 推导基于奇异值分解的输出权重计算公式, 避免矩阵奇异导致求解无效的问题. 将ImSAP-ELM 用于故障预测, 利用多组同类型故障数据建立多个ImSAP-ELM 模型, 基于加权思想融合不同ImSAP-ELM 的预测值. 某型无人机发射机实例表明, 相比于ELM、OP-ELM (最优剪枝ELM) 和SAP-ELM, ImSAP-ELM 耗时最高, 但是ImSAP-ELM 的预测误差小于其他3 种方法.

     

一种鲁棒非平衡极速学习机算法

极速学习机（ELM）算法只对平衡数据集分类较好,对于非平衡数据集,它通常偏向多数样本类,对于少数样本类性能较低。针对这一问题,提出了一种处理不平衡数据集分类的ELM模型（ELM-CIL）,该模型按照代价敏感学习的原则为少数类样本赋予较大的惩罚系数,并引入模糊隶属度值减小了外围噪声点的影响。实验表明,提出的方法不仅对提高不平衡数据集中少数类的分类精度效果较明显,而且提高了对噪声的鲁棒性。     

一种单位代价收益决策树剪枝算法

目前关于决策树剪枝优化方面的研究主要集中于预剪枝和后剪枝算法。然而,这些剪枝算法通常作用于传统的决策树分类算法,在代价敏感学习与剪枝优化算法相结合方面还没有较好的研究成果。基于经济学中的效益成本分析理论,提出代价收益矩阵及单位代价收益等相关概念,采用单位代价收益最大化原则对决策树叶节点的类标号进行分配,并通过与预剪枝策略相结合,设计一种新型的决策树剪枝算法。通过对生成的决策树进行单位代价收益剪枝,使其具有代价敏感性,能够很好地解决实际问题。实验结果表明,该算法能生成较小规模的决策树,且与REP、EBP算法相比具有较好的分类效果。     

A robust double-parallel extreme learning machine based on an improved M-estimation algorithm

To solve the problem of improving the regression accuracy and model stability of the extreme learning machine(ELM), a new approach based on an improved M-estimation optimized double-parallel extreme learning machine is proposed in this study, namely robust double-parallel extreme learning machine(RD-ELM). Firstly, RD-ELM is constructed with a double parallel forward structure, thus the information can be received from both hidden layer neurons and input layer neurons. Secondly, we use an improved M-estimation to calculate output weights of neural network by iteratively reweighted Least-Squares Estimation(LSE), with weights assigned by the least absolute residual estimation of the samples. Finally, we establish a regression prediction model utilized to test the goodness of fit in a SinC function and verify the regression ability in eight benchmark regression problems. Then the proposed method is applied to an actual operational condition of a power plant. Experimental results show that the proposed method can efficiently process the influence of outliers and noise with strong anti-jamming ability. Compared with other methods, RD-ELM has superior performance that is stronger robustness and better generalization performance in many benchmark data and practical experiments.     

基于小波变换和AdaBoost极限学习机的癫痫脑电信号分类

针对单一极限学习机(ELM)在癫痫脑电信号研究中分类结果不稳定、泛化能力差的缺陷,提出一种基于互信息(MI)的AdaBoost极限学习机分类算法。该算法将AdaBoost引入到极限学习机中,并嵌入互信息输入变量选择,以强学习器最终的性能作为评价指标,实现对输入变量以及网络模型的优化。利用小波变换(WT)提取脑电信号特征,并结合提出的分类算法对UCI脑电数据集以及波恩大学癫痫脑电数据进行分类。实验结果表明,所提方法相比传统方法以及其他同类型研究,在分类精度和稳定性上有着明显提高,并具有较好的泛化性能。     

基于离散度量的半监督分类算法

半监督分类算法试图根据已知样本对特定的未知样本建立一套进行识别的方法和准则。渐进直推式分类学习算法是一种基于SVM的半监督分类学习方法,在基于渐进直推式分类学习算法的基础上,利用Fisher准则中的样本离散度作为度量标准,采用Fisher准则函数作为评价函数,提出了一种基于离散度量和SVM相结合的半监督分类算法,在时间复杂度和样本测试精度上较PTSVM算法都取得了良好的学习效果。     

一种利用极限学习机的数据可视化方法

提出一种利用极限学习机ELM的数据可视化方法,该方法利用多维尺度分析MDS、Pearson相关性、Spearman相关性代替常用的均方误差MSE实现高维数据投影到2-维平面的数据可视化。将所提方法与近期流行的随机邻域嵌入SNE及其改进的t-SNE方法对比,并通过局部连续元准则LCMC进行质量评测。结果表明:该方法的数据可视化结果及计算性能明显优于SNE及t-SNE方法;而在提出的三种学习规则中,基于MDS的学习规则效果最好。     

基于社区度的边界节点影响力最大化算法

通常跨社区的信息传播更具有现实意义,而且大范围的信息传播往往也是跨社区的。为此提出一种基于社区度的边界节点影响力最大化算法,利用社会网络中的社区结构对社区中与其他社区有连接边的边界点进行研究,从而缩小选择初始节点的范围,降低时间复杂度。同时为更准确地评估边界节点的影响力,综合节点度、节点所直接相连社区数以及相应社区的规模作为社区度来衡量节点在信息传播中的重要性。最后通过实验验证了本算法相比其他算法具有更大的影响传播范围和更低的时间复杂度。