Application of complex extreme learning machine to multiclass classification problems with high dimensionality: A THz spectra classification problem

We extend extreme learning machine (ELM) classifiers to complex Reproducing Kernel Hilbert Spaces (RKHS) where the input/output variables as well as the optimization variables are complex-valued. A new family of classifiers, called complex-valued ELM (CELM) suitable for complex-valued multiple-input–multiple-output processing is introduced. In the proposed method, the associated Lagrangian is computed using induced RKHS kernels, adopting a Wirtinger calculus approach formulated as a constrained optimization problem similarly to the conventional ELM classifier formulation. When training the CELM, the Karush–Khun–Tuker (KKT) theorem is used to solve the dual optimization problem that consists of satisfying simultaneously smallest training error as well as smallest norm of output weights criteria. The proposed formulation also addresses aspects of quaternary classification within a Clifford algebra context. For 2D complex-valued inputs, user-defined complex-coupled hyper-planes divide the classifier input space into four partitions. For 3D complex-valued inputs, the formulation generates three pairs of complex-coupled hyper-planes through orthogonal projections. The six hyper-planes then divide the 3D space into eight partitions. It is shown that the CELM problem formulation is equivalent to solving six real-valued ELM tasks, which are induced by projecting the chosen complex kernel across the different user-defined coordinate planes. A classification example of powdered samples on the basis of their terahertz spectral signatures is used to demonstrate the advantages of the CELM classifiers compared to their SVM counterparts. The proposed classifiers retain the advantages of their ELM counterparts, in that they can perform multiclass classification with lower computational complexity than SVM classifiers. Furthermore, because of their ability to perform classification tasks fast, the proposed formulations are of interest to real-time applications.     

基于多特征融合与极限学习机的植物叶片分类方法

对植物的分类多通过对植物叶片的分类来实现,为提高植物叶片分类的准确率提出了一种基于多特征融合与极限学习机的植物叶片分类方法.首先对植物叶片彩色图像进行预处理,得到去除叶片颜色与背景的二值图像和灰度图像;然后从二值图像中提取植物叶片的形状特征和不变矩特征,利用灰度图像提取灰度共生矩阵参数作为叶片图像的纹理特征,共得到28...     

限定记忆极端学习机及其应用

为了实现极端学习机（ELM）的在线训练,提出一种限定记忆极端学习机（FM-ELM）.FM-ELM以逐次增加新训练样本与删除旧训练样本的方式,提高其对于系统动态变化特性的自适应性,并根据矩阵求逆引理实现了网络输出权值的递推求解,减小了在线训练过程的计算代价.应用于具有动态变化特性的非线性系统在线状态预测表明,FM-ELM是一种有效的ELM在线训练模式,相比于在线贯序极端学习机,FM-ELM具有更快的调节速度和更高的预测精度.     

Credit score classification using spiking extreme learning machine

Credit score classification is a prominent research problem in the banking or financial industry, and its predictive performance is responsible for the profitability of financial industry. This paper addresses how Spiking Extreme Learning Machine (SELM) can be effectively used for credit score classification. A novel spike-generating function is proposed in Leaky Nonlinear Integrate and Fire Model (LNIF). Its interspike period is computed and utilized in the extreme learning machine (ELM) for credit score classification. The proposed model is named as SELM and is validated on five real-world credit scoring datasets namely: Australian, German-categorical, German-numerical, Japanese, and Bankruptcy. Further, results obtained by SELM are compared with back propagation, probabilistic neural network, ELM, voting-based Q-generalized extreme learning machine, Radial basis neural network and ELM with some existing spiking neuron models in terms of classification accuracy, Area under curve (AUC), H-measure and computational time. From the experimental results, it has been noticed that improvement in accuracy and execution time for the proposed SELM is highly statistically important for all aforementioned credit scoring datasets. Thus, integrating a biological spiking function with ELM makes it more efficient for categorization.     

基于可拓聚类的极限学习机神经网络

针对极限学习机(ELM)算法随机选择输入层权值的问题,借鉴第2类型可拓神经网络(ENN-2)聚类的思想,提出了一种基于可拓聚类的ELM(EC-ELM)神经网络。该神经网络是以隐含层神经元的径向基中心向量作为输入层权值,采用可拓聚类算法动态调整隐含层节点数目和径向基中心,并根据所确定的输入层权值,利用Moore-Penrose广义逆快速完成输出层权值的求解。同时,对标准的Friedman#1回归数据集和Wine分类数据集进行测试,结果表明,EC-ELM提供了一种简便的神经网络结构和参数学习方法,并且比基于可拓理论的径向基函数(ERBF)、ELM神经网络具有更高的建模精度和更快的学习速度,为复杂过程的建模提供了新思路。     

基于流形学习的极端学习机及其在人脸识别中的应用

极端学习机以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用,然而现有的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响,当数据维数过高时包含的冗余属性及噪音点势必降低ELM的泛化能力,针对这一问题本文提出一种基于流形学习的极端学习机,该算法结合维数约减技术有效消除数据冗余属性及噪声对ELM分类性能的影响,为验证所提方法的有效性,实验使用普遍应用的图像数据,实验结果表明本文所提算法能够显著提高ELM的泛化性能。     

基于自适应动量优化算法的正则化极限学习机

针对极限学习机(extreme learning machine,ELM)隐节点不确定性导致的系统不稳定,以及对大型数据计算负担过重的问题,提出了基于自适应动量优化算法(adaptive and momentum method,AdaMom)的正则化极限学习机.算法主要思想是构造连续可微的目标函数,在梯度下降过程中计算自适应学习率,求自适应学习率与梯度乘积的指数加权平均值,通过迭代得到损失函数最小值对应的隐层输出权重矩阵.实验结果表明,在相同基准数据集的训练中,AdaMom-ELM算法具有非常良好的泛化性能和鲁棒性,提高了计算效率.     

A study on effectiveness of extreme learning machine

Extreme learning machine (ELM), proposed by Huang et al., has been shown a promising learning algorithm for single-hidden layer feedforward neural networks (SLFNs). Nevertheless, because of the random choice of input weights and biases, the ELM algorithm sometimes makes the hidden layer output matrix H of SLFN not full column rank, which lowers the effectiveness of ELM. This paper discusses the effectiveness of ELM and proposes an improved algorithm called EELM that makes a proper selection of the input weights and bias before calculating the output weights, which ensures the full column rank of H in theory. This improves to some extend the learning rate (testing accuracy, prediction accuracy, learning time) and the robustness property of the networks. The experimental results based on both the benchmark function approximation and real-world problems including classification and regression applications show the good performances of EELM.     

结合期望风险的极限学习机的研究

对极限学习机的模型进行了研究,提出了一种结合期望风险最小化的极限学习机的预测模型。其基本思想是同时考虑结构风险和期望风险,根据期望风险和经验风险之间的关系,将期望风险转换成经验风险,进行最小化期望风险的极限学习机预测模型求解。利用人工数据集和实际数据集进行回归问题的数值实验,并与极限学习机（ELM）和正则极限学习机（RELM）两种算法的性能进行了比较,实验结果表明,所提方法能有效提高了泛化能力。     

在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。     

网络结构增长的极端学习机算法

针对极端学习机(extreme learning machine,ELM)结构设计问题,基于隐含层激活函数及其导函数提出一种前向神经网络结构增长算法.首先以Sigmoid函数为例给出了一类基函数的派生特性:导函数可以由其原函数表示.其次,利用这种派生特性提出了ELM结构设计方法,该方法自动生成双隐含层前向神经网络,其第1隐含层的结点随机逐一生成.第2隐含层的输出由第1隐含层新添结点的激活函数及其导函数确定,输出层权值由最小二乘法分析获得.最后给出了所提算法收敛性及稳定性的理论证明.对非线性系统辨识及双螺旋分类问题的仿真结果证明了所提算法的有效性.     

基于核极限学习机的标记分布学习

标记分布学习作为一种新的学习范式,利用最大熵模型构造的专用化算法能够很好地解决某些标记多样性问题,但是计算量巨大。基于此,引入运行速度快、稳定性更高的核极限学习机模型,提出基于核极限学习机的标记分布学习算法（KELM-LDL）。首先在极限学习机算法中通过RBF核函数将特征映射到高维空间,然后对原标记空间建立KELM回归模型求得输出权值,最后通过模型计算预测未知样本的标记分布。与现有算法在各领域不同规模数据集的实验表明,实验结果均优于多个对比算法,统计假设检验进一步说明KELM-LDL算法的有效性和稳定性。     

正负模糊规则系统、极限学习机与图像分类

传统的图像分类一般只利用了图像的正规则,忽略了负规则在图像分类中的作用。Nguyen将负规则引入图像分类,提出将正负模糊规则相结合形成正负模糊规则系统,并将其用于遥感图像和自然图像的分类。实验证明,其在图像分类过程中取得了很好的效果。他们提出的前馈神经网络模型在调整权值时利用了梯度下降法,由于步长选择不合理或陷入局部最优从而使训练速度受到了限制。极限学习机（ELM）是一种单隐层前馈神经网络（SLFN）学习算法,具有学习速度快,泛化性能好的优点。本文证明了极限学习机与正负模糊规则系统的实质是等价的,遂将其用于图像分类。实验结果说明了极限学习机能很好的利用正负模糊规则相结合的方法对图像进行分类,实验结果较为理想。     

多尺度特征融合与极限学习机的玉米种子检测

目的 玉米种子等农作物检测是农业信息化领域中一个关键问题,为了能够快速和准确地实现对其检测,提出基于多尺度特征融合与极限学习机的玉米种子无损检测算法.方法 首先对种子特征的描述采用局部特征和全局特征相结合的特点,局部特征采用多尺度方向梯度直方图特征,而在全局特征上则提取HSV颜色模型特征.其次,针对传统的BP神经网络以及SVM等存在训练时间长、检测速度慢的不足,采用极限学习机作为其检测算法.此外,为了避免样本在训练时带来的过多时间消耗,该检测模型上采用了并行训练算法.再次,针对原始图像分辨率过高问题所带来的检测时间以及内存消耗较大的问题,采用一种基于局部均值的图像缩小算法.最后,针对该文采用的滑动窗口扫描可能带来的同一对象多窗口重叠的问题,提出了一种基于模糊聚类的局部窗口融合算法.结果 仿真结果表明,提出的方法可实现对玉米种子的准确检测,对检测样本的测试精度达到97.66%,同时误差控制在0.1%.结论 相比传统的方法,提出的方法在检测速度、检测准确率上均有所改善,无需严格的硬件设备要求并且对玉米种子检测时不会产生任何损伤.     

基于极限学习机的焊点质量检测

焊点加工直接影响电子产品的可靠性,焊点的检测对产品质量的提高尤为重要。应用主成分分析与极限学习机对焊点质量进行检测。首先通过中值滤波和分水岭算法对焊点图像进行预处理,得到焊点轮廓及区域划分情况并用主成分分析法进行降维;然后采用200个隐含层网络节点、sigmoid响应函数的极限学习机算法对预处理结果进行分类。测试结果表明,极限学习机算法能够对焊点精确分类,与支持向量机、邻近算法、卷积神经网络相比,取得更高的检测准确率,检测时间更短。     

核多元基因选择和极限学习机在微阵列分析中的应用

针对微阵列数据样本量少、维度高的特点,结合当前数据降维方法中没有考虑特征与特征之间相关性的缺点,提出一种核最小二乘的特征基因选择方法.将解释变量空间通过非线性映射转换到高维空间上,再在高维空间上进行最小二乘回归,并采用极限学习机进行训练和预测.结果表明:对三种经典数据集的分类精度分别达到90.47％,88.89％,88.23％,高于传统的机器学习算法,充分表明本方法的优越性.     

遗传优化核极限学习机的数据分类算法

为了提高核极限学习机(KELM)数据分类的精度,提出了一种结合K折交叉验证(K-CV)与遗传算法(GA)的KELM分类器参数优化方法(GA-KELM),将CV训练所得多个模型的平均精度作为GA的适应度评价函数,为KELM的参数优化提供评价标准,用获得GA优化最优参数的KELM算法进行数据分类.利用UCI中数据集进行仿真,实验结果表明:所提方法在整体性能上优于GA结合支持向量机法(GA-SVM)和GA结合反向传播(GA-BP)算法,具有更高的分类精度.     

基于极限学习机的网页分类应用

极限学习机ELM不同于传统的神经网络学习算法（如BP算法）,是一种高效的单隐层前馈神经网络（SLFNs）学习算法。将极限学习机引入到中文网页分类任务中。对中文网页进行预处理,提取其特性信息,从而形成网页特征树,产生定长编码作为极限学习机的输入数据。实验结果表明该方法能够有效地分类网页。     

一种新的混合智能极限学习机

提出一种基于差分进化(DE)和粒子群优化(PSO)的混合智能方法—–DEPSO算法,并通过对10个典型函数进行测试,表明DEPSO算法具有良好的寻优性能。针对单隐层前向神经网络(SLFNs)提出一种改进的学习算法—–DEPSO-ELM算法,即应用DEPSO算法优化SLFNs的隐层节点参数,采用极限学习算法(ELM)求取SLFNs的输出权值。将DEPSO-ELM算法应用于6个典型真实数据集的回归计算,并与DE-ELM、SaE-ELM算法相比,获得了更精确的计算结果。最后,将DEPSO-ELM算法应用于数控机床热误差的建模预测,获得了良好的预测效果。     

变长增量型极限学习机及其泛化性能研究*

极限学习机（ELM）在训练过程中无需调整隐层节点参数,因其高效的训练方式被广泛应用于分类和回归,然而极限学习机也面临着结构选择与过拟合等严重等问题。为了解决此问题,针对隐层节点增量数目对收敛速度以及训练时间的影响进行了研究,提出一种利用网络输出误差的变化率控制网络增长速度的变长增量型极限学习机算法(VI-ELM)。通过对多个数据集进行回归和分类问题分析实验,结果表明,本文提出的方法能够以更高效的训练方式获得良好的泛化性能。