神经网络极速学习方法研究

单隐藏层前馈神经网络(Single-hidden Layer Feedforward Neural Network,SLFN)已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用,但传统学习方法的速度远远不能满足实际的需要,成为制约其发展的主要瓶颈.产生这种情况的两个主要原因是:(1)传统的误差反向传播方法(Back Propagation,BP)主要基于梯度下降的思想,需要多次迭代;(2)网络的所有参数都需要在训练过程中迭代确定.因此算法的计算量和搜索空间很大.针对以上问题,借鉴ELM的一次学习思想并基于结构风险最小化理论提出一种快速学习方法(RELM),避免了多次迭代和局部最小值,具有良好的泛化性、鲁棒性与可控性.实验表明RELM综合性能优于ELM、BP和SVM.     

一种带修剪的增量极速学习模糊神经网络

由Huang提出的extreme learning machine(ELM)批量学习算法在获得与其他算法相当的性能的同时显示出了极快的学习速度。为了实现在线增量学习,扩展了ELM方法,提出了一种带修剪的极速学习模糊神经网络。首先随机产生模糊神经网络前件参数和规则数量,然后使用SVD将规则按照重要性能排序,再使用留一法leave-one-out(LOO)选出最佳的模糊规则数,最后分析计算模糊规则的后件参数。在学习过程中无须保存过去的数据,真正实现了增量学习。当新的数据到来时,无须重新训练网络。通过仿真实验对该方法与其他算法进行了验证和比较,结果表明,在获得与其他算法类似的性能的情况下,该算法能够获得更加简洁的结构。     

基于极速神经网络的协作过滤方法研究

协作过滤是一种有效的个性化推荐技术,针对该技术随着用户和资源的增多,数据的高维稀疏特性严重导致推荐质量的下降和计算速度减慢的问题,研究并实现了一种基于极速神经网络的协作过滤方法。采用主成分分析解决数据高维稀疏性问题,采用极速神经网络技术解决计算速度慢的问题。实验结果表明,该方法具有良好的泛化性能和学习速度,能很好的满足个性化资源推荐的需求。     

拉普拉斯多层极速学习机

极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机（ML-ELM）是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法（ELM-AE）构建多层神经网络模型,不仅实现复杂函数的逼近,并且训练过程中无需迭代,学习效率高.我们把流形正则化框架引入ML-ELM中提出拉普拉斯多层极速学习机算法（Lap-ML-ELM）.然而,ELM-AE不能很好的解决过拟合问题,针对这一问题我们把权值不确定引入ELM-AE中提出权值不确定极速学习机-自动编码器算法（WU-ELM-AE）,它学习到更为鲁棒的特征.最后,我们在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法（WUL-ML-ELM）,它堆叠WU-ELM-AE构建深度模型,并且用流形正则化框架求取输出权值,该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.     

极速非线性判别分析网络

由于线性判别分析仅是线性方法,难以有效应对非线性问题,而对其非线性化是解决这一问题的关键途径。非线性化判别方法主要包括神经网络和核化方法。神经网络判别分析方法虽然继承了神经网络所具有的自适应、分布存储、并行处理和非线性映射等优点,但也遗传了其训练速度慢且易陷入局部最小值缺点;而核线性判别分析方法虽能获得全局最优解析解,但因受制于隐节点数目（等于样本个数）,当数据规模大时,计算成本变大。本文受随机映射启发,对神经网络判别分析方法进行极速化改造,实现了一种极速非线性判别分析方法,兼具神经网络的自适应性和全局最优解的快速性。最后在UCI真实数据集上的实验表明,极速非线性判别分析方法具有更优的分类性能。     

基于数据随机性特征和极速学习机的加密数据流识别

为了在不解密加密数据的前提下获取加密数据流的类型信息,提出一种基于数据随机性特征和模式识别的加密数据流识别方法。该方法利用加密数据与非加密数据,或者不同类型加密数据0,1分布的随机性特性作为分类特征,再利用模式识别方法对不同数据进行建模,从而实现对不同类型数据的自动识别。首先利用NIST随机性测试方法对数据流进行分析,将得到的15类随机性测试得分作为分类特征;然后对不同类型的数据流分别建立分类模型;最后利用训练好的数据模型对未知数据流进行识别。仿真实验显示,与仅用单个随机性特征进行明密数据识别相比,采用模式识别方法可以将错分率由原来的60%以上下降到30%左右;进一步利用滤波器方法对15类随机性特征进行优化降维,平均错分率进一步下降到15%左右。     

Lasso极限最小学习机

极限最小学习机ELM(Extreme Learning Machine)是一种具有快速学习能力的神经网络训练算法。它通过随机选择神经网络节点的参数结合最小二乘法达到了减少训练时间的目的,但它需要产生大量的神经网络节点协助运算。提出一种利用迭代式Lasso回归优化的极限最小学习机(Lasso-ELM),它具有以下优势:(1)能大幅减少神经网络隐藏层节点的数量;(2)具有更好的神经网络泛化能力。实验表明Lasso-ELM的综合性能优于ELM、BP与SVM。     

一种鲁棒非平衡极速学习机算法

极速学习机（ELM）算法只对平衡数据集分类较好,对于非平衡数据集,它通常偏向多数样本类,对于少数样本类性能较低。针对这一问题,提出了一种处理不平衡数据集分类的ELM模型（ELM-CIL）,该模型按照代价敏感学习的原则为少数类样本赋予较大的惩罚系数,并引入模糊隶属度值减小了外围噪声点的影响。实验表明,提出的方法不仅对提高不平衡数据集中少数类的分类精度效果较明显,而且提高了对噪声的鲁棒性。     

改进的加权极速学习机

针对加权极速学习机人为固定权重可能会错失更优权重的问题,提出了改进的加权极速学习机。该方法的多数类的初始权重设为1,使用多数类与少数类样例数的比值作为少数类的初始权重,然后通过在多数类或者少数类中添加权重调节因子,从缩小和扩大两个方向去调节权重,最后通过实验结果选出最优的权重。实验分别使用原加权极速学习机、其他权重的极速学习机和新方法在改造的UCI数据集上进行比较。结果表明新方法无论是在F-mea-sure还是G-mean上都要优于其他加权极速学习机。     

基于共轭梯度的极速学习机

极速学习机(ELM)由于具有较快的训练速度和较好的泛化能力而被广泛的应用到很多的领域,然而在计算数据样例个数较大的情况下,它的训练速度就会下降,甚至会出现程序报错,因此提出在ELM模型中用改进的共轭梯度算法代替广义逆的计算方法。实验结果表明,与求逆矩阵的ELM算法相比,在同等泛化精度的条件下,共轭梯度ELM有着更快的训练速度。通过研究发现:基于共轭梯度的极速学习机算法不需要计算一个大型矩阵的广义逆,而大部分广义逆的计算依赖于矩阵的奇异值分解(SVD),但这种奇异值分解对于阶数很高的矩阵具有很低的效率;因为已经证明共轭梯度算法可通过有限步迭代找到其解,所以基于共轭剃度的极速学习机有着较高的训练速度,而且也比较适用于处理大数据。     

一种卷积神经网络和极限学习机相结合的人脸识别方法

卷积神经网络是一种很好的特征提取器,但却不是最佳的分类器,而极限学习机能够很好地进行分类,却不能学习复杂的特征,根据这两者的优点和缺点,将它们结合起来,提出一种新的人脸识别方法。卷积神经网络提取人脸特征,极限学习机根据这些特征进行识别。本文还提出固定卷积神经网络的部分卷积核以减少训练参 数,从而提高识别精度的方法。在人脸库ORL和XM2VTS上进行测试的结果表明,本文的结合方法能有效提高人脸识别的识别率,而且固定部分卷积核的方式在训练样本少时具有优势。     

无逆矩阵在线序列极限学习机

无逆矩阵极限学习机只能以批量学习方式进行训练,将其拓展为无逆矩阵在线学习版本,提出了无逆矩阵在线序列极限学习机算法(IOS-ELM)。所提算法增加训练样本时,利用Sherman Morrison Woodbury公式对新增样本数据后的模型进行更新,直接计算出新增隐含层输出权重,避免对已经分析过的训练样本的输出权重进行重复计算。给出了所提IOS-ELM算法的详细推导过程。在不同类型和大小的数据集上的实验结果表明,所提IOS-ELM算法非常适合在线方式逐步生成的数据集,在快速学习和性能方面都有很好的表现。     

极限学习机综述

极限学习机是一种单隐层前向网络的训练算法,主要特点是训练速度极快,而且可以达到很高的泛化性能。回顾了极限学习机的发展历程,分析了极限学习机的数学模型,详细介绍了极限学习机的各种改进算法,并列举了极限学习机在识别、预测和医学诊断领域的应用。最后总结预测了极限学习机的改进方向。     

Neural Learning from Unbalanced Data

This paper describes the result of our study on neural learning to solve the classification problems in which data is unbalanced and noisy. We conducted the study on three different neural network architectures, multi-layered Back Propagation, Radial Basis Function, and Fuzzy ARTMAP using three different training methods, duplicating minority class examples, Snowball technique and multidimensional Gaussian modeling of data noise. Three major issues are addressed: neural learning from unbalanced data examples, neural learning from noisy data, and making intentional biased decisions. We argue that by properly generated extra training data examples around the noise densities, we can train a neural network that has a stronger capability of generalization and better control of the classification error of the trained neural network. In particular, we focus on problems that require a neural network to make favorable classification to a particular class such as classifying normal(pass)/abnormal(fail) vehicles in an assembly plant. In addition, we present three methods that quantitatively measure the noise level of a given data set. All experiments were conducted using data examples downloaded directly from test sites of an automobile assembly plant. The experimental results showed that the proposed multidimensional Gaussian noise modeling algorithm was very effective in generating extra data examples that can be used to train a neural network to make favorable decisions for the minority class and to have increased generalization capability.     

基于极限学习机的机械臂自适应神经控制

针对刚性机械臂系统的控制问题,提出基于极限学习机(ELM)的自适应神经控制算法.极限学习机随机选择单隐层前馈神经网络(SLFN)的隐层节点及其参数,仅调整其网络的输出权值,以极快的学习速度获得良好的推广性.采用李亚普诺夫综合法,使所提出的ELM控制器通过输出权值的自适应调整能够逼近系统的模型不确定性部分,从而保证整个闭环控制系统的稳定性.将该自适应神经控制器应用于2自由度平面机械臂控制中,并与现有的径向基函数(RBF)神经网络自适应控制算法进行比较.实验结果表明,在同等条件下,ELM控制器具有良好的跟踪控制性能,表明了所提出控制算法的有效性.     

基于极限学习离散过程神经网络的示功图识别

针对传统神经网络进行抽油机示功图识别诊断时受同步瞬时输入限制,不能有效体现连续输入信号的时间累积效应,诊断精度偏低的问题,提出一种极限学习离散过程元网络,模型内部通过三次样条数值积分处理离散样本和权值的时域的聚合运算．模型训练算法采用极限学习,将模型训练转化为最小二乘问题,通过利用Moore-Penrose广义逆和隐层输出权值矩阵来计算输出权值,提升模型学习速度．进行示功图识别时,直接将位移和载荷离散时间序列作为模型输入,对常见的5种示功图状态进行识别．实验结果表明,该方法具有较高的识别精度,同时相对于其它过程神经网络模型,学习速度较快．     

基于前馈神经网络的增量学习研究

增量学习是一种在巩固原有学习成果和不需要用到原有数据的情况下快速有效地获取新知识的学习模式.本文阐述了基于前馈神经网络的增量学习原理,在此基础上对主要的增量学习算法进行了详细的介绍和分析,最后对增量学习研究进行了总结和展望.     

基于覆盖思想的构造型神经网络的增量学习

增量学习是在原有学习成果的基础上,对新信息进行学习,以获取新知识的过程,它要求尽量保持原有的学习成果.文章先简述了基于覆盖的构造型神经网络,然后在此基础上提出了一种快速增量学习算法.该算法在原有网络的分类能力基础上,通过对新样本的快速增量学习,进一步提高网络的分类能力.实验结果表明该算法是有效的.