基于径向基神经网络和正则化极限学习机的多标签学习模型*

相比径向基(RBF)神经网络,极限学习机(ELM)训练速度更快,泛化能力更强.同时,近邻传播聚类算法(AP)可以自动确定聚类个数.因此,文中提出融合AP聚类、多标签RBF(ML-RBF)和正则化ELM(RELM)的多标签学习模型(ML-AP-RBF-RELM).首先,在该模型中输入层使用ML-RBF进行映射,且通过AP聚类算法自动确定每一类标签的聚类个数,计算隐层节点个数.然后,利用每类标签的聚类个数通过K均值聚类确定隐层节点RBF函数的中心.最后,通过RELM快速求解隐层到输出层的连接权值.实验表明,ML-AP-RBF-RELM效果较好.     

一种改进的聚类算法及其在说话人识别上的应用

目前应用最广泛的模糊聚类算法是基于目标函数的模糊k-均值算法．针对该算法存在的缺点。本文提出一种改进的聚类算法．利用遗传算法的全局优化的特点，在能够在正确获得未知对象的聚类中心数目的同时．克服模糊k-均值算法对初始中心点影响的缺陷。将该聚类算法用于确定EBF(椭圆基函数)网络的隐层节点和中心值等参数，在不依赖文本的话者确认实验中．获得了较好的识别效果。     

基于合作型协同进化的RBFNN分类算法

针对传统优化方法提高径向基函数神经网络(RBFNN)分类能力存在的问题,提出一种基于合作型协同进化群体并行搜索的CO-RBFNN学习算法.该算法首先利用K-均值算法对最近邻方法确定的网络初始隐节点聚类,然后以聚类后的隐节点群作为子种群进行协同进化操作,最终获得网络的最优结构.算法采用包含整个网络隐节点结构和控制向量的矩阵式混合编码方式,隐层和输出层之间的连接权值由伪逆法确定.在UCI的8个数据集上进行的仿真实验结果验证该算法的有效性和可行性.     

一种改进的混合蛙跳和K均值结合的聚类算法

针对K均值聚类算法存在的对初始值敏感且容易陷入局部最优的缺点,提出一种改进的混合蛙跳算法（SFLA）和K均值相结合的聚类算法。该算法通过混沌搜索优化初始解,变异操作生成新个体,在更新青蛙位置时,设计了一种新的搜索策略,提高了算法寻优能力;根据青蛙群体的适应度方差来确定K均值算法的操作时机,抑制早熟收敛。实验结果表明,改进的算法提高了聚类精度,在全局寻优能力和收敛速度方面具有优势。     

改进型RBF神经网络的多标签算法研究

针对已有的RBF神经网络多标签算法未充分考虑多个样本标签之间的关联性,从而导致泛化性能受到一定影响的问题,研究分析了一种改进型RBF神经网络的多标签算法.该算法首先优化隐含层RBF神经网络基函数中心求取算法——k-均值聚类.采用AP聚类自动寻找k值以获得隐含层节点数目,并构造Huff man树来选取初始聚类中心以防k-均值聚类结果陷入局部最优.然后构造体现标签类之间信息的标签计数向量C,并将其与由优化k-均值聚类得到的聚类中心进行线性叠乘,进而改进RBF神经网络基函数中心,建立RBF神经网络.在公共多标签数据集emotion上的实验表明了该算法能够有效地进行多标签分类.     

基于聚类的RBF-LBF串联神经网络学习算法

为提高网络的泛化能力,研究了单层RBF神经网络和LBF网络组成的RBF-LBF串联神经网络,并提出了一种基于模式聚类的RBF-LBF串联神经网络的学习算法。该算法分别对单层RBF网络和LBF网络的输入进行模式聚类,以确定网络的初始结构,然后通过调整错分样本的类别,使之部分重叠或合并核函数。经双螺旋线问题仿真实验证明,该算法确具有很好的泛化能力且只需较短的训练时间。     

基于隐马尔可夫模型的二次k-均值基因序列聚类算法

本文提出了一种基于隐马尔可夫模型的二次k-均值聚类算法并实现了对基因序列数据的建模与聚类。算法首先引入了同源基因序列核苷酸比率趋向于一致的生物学特征来对基 因序列数据进行初次k-均值聚类,然后利用第一次聚类结果训练出表征序列特征的隐马尔可夫模型,最后采用基于模型的k-均值方法再次聚类。实验结果表明,该算法是可行的,,并且具有较好的聚类质量。     

基于aiNet聚类和免疫遗传算法的RBF网络

本文通过aiNet人工免疫网络聚类算法对输入数据集合自适应地确定RBF神经网络隐层中心的数量和初始位置,通过自体免疫遗传算法来训练RBF网络,获得全局最优。最后将本文方法应用到隧洞围岩分类中进行仿真,仿真结果表明该RBF神经网络不仅计算量小,而且精度高,具有很好的泛化能力。     

基于快速密度聚类的RBF神经网络设计

针对径向基函数（radial basis function,RBF）神经网络隐含层结构难以确定的问题,提出一种基于快速密度聚类的网络结构设计算法。该算法将快速密度聚类算法良好的聚类特性用于RBF神经网络结构设计中,通过寻找密度最大的点并将其作为隐含层神经元,进而确定隐含层神经元个数和初始参数;同时,引入高斯函数的特性,保证了每个隐含层神经元的活性;最后,用一种改进的二阶算法对神经网络进行训练,提高了神经网络的收敛速度和泛化能力。利用典型非线性函数逼近和非线性动态系统辨识实验进行仿真验证,结果表明,基于快速密度聚类设计的RBF神经网络具有紧凑的网络结构、快速的学习能力和良好的泛化能力。     

用RBF神经网络改善传感器输出特性

针对传感器输出易受温度、湿度等因素影响的问题,提出利用RBF神经网络良好的学习、泛化和非线性逼近能力改善传感器的输出特性.RBF神经网络采用不需要事先确定隐层单元个数、可在线自适应学习的最近邻聚类学习算法.将该算法用于易受温度影响的压力传感器的非线性校正,仿真结果表明RBF神经网络在对传感器输出信号的补偿精度和网络训练速度方面均优于BP神经网络和传统的非线性补偿方法.该方法可推广应用于其他传感器输出特性的优化.     

基于免疫RBF神经网络的逆运动学求解

求解机械臂逆运动学问题可以采用神经网络来建立逆运动学模型,通过遗传算法或BP算法训练神经网络的权值从而得到问题的解,在求解精度和收敛速度上有待进一步改进。采用人工免疫原理对RBF网络训练数据集的泛化能力在线调整隐层结构,生成RBF网络隐层。当网络结构确定时,采用递推最小二乘法确定网络连接权值。由此对神经网络的网络结构和连接权进行自适应调整和学习。通过仿真可以看出,用免疫原理训练的神经网络收敛速度快,泛化能力强,可大幅提高机械臂逆运动学求解精度。     

基于遗传算法的径向基神经网络及其在同时测定Fe Mn Cu Zn中应用

介绍了两种新的基于遗传算法的径向基神经网络(GA-Based RBFNN)训练算法.这两种算法均将遗传算法用于优化径向基神经网络的聚类中心和网络结构.第一种GA-Based RBFNN算法对所有训练样本采取二进制编码构成个体,优化径向基函数中心的选取和网络结构;第二种GA-Based RBFNN算法中,RBFNN采用自增长算法训练网络隐含层中心、采用十进制对距离因子ε编码构成染色体,优化网络.将两种GA-Based RBFNN算法应用于Fe、Mn、Cu、Zn同时测定的光谱解析,计算结果表明,本文的GA-Based RBFNN算法较通常的遗传算法与径向基人工神经网络(GA-RBFNN)联用,即在GA选择变量的基础上,再用RBFNN作数据解析的GA-RBFNN方法,在增强网络的泛化能力、提高预测的准确性等方面具有明显的优势.从这两种GA-Based RBFNN的比较看,第二种算法在性能上优于第一种算法.     

神经网络传递函数的功能分析与仿真研究

从函数映射的角度，以三层前向神经网络为例，对神经网络的映射关系进行了分析，提出前向神经网络的映射关系可以视为一种广义级数展开，展开系数就是隐层与输出层的连接权，而传递函数的作用在于提供一个“母基”，它与输入到隐层间的连接权一起，构造了不同的展开函数。根据这一理论，着重对神经网络传递函数在映射中的作用进行了分析，指出如果灵活选择多个复合传递函数，可以使网络以更少的参数、更少的隐节点，完成从输入到输出的映射，从而提高神经网络的泛化能力。利用遗传优化对一个两类分类问题的训练仿真结果表明，采用混合传递函数，的确能够以更少的隐节点实现所需要的映射关系，网络结构的复杂度低，泛化能力也更好。该结果也进一步证实了神经网络映射关系的广义级数展开的正确性。     

An Iterative Method for Deciding SVM and Single Layer Neural Network Structures

We present two new classifiers for two-class classification problems using a new Beta-SVM kernel transformation and an iterative algorithm to concurrently select the support vectors for a support vector machine (SVM) and the hidden units for a single hidden layer neural network to achieve a better generalization performance. To construct the classifiers, the contributing data points are chosen on the basis of a thresholding scheme of the outputs of a single perceptron trained using all training data samples. The chosen support vectors are used to construct a new SVM classifier that we call Beta-SVN. The number of chosen support vectors is used to determine the structure of the hidden layer in a single hidden layer neural network that we call Beta-NN. The Beta-SVN and Beta-NN structures produced by our method outperformed other commonly used classifiers when tested on a 2-dimensional non-linearly separable data set.     

一种改进的RBF神经网络参数优化方法

提出了一种改进的RBF神经网络参数优化算法。通过资源分配网络算法确定隐含层节点个数,引入剪枝策略删除对网络贡献不大的节点,用改进的粒子群算法对RBF网络的中心、宽度、权值进行优化,使RBF网络不仅可以得到合适的结构,同时也可以得到合适的控制参数。将此算法用于连续搅拌釜反应器模型的预测,结果表明,此算法优化后的RBF网络结构小,并且具有较高的泛化能力。     

双向权值调整的前向神经网络学习算法

提出一种新的前向神经网络的学习算法,该算法在正向和反向阶段均可以对不同的层间的权值进行必要的调整，在正向阶段按最小范数二乘解原则确定连接隐层与输出层的权值，反向阶段则按误差梯度下降原则调整通连接输入层与隐层间的权值，具有很快的学习能力和收敛速度，并且能在一定的程度上保证所训练神经网络的泛化能力，实验结果初步验证了新算法的性能。     

基于Softplus+HKELM的彩色图像超分辨率算法

在极限学习机网络结构中,对于隐藏层节点,一般都采用Sigmoid激活函数。为了使基于极限学习机的彩色图像超分辨率算法具有更快的学习速度,更好的泛化能力,论文提出一种具有生物学激活模型且有一定稀疏表达能力的Soft plus激活函数与学习能力更好的HKELM相结合的彩色图像超分辨率算法。实验证明,与传统的极限学机相比,基于Soft plus+HKELM的彩色图像超分辨率算法不仅具有更好的泛化能力,而且最大程度降低了极限学习机训练的复杂度,提高了超分辨算法的实时应用性。     

Improving the Performance of Feedforward Neural Networks by Noise Injection into Hidden Neurons

The generalization ability of feedforward neural networks (NNs) depends on the size of training set and the feature of the training patterns. Theoretically the best classification property is obtained if all possible patterns are used to train the network, which is practically impossible. In this paper a new noise injection technique is proposed, that is noise injection into the hidden neurons at the summation level. Assuming that the test patterns are drawn from the same population used to generate the training set, we show that noise injection into hidden neurons is equivalent to training with noisy input patterns (i.e., larger training set). The simulation results indicate that the networks trained with the proposed technique and the networks trained with noisy input patterns have almost the same generalization and fault tolerance abilities. The learning time required by the proposed method is considerably less than that required by the training with noisy input patterns, and it is almost the same as that required by the standard backpropagation using normal input patterns.