基于粒子群算法的RBF网络参数优化算法

针对神经网络的一些缺陷,研究神经网络基于粒子群优化的学习算法,将粒子群优化算法用于RBF神经网络的学习训练。提出了一种基于粒子群优化（PSO）算法的径向基（RBF）网络参数优化算法,首先利用减聚类算法确定网络径向基函数中心的个数,再用PSO算法优化径向基函数的中心及宽度,最后用PSO算法训练隐含层到输出层的网络权值,找到神经网络权值的最优解,以达到优化神经网络学习的目的。最后,通过一个实验与最小二乘法优化的神经网络进行了比较,验证了算法的有效性。     

基于快速密度聚类的RBF神经网络设计

针对径向基函数（radial basis function,RBF）神经网络隐含层结构难以确定的问题,提出一种基于快速密度聚类的网络结构设计算法。该算法将快速密度聚类算法良好的聚类特性用于RBF神经网络结构设计中,通过寻找密度最大的点并将其作为隐含层神经元,进而确定隐含层神经元个数和初始参数;同时,引入高斯函数的特性,保证了每个隐含层神经元的活性;最后,用一种改进的二阶算法对神经网络进行训练,提高了神经网络的收敛速度和泛化能力。利用典型非线性函数逼近和非线性动态系统辨识实验进行仿真验证,结果表明,基于快速密度聚类设计的RBF神经网络具有紧凑的网络结构、快速的学习能力和良好的泛化能力。     

自组织RBF 神经网络对驾驶员主动安全性因素的辨识

利用自组织RBF神经网络对驾驶员主动安全性因素进行辨识。对网络进行训练时,首先由改进FCM算法根据输入样本内部关系确定RBF参数并通过一个聚类合理性聚类控制聚类个数,然后根据网络映射性能对RBF参数细调并对输出权值学习。利用本文给出的网络成功地对驾驶员的熟练程度进行了识别。     

改进的RBF神经网络在非线性系统中的应用

在RBF神经网络的各种学习算法中,最近邻聚类算法学习时间短、计算量小,不需要事先确定隐单元的个数,完成聚类所得到的网络是最优的,并且可以在线学习,是一种自适应聚类学习算法,非常适合非线性实时系统的应用。但常规最近邻聚类算法在实时性要求较高的系统预测中学习时间相对较长。针对这一问题,提出了系统离线学习时采用减聚类算法,在线学习时采用改进的最近邻聚类算法,并变步长修正聚类半径和限制学习样本数。在函数拟合实验中,这种改进算法明显缩短了RBF神经网络的学习时间,在钢包精炼炉电极系统的在线辨识中的成功应用进一步表明对最近邻聚类算法的改进是有效的。     

改进的RBF神经网络在非线性系统中的应用

在RBF神经网络的各种学习算法中,最近邻聚类算法学习时间短、计算量小,不需要事先确定隐单元的个数,完成聚类所得到的网络是最优的,并且可以在线学习,是一种自适应聚类学习算法,非常适合非线性实时系统的应用.但常规最近邻聚类算法在实时性要求较高的系统预测中学习时间相对较长.针对这一问题,提出了系统离线学习时采用减聚类算法,在线学习时采用改进的最近邻聚类算法,并变步长修正聚类半径和限制学习样本数.在函数拟合实验中,这种改进算法明显缩短了RBF神经网络的学习时间,在钢包精炼炉电极系统的在线辨识中的成功应用进一步表明对最近邻聚类算法的改进是有效的.     

基于SOFM网络的聚类分析

基于自组织特征映射网络的聚类分析，是在神经网络基础上发展起来的一种新的非监督聚类方法，分析了基于自组织特征映射网络聚类的学习过程，分析了权系数自组织过程中邻域函数和学习步长的一般取值问题，给出了基于自组织特征映射网络聚类实现的具体算法，并通过实际示例测试，证实了算法的正确性。     

基于距离和密度聚类的RBF网络结构设计

为确定径向基函数RBF(radial basis function)神经网络隐含层结构,并针对基于距离或密度聚类的RBF神经网络的限制,提出一种基于距离和密度聚类(GDD)算法的RBF神经网络。GDD算法通过计算每个样本的密度,各样本间的距离及相似条件(密度标准、距离标准),相似条件是根据样本分布而改变的,进行样本空间划分,实现无需先验知识及参数,就可以精确识别任意形状的聚类。采用GDD算法聚类,RBF神经网络能确定合适的隐含层节点个数及径向基函数中心。对典型非线性函数逼近及UCI机器学习库实例样本进行实验,结果表明基于GDD算法设计的RBF神经网络具有良好的逼近能力和分类效果,且网络结构更加紧凑。     

具有中心移动特性的弹性网络聚类算法研究

运用神经网络算法求解聚类问题是近年来的研究热点。弹性网络算法（ENA）是一种强大的神经网络算法,但其主要用于旅行商问题,很少用于求解聚类问题。面向聚类问题的特点,调整并优化了弹性网络的结构,提出了具有中心移动特性的弹性网络聚类算法（CMENA）。该算法依据聚类的目标调整并优化了弹性网络的能量函数,通过新能量函数的最小化,控制聚类中心神经元的移动,得到聚类结果,具有聚类过程可跟踪,聚类结果稳定等优点。通过大量实验证明,该算法聚类结果统一,与其他常用聚类算法相比,聚类效果显著提高。     

L1正则化的深度谱聚类算法

针对深度谱聚类模型训练不稳定和泛化能力弱等问题，提出L1正则化的深度谱聚类算法（DSCLR）。首先，在深度谱聚类的目标函数中引入L1正则化，使深度神经网络模型生成的拉普拉斯矩阵的特征向量稀疏化，并提升模型的泛化能力；其次，通过利用参数化修正线性单元激活函数（PReLU）改进基于深度神经网络的谱聚类算法的网络结构，解决模型训练不稳定和欠拟合问题。在MNIST数据集上的实验结果表明，所提算法在聚类精度（CA）、归一化互信息（NMI）指数和调整兰德系数（ARI）这3个评价指标上，相较于深度谱聚类算法分别提升了11.85、7.75和17.19个百分点。此外，所提算法相较于深度嵌入聚类（DEC）和基于对偶自编码器网络的深度谱聚类（DSCDAN）等算法，在CA、NMI和ARI这3个评价指标上也有大幅提升。     

基于熵聚类的RBF神经网络学习算法

RBF神经网络中心向量的确定是整个网络学习的关键,最常用确定中心向量的方法是K均值聚类算法,对聚类中心的初值选择非常敏感,选择的不好,容易减低网络的训练性能.为克服以上问题,提出了一种熵聚类的方法来自动确定RBF神经网络隐结点的中心个数及其初始值,实现K均值聚类算法的初始化,再用改进的K均值聚类算法调整RBF神经网络的中心和训练宽度.并将上述算法用于函数逼近问题.实验结果表明:改进的算法与常规的K均值聚类算法相比,提高了训练速度和逼近精度.     

多层前馈神经网络的学习和综合算法

本文提出多层前馈网络的一种新的学习和综合算法──ＦＰ算法，并证明由此算法得到的网络作为通用联想记忆器时，具有如下优点：（１）每个样本都是吸引中心；（２）每个样本的吸引半径达到最大值；（３）网络没有假吸引中心；（４）网络具有最少的元件个数；（５）学习的复杂性达到最优（就其复杂性的阶而言）．故此网络在性能、结构、计算复杂性等方面均达到很好状态．     

神经网络学习中“附加样本”的技术

本文将网络的先验知识和网络的样本集知识有机结合起来,提出“附加样本”的神经网络新学习算法,其计算复杂性仅为多项式(上界≤O(n⁴)),用该算法可以设计出性能更好的神经网络.本文第1节简单介绍FP算法以及FP覆盖算法,第2节提出FP统计附加样本算法.最后举一例子说明用该算法可以设计出性能良好的网络.     

认知网络能量感知及伽玛统计模型能量优化算法

为了提升分簇无线传感器网络的能量效率并均衡节点的能量负载,提出了一种认知网络能量感知及伽玛统计模型能量优化算法。首先,该算法提出基于认知无线电的信道能量感知模型,可以得到网络休眠模式和运作模式下网络的能量分布方程。接着,在多个中继网络场景中采用伽玛函数进行网络总能耗分析,并基于次级网络跳数与簇头总能耗关系提出能量优化策略,在均衡簇头能量负载的同时最小化网络总能耗量。实验仿真结果表明,在网络总能量消耗上,所提出的能量优化算法相比基于节能路由方案的认知无线电网络和基于多能量探测器的认知网络,节能效果分别提高了37.6%和12.2%,并且算法采用伽玛函数对网络能量分布的分析具有一定的准确性。     

一种混合式无线传感器网络聚类路由算法

分析了无线传感器网络中的的聚类路由算法LEACH和LEACH-C算法,结合这两个算法的特点,设计出簇首个数不变的LEACH-M算法。该算法采用了由基站决定首轮簇首的方式,再由本轮簇首选定下一轮簇首的方法,有效解决了LEACH中簇头随机选择时不是最优位置的问题和LEACH-C中对基站的依赖问题,另外,在簇首选取上,该算法设计出了一种低复杂性的节点权值的计算方法。通过实验结果证明,该算法在有效地延长了网络的生命周期和提高了基站接收的数据量的同时,也具有较好的适应性与健壮性。     

A routing protocol for vehicular ad hoc networks using simulated annealing algorithm and neural networks

Vehicular ad hoc network (VANET) is special type of mobile ad hoc networks which establish communications between adjacent vehicles and also between vehicles and roadside units. Thanks to their dynamic and fast topology changes, inter-vehicular ad hoc networks are like dynamic networks without organizations. Hence, developing a reliable routing algorithm is regarded as a notable challenge in these networks. In this paper, a clustering-based reliable routing algorithm was proposed for VANETs with reliable applications. In this way, simulated annealing was used for appropriate clustering of nodes and the parameters of node degree, coverage and ability were considered in the proposed method. For selecting cluster head, radial basis function neural network was used and a suitable fitness function with velocity and free buffer size parameters was used. Each cluster has two gateway nodes which are used as the communication interface for transmitting data from one cluster to another cluster. The simulation results indicated the efficiency of the proposed method in terms of route discovery rate and packet delivery rate.     

异构WSN中基于改进哈里斯鹰的分簇算法

针对无线传感器网络中传统的低功耗自适应集簇分层型协议存在的节点能耗过高、网络生存周期短以及负载不均衡等问题, 本文提出了一种异构传感网络下的多目标簇头选举和基于模拟退火的哈里斯鹰路由优化算法(LEACH-MHO). 这种改进算法首先在计算节点最优阈值的基础上, 构建新的考量能耗和负载的适应度函数, 找到最优簇首节点, 保证簇首节点的均匀分布; 再建立基于哈里斯鹰优化器的路径选择策略, 同时嵌入模拟退火算法, 防止过早陷入局部最优; 最后使用评估函数筛选出可加入到最佳路径的簇头, 缩短簇头节点到基站的通信距离. 仿真实验数据表明, 与CREEP、LEACH-C、LEACH算法相比, 本文算法的网络生存寿命分别延长了22.18%、77.83%和180.52%, 能更有效地延长网络生存寿命.     

基于学习自动机的无线传感网能量均衡分簇算法

优化簇首选择、均衡节点能量负载以延长网络存活时间,一直是无线传感器网络分簇协议研究的重点。针对无线传感器网络节点随机分布的情况,在基于学习自动机(Learning Automata, LA)的ICLA算法基础上,提出一种兼顾节点密度的能耗均衡分簇算法。在簇头选举方面,综合考虑节点剩余能量和节点密度,利用学习自动机与周围环境进行信息交互和动作奖惩,选择出相对较优的簇头;根据簇首与基站距离和其节点密度构造大小非均匀的簇,实现不同位置不同网络疏密程度下簇内和簇间能耗互补均衡;构造了基于簇首剩余能量、簇内节点密度和传输距离的评价函数,并运用贪婪算法选择出最优中转簇首进行多跳传输。仿真实验结果表明,该算法能选择出更为合理的簇头,有效地均衡网络能量负载,延长网络生存时间。     

基于高斯隶属度的融合算法在改进Leach中的应用

无线传感器网络中节点采集的数据具有较高的冗余度,对数据进行融合处理后再传送到汇聚节点,能有效地降低能量消耗,延长网络生命周期.设计了一种基于高斯隶属函数的数据融合算法,并改进无线传感网络Leach协议,对传感器节点进行二级分簇,多跳通信延长网络生命周期.在一级簇头节点依据分布图法剔除疏失数据,进而利用高斯隶属函数求得权...     

On the overtraining phenomenon of backpropagation neural networks

A very important subject for the consolidation of neural networks is the study of their capabilities. In this paper, the relationships between network size, training set size and generalization capabilities are examined. The phenomenon of overtraining in backpropagation networks is discussed and an extension to an existing algorithm is described. The extended algorithm provides a new energy function and its advantages, such as improved plasticity and performance along with its dynamic properties, are explained. The algorithm is applied to some common problems (XOR, numeric character recognition and function approximation) and simulation results are presented and discussed.     

一种基于数据并行的过程神经网络训练算法

针对过程神经网络时空聚合运算机制复杂、学习周期长的问题,提出了一种基于数据并行的过程神经网络训练算法。该方法基于梯度下降的批处理训练方式,应用MPI并行模式进行算法设计,在局域网内实现多台计算机的机群并行计算。文中给出了基于数据并行的过程神经网络训练算法和实现机制,对不同规模的训练函数样本集和进程数进行了对比实验,并对加速比、并行效率等算法性质进行了分析。实验结果表明,根据网络和样本规模适当选取并行粒度,算法可较大提高过程神经网络的训练效率。