量子门Elman神经网络及其梯度扩展的量子反向传播学习算法

针对Elman神经网络的学习速度和泛化性能, 提出一种具有量子门结构的新型Elman神经网络模型及其梯度扩展反向传播(Back-propagation)学习算法, 新模型由量子比特神经元和经典神经元构成. 新网络结构采用量子映射层以确保来自上下文单元的局部反馈与隐藏层输入之间的模式一致; 通过量子比特神经元输出与相关量子门参数的修正互补关系以提高网络更新动力. 新学习算法采用搜索然后收敛的策略自适应地调整学习率参数以提高网络学习速度; 通过将上下文单元的权值扩展到隐藏层的权值矩阵, 使其在与隐藏层权值同步更新过程中获取时间序列的额外信息, 从而提高网络上下文单元输出与隐藏层输入之间的匹配程度. 以峰值检波为例的数值实验结果显示, 在量子反向传播学习过程中, 量子门Elman神经网络具有较快的学习速度和良好的泛化性能.     

基于蚁群聚类的自适应神经网络算法

针对模糊神经网络结构辨识问题,提出了一种基于蚁群聚类的自适应神经网络算法。利用蚁群聚类算法确定模糊神经网络的初始结构,在网络的学习过程中,采用误差反向传播学习算法对网络的参数和结构进行优化,达到自适应调整权值参数和结构的目的。最后,针对非线性函数遥近问题进行了验证。通过仿真试验证明该方法取得了很好的结果,系统的逼近精度明显提高,而且网络的自适应能力强,并可以将其有效地用于模糊建模和控制问题的求解。     

基于结构学习和迭代自映射的自联想记忆模型

传统的人工神经元网络连接结构是固定的,是对权值的学习.提出一种基于生理神经元特征的人工神经元模型,并在以此为单元构成的用于实现自联想记忆的神经网络上进行对结构的学习.学习算法以设定神经元的输入/输出感受野、调整突触和轴突末梢的连接、并行的自投影迭代为特征.给出了此网络模型的矩阵描述和实验结果.     

基于权值与结构确定法的单极Sigmoid神经网络分类器

构造了以单极Sigmoid函数作为隐层神经元激励函数的神经网络分类器,网络中输入层到隐层的权值和隐层神经元的阈值均为随机生成。同时,结合利用伪逆思想一步计算出隐层和输出层神经元之间连接权值的权值直接确定(WDD)法,进一步提出了具有边增边删和二次删除策略的网络结构自确定法,用来确定神经网络最优权值和结构。数值实验结果表明,该算法能够快速有效地确定单极Sigmoid激励函数神经网络分类器的最优网络结构; 分类器的分类性能良好。     

基于信息强度的RBF神经网络结构设计研究

在系统研究前馈神经网络的基础上,针对径向基函数(Radial basis function, RBF) 网络的结构设计问题,提出一种弹性RBF神经网络结构优化设计方法. 利用隐含层神经元的输出信息(Output-information, OI)以及隐含层神经元与输出层神经元间的交互信息(Multi-information, MI)分析网络的连接强度, 以此判断增加或删除RBF神经网络隐含层神经元, 同时调整神经网络的拓扑结构,有效地解决了RBF神经网络结构设计问题; 利用梯度下降的参数修正算法保证了最终RBF网络的精度, 实现了神经网络的结构和参数自校正. 通过对典型非线性函数的逼近与污水处理过程关键水质参数建模, 结果证明了该弹性RBF具有良好的动态特征响应能力和逼近能力, 尤其是在训练速度、泛化能力、最终网络结构等方面较之最小资源神经网络(Minimal resource allocation net works, MRAN)、增长修剪RBF 神经网络(Generalized growing and pruning RBF, GGAP-RBF)和自组织RBF神经网络(Self-organizing RBF, SORBF)有较大的提高.     

一种基于蚁群算法的粗神经网络PID控制器

针对传统的线性PID控制器参数难以实现在线调整缺陷,设计了一种新的基于粗神经网络的PID控制器,利用粗神经元代替传统神经元,扩展了网络的应用范围,并采用蚁群算法优化神经网络连接权初值,使神经网络连接权初值不再靠经验随机选取,从而得到最优参数的控制器。仿真结果表明,该控制器具有良好的控制性能。     

一种适用于电力系统谐波分析的神经网络模型

提出一种适用于电力系统谐波分析的神经网络模型,为求解该神经网络权值参数.推导了基于非线性优化思想的权值参数自适应学习算法.该算法同步调整隐层神经元和输出层神经元权值参数,以优化神经网络能量函数.为了验证算法的有效性,应用该算法对电力系统谐波进行仿真实倒研究.仿真结果表明,利用该算法能以非常高的精度同步求解电力系统基波频率以及各次谐波的幅值和相位.     

基于免疫RBF神经网络的逆运动学求解

求解机械臂逆运动学问题可以采用神经网络来建立逆运动学模型,通过遗传算法或BP算法训练神经网络的权值从而得到问题的解,在求解精度和收敛速度上有待进一步改进。采用人工免疫原理对RBF网络训练数据集的泛化能力在线调整隐层结构,生成RBF网络隐层。当网络结构确定时,采用递推最小二乘法确定网络连接权值。由此对神经网络的网络结构和连接权进行自适应调整和学习。通过仿真可以看出,用免疫原理训练的神经网络收敛速度快,泛化能力强,可大幅提高机械臂逆运动学求解精度。     

泛函网络神经元构造理论与方法

泛函网络是近年提出的一种对神经网络的有效推广.与神经网络不同,它处理的是一般的泛函模型,它在各个神经元之间的连接没有权值,并且神经元函数不固定的,往往是一给定的基函数的组合,泛函网络学习的目的就是求出神经元函数的精确表达式或近似表达式. 迄今关于泛函网络神经元基函数的存在性和选取方法缺乏理论依据.文中基于Banach空间中偏序理论,分析了泛函网络神经元基函数的存在性,给出了泛函网络神经元基函数选取方法,对于完善泛函网络的基础理论具有参考价值.     

一种基于神经网络复杂度的修剪算法

针对神经网络结构设计问题,提出一种基于神经网络复杂度的修剪算法.其实质是在训练过程中,利用网络连接权矩阵的协方差矩阵计算网络的信息熵,获得网络的复杂度;在保证网络信息处理能力的前提下,删除对网络复杂度影响最小的隐节点.该算法不要求训练网络到代价函数的极小点,适合在线修剪网络结构,并且避免了结构调整前的网络权值预处理.通过对典型函数逼近的实验结果表明,该算法在保证网络逼近精度的同时,可有效地简化网络结构.     

变结构径向基函数网络及其在混沌序列在线预测中的应用

为了利用径向基函数(RBF)神经网络对混沌序列进行精确和快速的在线预测,提出一种在线构造变结构RBF神经网络的序贯学习算法。该算法建立实时更新的滑动数据窗口,通过学习窗口内的数据对隐节点进行增加和删除,动态确定RBF神经网络隐节点的数目及中心位置,并对隐层至输出层的连接权值进行在线调整。该算法具有调节参数少、学习速度快以及所得网络结构精简等特点。将该网络用于Mackey-Glass混沌时间序列的在线预测实验,结果验证该算法对该混沌序列具有良好的在线动态辨识和预测性能。     

改进的SOFM算法及其在低延迟语音编码中的应用

根据低延迟语音编码算法训练码书的尺寸和码字维数的特点,提出了一种改进的自组织特征映射（SOFM）神经网络的码书设计方法。对输入训练矢量以及连接权矢量进行归一化,为降低计算量和提高码书训练质量,采用快速的网络学习决定获胜的神经元并对网络权值分阶段进行自适应调整,最后应用于低延迟语音编码中。实验表明,与传统LBG算法比较,采用SOFM神经网络训练的码书其合成语音的主、客观质量均有较大提高。     

基于模糊神经网络的空中目标威胁估计

将模糊神经网络用于空中目标威胁估计，阐述了网络结构的确定和算法实现过程。由于模糊神经网络不需要对象的准确模型。它以分布的方式存储信息，利用网络的拓扑结构和权值分布实现非线性映射，在神经网络框架下引入模糊规则，使网络中的权值有明显的意义，且保留了神经网络的学习机制，对权值的学习采用改进BP算法。仿真结果表明了该方法的有效性，为进行有效的目标威胁评估提供了一条新的思路。     

递归神经网络的设计与应用

结合实例,给出了递归神经网络的完整设计步骤,包括网络结构的选定,学习算法的选择和网络参数的训练过程。重点研究了学习速率的初始值选取及其调整顺序。给出的递归网络的设计方法,可以适用于多种递归神经网络。     

应用递归神经网络学习周期运动吸引子轨迹

采用递归神经网络学习非线性周期运动的吸引子轨迹．网络的拓扑结构基于非线性系统的状态空间表达式,网络权值通过时序反向传播算法调整．探讨了不同样本轨迹和网络结构对递归神经网络预测性能的影响．神经网络的性能评估建立在多条测试样本轨迹的基础上,可以更为客观地评价递归神经网络预测性能．对van der Pol方程的仿真结果表明:网络的泛化能力对训练样本轨迹的依赖性较强,从不同训练轨迹上得到的递归神经网络性能差异较大;需要选择合适的递归神经网络结构参数以提高神经网络的泛化能力．     

基于遗传算法的FNN-PID控制技术在溶解氧控制中的应用

构建一种基于多层神经网络结构的模糊PID参数自整定系统,将模糊规则和隶属函数的选取转化为神经网络中连接权系数和网络结构的优化问题;以氧化沟内溶解氧偏差最小为目标函数,采用改进的遗传算法作为模糊神经网络的学习算法对网络的参数和结构进行优化,实现PID参数的在线自整定;仿真实验表明此方法较好地提高了氧化沟溶解氧系统的自学习能力和鲁棒性,使控制系统的动、静态性能都有较大的改善。     

一种多权值神经元覆盖网络的构造方法

仿生模式识别利用多权值神经元覆盖网络构造模式类的覆盖来进行相应事物的识别.但在构造多权值神经元覆盖网络的过程中,关于构造神经元个数的确定方法没有相关讨论,即需要使用多少个神经元才能完成对模式类的覆盖.较多的神经元在精确的对模式类进行覆盖同时,也增大了网络的复杂度.文中提出了一种多权值神经元覆盖网络的构造方法.在保持神经网络对模式类的覆盖能力的基础上采用尽量少的神经元,从而能有效的降低神经网络构造代价.最后,通过实验作者验证了算法的有效性.     

自适应前馈神经网络结构优化设计

针对多数前馈神经网络结构设计算法采取贪婪搜索策略而易陷入局部最优结构的问题,提出一种自适应前馈神经网络结构设计算法.该算法在网络训练过程中采取自适应寻优策略合并和分裂隐节点,达到设计最优神经网络结构的目的.在合并操作中,以互信息为准则对输出线性相关的隐节点进行合并;在分裂操作中,引入变异系数,有助于跳出局部最优网络结构.算法将合并和分裂操作之后的权值调整与网络对样本的学习过程结合,减少了网络对样本的学习次数,提高了网络的学习速度,增强了网络的泛化性能.非线性函数逼近结果表明,所提算法能得到更小的检测误差,最终网络结构紧凑.     

基于时变RBF网络的非线性时变系统建模

在常规RBF神经网络中采用时变权值,将其应用于非线性时变系统的建模。采用减聚类算法确定网络隐含层神经元数与基函数中心参数,以迭代学习最小二乘算法修正神经网络时变权值,给出时变RBF网络的学习算法。分析表明,迭代学习最小二乘权值修正算法保证了网络时变权值的有界性,迭代误差收敛于零。仿真结果验证了该方法在非线性时变系统建模方面的有效性。     

深度学习目标识别算法及运用研究

文章主要论述了深度学习目标识别的算法,对其主要运用进行了研究分析。神经网络的结构是一种基于人脑结构设计的技术手段,卷积神经网络属于一种特殊的深度前馈网络信息,为了避免在不同层级之间信息链接产生参数冗余,通过局部链接以及权值共享的方式进行处理,卷积神经网络具有稀疏特征,可以链接符合生物神经元稀疏的响应特性,可以有效的降低网络的参数规模,使得模型训练更为简单便捷。