基于凸函数理论的Hopfield网络稳定性分析

讨论连接权值不对称或激活函数非单调的离散时间Hopfield网络稳定性分析。引入新的能量函数,利用凸函数的性质证明随状态的更新网络能量函数单调下降从而得出网络收敛的充分条件。对于激活函数为非单调的连续函数而网络连接权值对称,则当网络连接权值矩阵的最大特征值和神经元激活函数的导数下确界之积大于-1时,网络全并行收敛。对于网络激活函数为单调连续函数,网络连接权值为非对称矩阵时,神经元激活函数导数的最大值和连接权值矩阵的2-范数之积小于1时,网络全并行收敛。     

Hopfield网络的全局指数稳定性

在研究Hopfield神经网络时通常都假设输出响应函数是光滑的增函数.但实际应用中遇到的大多数函数都是非光滑函数.因此,本文将通常论文中Hopfield神经网络的输出响应函数连续可微的假设削弱为满足L ipschitz条件.通过引入Lyapunov函数的方法,证明了Hopfield神经网络全局指数收敛的一个充分性定理.并且由此定理获得该类网络全局指数稳定的几个判据.这定理与判据是近期相应文献主要结果的极大改进.     

离散时间的Hopfield网络稳定性研究

主要讨论离散时间连续状态的Hopfield网络模型中当神经元的激活函数为单调增函数(不一定严格单调增)时,并行和串行收敛的充分条件以及具有全局惟一稳定点的充分条件.通过定义新的能量函数和研究单调增函数(不一定严格单调增)的性质,给出了并行和串行收敛的充分条件.通过研究能量函数成为凸函数的条件,将Hopfield 网络的运行看作约束凸优化问题求解,从而得出了仅有全局惟一极小点的充分条件.当网络神经元的自反馈大于该神经元激活函数导数的倒数时,串行运行收敛.当网络连接权值矩阵的最小特征值大于激活函数导数的倒数时,网络并行收敛.如果网络的能量函数为凸函数,则网络将仅有惟一一个全局稳定点.这些结果在应用Hopfield 网络求解优化问题和联想记忆时拓广了神经元激活函数的选择范围.     

非对称Hopfield网络稳定性分析

Hopfield神经网络是迄今得到最广泛应用的神经网络模型之一,而这些应用极大地依赖于神经网络的动态特性。对于对称Hopfield网络,已有很多成熟的判定其稳定性的方法。对非对称Hopfield神经网络,提出了一种有效的方法来研究这种网络的全局稳定性,并又给出了其稳定性条件。应用所提供的方法很容易对非对称Hopfield神经网络的局部稳定性进行分析。     

Hopfield网络在优化计算中的应用

该文总结了Hopfield网络应用于优化计算的一般步骤和方法 ,并通过两个应用实例 :TSP问题 (旅行商问题 )和系统参数辨识问题 ,对应用Hopfield网络求解优化问题的关键步骤及应用方法进行了详细分析和说明 ,具有一定的普遍性和实用性。     

离散时间Hopfield网络的动力系统分析

离散时间的Hopfield网络模型是一个非线性动力系统．对网络的状态变量引入新的能量函数,利用凸函数次梯度性质可以得到网络状态能量单调减少的条件．对于神经元的连接权值且激活函数单调非减(不一定严格单调增加)的Hopfield网络,若神经元激活函数的增益大于权值矩阵的最小特征值,则全并行时渐进收敛;而当网络串行时,只要网络中每个神经元激活函数的增益与该神经元的自反馈连接权值的和大于零即可．同时,若神经元激活函数单调,网络连接权值对称,利用凸函数次梯度的性质,证明了离散时间的Hopfield网络模型全并行时收敛到周期不大于2的极限环．     

Hopfield网络求解TSP的算法改进

本文在对Hopfield神经网络求解旅行商(TSP)问题的算法进行研究的基础上结合实例针对典型改进算法的优缺点作了进一步探讨。     

TSP及其基于Hopfield网络优化的研究

Ｈｏｐｆｉｅｌｄ网络（ＨＮＮ）是一种有效的优化模型,但存在易收敛到非法解或局部极小以及对模型参数与初值依赖性强的缺点。旅行商问题（ＴＳＰ）是研究算法性能的典型算例,通过对其进行计算机仿真优化,分析归纳了ＨＮＮ模型存在缺点的原因,总结并提出若干改进方法与思想。同时,针对ＴＳＰ问题的工程背景提出了若干发展性研究内容与方法。     

基于连续Hopfield网络求解TSP的新方法

当连续Hopfield网络及其能量函数同时具有自反馈或不具有自反馈时,称之为一致连续Hopfield网络．在分析了一致连续Hopfield网络能量稳定性的基础上,进一步研究了当网络有自反馈,而其能量函数无自反馈的情况下,网络能量变化的性质,分别给出了使能量函数上升、下降和不变的条件．利用这一理论,可以克服由于梯度下降法所导致的网络能量函数总是下降,从而使网络陷入局部极小值或不可行解的现象．最后在这个理论的基础上我们给出了一种新的求解TSP(traveling salesman problem)的方法,仿真研究表明此方法对于求解TSP问题是很有效的．     

离散Hopfield神经网络的稳定性分析

主要研究非对称离散Hopfield神经网络并行演化方式的动力学行为,同时给出了网络的一些新的稳定性条件,所获结果不仅推广了一些已有的结论,而且为该网络的应用提供了一定的理论基础。     

一类非光滑非凸优化问题的神经网络方法

提出了解决一类带等式与不等式约束的非光滑非凸优化问题的神经网络模型。证明了当目标函数有下界时,神经网络的解轨迹在有限时间收敛到可行域。同时,神经网络的平衡点集与优化问题的关键点集一致,且神经网络最终收敛于优化问题的关键点集。与传统基于罚函数的神经网络模型不同,提出的模型无须计算罚因子。最后,通过仿真实验验证了所提出模型的有效性。     

基于区间优化的神经网络全局优化方法

Hopfield神经网络被广泛应用于优化问题的求解中,而传统的Hopfield网络通常基于梯度下降法,此方法容易陷入局部极小而得到次最优解或收敛到问题的不可行解。另外,当用于训练网络样本的输入/输出数据无法精确给出,而只能以一定的范围的形式给出时,传统的神经网络学习方法就无能为力了。论文提出了一种基于区间优化的神经网络学习算法,可以很好地解决上面所提到的传统神经网络学习算法的缺点。     

Analyzing Global Dynamics of a Neural Field Model

We study global dynamics of the neural field, or a neural network model that represents densely distributed cortical neurons as a spatially continuous field. By analyzing the Lyapunov functional for the neural field with finite and infinite domains, we show that the state in the finite field necessarily converges to a steady solution and that the infinite field cannot have a limit cycle attractor. We also show that the Lyapunov functional of the neural field model can be considered to be a natural extension of the Lyapunov function of the Hopfield model to the continuous field. The result suggests that the two neural systems have, generally, common global dynamics characterized by the intimately related Lyapunov functional/function.     

连续时间 Hopfield网络模型数值实现分析

讨论使用Euler方法和梯形方法在数值求解连续时间的Hopfield网络模型时,离散时间步长的选择和迭代停止条件问题.利用凸函数的定义研究了能量函数下降的条件,根据凸函数的性质分析它的共轭函数减去二次函数之差仍为凸函数的条件.分析连续时间Hopfield网络模型的收敛性证明,提出了一个广义的连续时间Hopfield网络模型.对于常用的Euler方法和梯形方法数值求数值实现连续时间Hopfield网络,讨论了离散时间步长的选择.由于梯形方法为隐式方法,分析了它的迭代求算法的停止条件.根据连续时间Hopfield网络的特点,提出改进的迭代算法,并对其进行了分析.数值实验的结果表明,较大的离散时间步长不仅加速了数值实现,而且有利于提高优化性能.     

一种新颖的函数优化进化算法

进化算法在求解全局优化问题时易陷入局部最优且收敛速度慢. 为了解决这一问题, 设计了一个基于下降尺度函数的杂交算子, 利用下降尺度函数与种群的关系来寻找实值函数的下降方向. 为了提高非均匀变异算子在进化后期的搜索能力, 通过均衡算子的局部搜索和全局搜索能力使其在算法后期仍能跳出局部最优. 在此基础上给出了一种新的进化算法. 最后将其与9个现有的算法进行了比较, 数值实验表明新算法快速有效.