基于凸函数理论的Hopfield网络稳定性分析

讨论连接权值不对称或激活函数非单调的离散时间Hopfield网络稳定性分析。引入新的能量函数,利用凸函数的性质证明随状态的更新网络能量函数单调下降从而得出网络收敛的充分条件。对于激活函数为非单调的连续函数而网络连接权值对称,则当网络连接权值矩阵的最大特征值和神经元激活函数的导数下确界之积大于-1时,网络全并行收敛。对于网络激活函数为单调连续函数,网络连接权值为非对称矩阵时,神经元激活函数导数的最大值和连接权值矩阵的2-范数之积小于1时,网络全并行收敛。     

离散时间的Hopfield网络稳定性研究

主要讨论离散时间连续状态的Hopfield网络模型中当神经元的激活函数为单调增函数(不一定严格单调增)时,并行和串行收敛的充分条件以及具有全局惟一稳定点的充分条件.通过定义新的能量函数和研究单调增函数(不一定严格单调增)的性质,给出了并行和串行收敛的充分条件.通过研究能量函数成为凸函数的条件,将Hopfield 网络的运行看作约束凸优化问题求解,从而得出了仅有全局惟一极小点的充分条件.当网络神经元的自反馈大于该神经元激活函数导数的倒数时,串行运行收敛.当网络连接权值矩阵的最小特征值大于激活函数导数的倒数时,网络并行收敛.如果网络的能量函数为凸函数,则网络将仅有惟一一个全局稳定点.这些结果在应用Hopfield 网络求解优化问题和联想记忆时拓广了神经元激活函数的选择范围.     

基于连续Hopfield网络求解TSP的新方法

当连续Hopfield网络及其能量函数同时具有自反馈或不具有自反馈时,称之为一致连续Hopfield网络．在分析了一致连续Hopfield网络能量稳定性的基础上,进一步研究了当网络有自反馈,而其能量函数无自反馈的情况下,网络能量变化的性质,分别给出了使能量函数上升、下降和不变的条件．利用这一理论,可以克服由于梯度下降法所导致的网络能量函数总是下降,从而使网络陷入局部极小值或不可行解的现象．最后在这个理论的基础上我们给出了一种新的求解TSP(traveling salesman problem)的方法,仿真研究表明此方法对于求解TSP问题是很有效的．     

延迟离散Hopfield网络的动态特征分析

神经网络的稳定性被认为是神经网络各种应用的基础．主要利用网络的状态转移方程和能量函数来研究带有延迟项的离散Hopfield神经网络动力学行为．给出了延迟离散Hopfield神经网络收敛于周期小于等于2的极限环的一些充分条件．给出了延迟网络收敛于周期为2和4的特殊极限环的一些充分条件．同时，得到了网络不存在任何稳定点的一些必要条件．所获结果不仅推广了一些已有的结论，而且为网络的应用提供了一定的理论基础．     

离散Hopfield网络:对硬限制函数的修改

本文对离散Hopfield网络经常使用的硬限制函数进行了修改,规定当神经元的各个输入分量的线性加权和等于神经元的阈值时,也即当神经元的有效输入为零时,神经元保持原有状态不变.本文证明,这一修改放宽了离散Hopfield网络稳定性的条件.     

离散Hopfield网络的渐近行为

离散Hopfield神经网络是一类特殊的反馈网络,可广泛应用于联想记忆设计、组合优化计算等方面.反馈神经网络的稳定性不仅被认为是神经网络最基本的问题之一,同时也是神经网络各种应用的基础.为此,利用状态转移方程和定义能量函数的方法,研究离散Hopfield神经网络在部分并行演化模式下的渐近行为,并举例说明了一个已有结论是错误的,同时给出了一些新的网络收敛于稳定状态的充分条件.所获结果进一步推广了一些已有的结论.     

前馈网络凸优化算法的自适应分析及应用

该文利用凸优化理论和约束优化理论为前馈神经网络构造出了一个新的优化目标函数。该目标函数的一个重要特点是：若固定连接权值，它对隐层输出来说为凸的；若固定隐层输出，它对连接权值来说为凸的。对该目标函数进行优化时，把隐层输出也做为被优化变量，交替优化隐层输出和连接权值；之后再增大惩罚因子的值，重复上述步骤，直到惩罚因子足够大为止。用新的目标函数设计的前馈网络凸优化算法，能在很大程度上克服以往算法易于陷入局部最小而使网络训练失败的缺陷。从理论和实践上对新算法进行了深入分析，重点分析了惩罚因子在算法中的重要作用，并通过图像压缩这一实例进行了很好的验证。     

高速简单循环单元网络

基于可以并行化计算的简单循环单元(simple recurrent unit,SRU)网络,引入高速公路网络(highway-networks)的连接思想,提出高速简单循环单元(H-SRU)网络:一方面利用非饱和激活函数可以有效缓解梯度消失的性质,将原有SRU结构里单元状态和隐状态的激活函数替换为非饱和激活函数;另一方...     

延迟离散Hopfield神经网络的异步动态行为

利用网络的状态转移方程和能量函数来研究带有延迟项的离散Hopficld神经网络动力学行为，给出了非对称的延迟离散Hopfield神经网络异步收敛的几个充分条件。所获结果不仅推广了一些已有的结论，而且为网络的应用提供了一定的理论基础。     

动态突触型Hopfield神经网络的动态特性研究

提出一种基于动态突触的离散型Hoppfield神经网（DSDNN）模型,给出了DSDNN的连接权值的动态演化模型及其神经元的状态更新模型．证明了DSDNN的平衡点与常规离散型Hopfield神经网络的平衡点具有一一对应的关系,分析了平衡点的稳定性．最后通过仿真分析了DSDNN的动态演化特性与其参数的关系。     

Activation of neuronal ensembles via controlled synchronization

In this contribution we present the activation of neuronal ensembles of Hindmarsh-Rose neurons by controlled synchronization. The main problem consists in to impose a particular spiking-bursting behavior in all the neurons of the network. We consider a network where the neurons are in its resting state, it is desired that the neurons change their resting state to a particular behavior of activation, dictated by a neuron called the reference neuron. The goal is reached by controlling some neurons in the network controlling only the membrane potential (electrical synapse). The key feature of the present contribution is that by controlling a small number of neurons in the network a desired behavior is induced in all the neurons in the network despite its network topology. The important parameters are the control gain and the coupling strength, thus the activation of the network lays down on a compromise between the control gain and the coupling strength.     

延迟离散Hopfield型神经网络异步收敛性

离散Ｈｏｐｆｉｅｌｄ型神经网络的一个重要性质是异步运动方式下总能收敛到稳定态。同步运行方式下总能收敛到周期不超过２的极限环,它是该模型可以用于联想记忆设计,组合设计计算的理论基础,文中给出了延迟离散Ｈｏｐｆｉｅｌｄ型网络的收敛性定理,在异步运动方式下,证明了对称连接权阵的收敛性定理,推广了已有的离散Ｈｏｐｆｉｅｌｄ型网络的收敛性结果,给出了能量函数极大值点与延迟离散Ｈｏｐｆｉｅｌｄ型网络的稳定态的     

连续时间 Hopfield网络模型数值实现分析

讨论使用Euler方法和梯形方法在数值求解连续时间的Hopfield网络模型时,离散时间步长的选择和迭代停止条件问题.利用凸函数的定义研究了能量函数下降的条件,根据凸函数的性质分析它的共轭函数减去二次函数之差仍为凸函数的条件.分析连续时间Hopfield网络模型的收敛性证明,提出了一个广义的连续时间Hopfield网络模型.对于常用的Euler方法和梯形方法数值求数值实现连续时间Hopfield网络,讨论了离散时间步长的选择.由于梯形方法为隐式方法,分析了它的迭代求算法的停止条件.根据连续时间Hopfield网络的特点,提出改进的迭代算法,并对其进行了分析.数值实验的结果表明,较大的离散时间步长不仅加速了数值实现,而且有利于提高优化性能.     

Two digital circuits for a fully parallel stochastic neural network

This paper presents two digital circuits that allow the implementation of a fully parallel stochastic Hopfield neural network (SHNN). In a parallel SHNN with n neurons, the n*n stochastic signals s (ij) pulse with probability which are proportional to the synapse inputs, are simultaneously available. The proposed circuits calculate the summation of the stochastic input pulses to neuron i(F(i)=Sigma(j) s(ij)). The resulting network achieves considerable speed up with respect to the previous network.     

Convergence of discrete delayed Hopfield neural networks

The discrete delayed Hopfield neural networks is an extension of the discrete Hopfield neural networks. In this paper, the convergence of discrete delayed Hopfield neural networks is mainly studied, and some results on the convergence are obtained by using Lyapunov function. Several new sufficient conditions for the delayed networks converging towards a limit cycle with period at most 2 are proved in parallel updating mode. Also, some conditions for the delayed networks converging towards a limit cycle with 2-period are investigated in parallel updating mode. All results established in this paper extend the previous results on the convergence of both the discrete Hopfield neural networks, and the discrete delayed Hopfield neural networks in parallel updating mode.     

一种非线性可自学习的联想记忆神经网络

醉庆生物神经突触特性的基础上,提出了非线性神经突触神经元的概念,并以此为根据构造了一种可自学习的联想记忆神经网络模型。这种模型可以按照Hebb规则进行学习,学习机制由网络本身完成。在此模型中,由于非线性权重的引入,使此神经网络模型能以简单的结构实现网络的自学习功能。文中对网络的记忆容量和此种网络在以特定的学习方式学习后与Hopfield网络的等效性方面进行了讨论。试验表明,此种网络模型结构是有效的。     

Continuous-time symmetric Hopfield nets are computationally universal

We establish a fundamental result in the theory of computation by continuous-time dynamical systems by showing that systems corresponding to so-called continuous-time symmetric Hopfield nets are capable of general computation. As is well known, such networks have very constrained Lyapunov-function controlled dynamics. Nevertheless, we show that they are universal and efficient computational devices, in the sense that any convergent synchronous fully parallel computation by a recurrent network of n discrete-time binary neurons, with in general asymmetric coupling weights, can be simulated by a symmetric continuous-time Hopfield net containing only 18n + 7 units employing the saturated-linear activation function. Moreover, if the asymmetric network has maximum integer weight size w(max) and converges in discrete time t*, then the corresponding Hopfield net can be designed to operate in continuous time Theta(t*/epsilon) for any epsilon > 0 such that w(max)2(12n) 相似文献   

Neuron-synapse IC chip-set for large-scale chaotic neural networks.

We propose a neuron-synapse integrated circuit (IC) chip-set for large-scale chaotic neural networks. We use switched-capacitor (SC) circuit techniques to implement a three-internal-state transiently-chaotic neural network model. The SC chaotic neuron chip faithfully reproduces complex chaotic dynamics in real numbers through continuous state variables of the analog circuitry. We can digitally control most of the model parameters by means of programmable capacitive arrays embedded in the SC chaotic neuron chip. Since the output of the neuron is transfered into a digital pulse according to the all-or-nothing property of an axon, we design a synapse chip with digital circuits. We propose a memory-based synapse circuit architecture to achieve a rapid calculation of a vast number of weighted summations. Both of the SC neuron and the digital synapse circuits have been fabricated as IC forms. We have tested these IC chips extensively, and confirmed the functions and performance of the chip-set. The proposed neuron-synapse IC chip-set makes it possible to construct a scalable and reconfigurable large-scale chaotic neural network with 10000 neurons and 10000/sup 2/ synaptic connections.