讲座:人工神经网络 第四讲 反馈网络与联想记忆

1引言反馈网络与前馈网络是人工神经网络中两种最基本的网络模型。从控制的观点，后者属于静态网络，前者则属于动态网络。联想特性是人工神经网络的一个重要特性。它主要包括两个方面：联想映射与联想记忆。在前馈网络的讨论中，我们着重介绍了神经网络的诱人的联想映射能力；在反馈网络的讨论中，我们将着重介绍神经网络的另一诱人特性——联想记忆能力。人类智能的一个重要特点就是，具有很强的联想记忆能力。人不仅能识别记忆中的完整模式，而且也能根据记忆中模式的部分信息进行正确的识别，由部分信息联想或恢复到完全的信息，这即所…     

具有非线性映射能力的高性能联想记忆模型

通常的联想记忆模型的联想性能由于受到输入模式间交叉相关项的影响而有所下降，并且在输入与输出之间缺乏非线性映射能力。本文介绍一种高性能联想记忆模型，它将低维输入向量映射到一个高维的中间向量，从而提高了系统的联想能力，又使系统具有非线性映射能力，最后给出了几种推广。     

基于神经网络的SARS传播模型

神经网络具有并行分布式处理、联想记忆、自组织、自学习的能力,通过学习可以逼近任意非线性映射,使它成为非线性复杂系统常用的建模工具和预测方法。各种疾病(包括SARS)的传染规律是一个非常复杂的问题,具有高度的非线性性。文章没有走以传统的微分方程、指数函数为理论基础的老路,尝试采用3层反馈神经网络模型建立SARS的传染模型,用其预报SARS的传播规律。     

复形态双向联想记忆网络及其性能分析

基于复数环(C,∨,∧,+)提出了复形态双向联想记忆网络模型,给出了神经网络实现双向完全联想记忆的条件,并分析了自联想的存储能力、稳定性和收敛性及神经网络的抗噪声能力.当复数虚部取零时即为实数,实数域形态双向联想记忆网络就是复数域形态双向联想记忆网络的特例.最后通过仿真实验验证复形态双向联想记忆网络的有效性.     

非线性时滞反馈实现离散神经元网络的去同步化

采用非线性时滞反馈实现离散神经元网络的去同步化控制．对于由映射神经元模型构建的神经网络，调节神经元之间的连接强度可以实现网络的混沌簇放电同步．在神经元的快变量中施加非线性时滞反馈信号可以实现网络的完全去同步化，且不改变神经元本身的放电特性．与线性时滞反馈相比，非线性时滞反馈能够实现强连接神经网络的去同步化，且对于参数的变化具有鲁棒性．     

讲座：人工神经网络 第五讲 反馈网络与优化计算

1引言反馈型神经网络在优化计算方面的成功应用，引起了人们的极大兴趣。下面以连续Hopfield网络为例，介绍该网络的结构及其优化计算的功能。实际上：Hopfield网络的两种主要功能：联想记忆与优化计算是对偶的。当用于联想记忆时，如上一讲所介绍的，是通过样本模式的输入，确定网络的稳定状态，经过学习求得网络的连接权W；当用于优化计算时，则是以优化问题的目标函数与约束条件建立网络的能量函数，从而确定网络的连接权W，网络运行时从初始状态演变到稳定状态，即可得到优化问题的对应解。Hopfield网络是一单层的反馈型网络，网络的…     

一种基于最大—乘积型合成神经元的模糊联想记忆网络*

本文提出了由最大－乘积型合成神经元的模糊神经网络实现双向双向联想记忆的一种学习方法实现双向联想记忆的充要条件，对于自联想记忆网络，自联想权得由广义模糊解确定，模式联想一次就收敛，该网络具有较强的容错性，大量的计算机实验结果表明该学习算法是行之有效的。     

基于遗传算法的Hopfield联想记忆吸引域的优化

由于一般离散Hopfield神经网络存在很多伪稳定点.使稳定点的吸引域变小.网络很难获得真正的最优解.因此,提出将遗传算法应用到Hopfield联想记忆神经网络中.利用遗传算法对复杂、多峰、非线性极不可微函数实现全局搜索性质.对Hopfield联想记忆吸引域进行优化,使待联想模式跳出伪模式的吸引域.使Hopfield网络在较高噪信比的情况下保持较高的联想成功率.仿真结果证明了该方法的有效性.     

自反馈神经网络的椭球学习算法

本文讨论自反馈神经网络的学习问题，指出联想记忆的神经网络的学习可以化为某种规划（优化）的问题来解，于是可借用规划数学中发展得成熟的优化技术来解自反馈神经网络的学习问题，文中给出一种称为椭球算法的学习方法，其计算复杂性是多项式型。     

一类时延反馈神经网络的稳定性及吸引域的估计

反馈型神经网络由于具有极为丰富的动力学行为和整体计算能力（如优化、联想、振荡和混饨）而倍受关注，近几年的研究表明，当网络的时延足够小时，具有延时的对称Hopfield型神经网络和无时延情况一样也是全局稳定的．本文通过构造适当Lyapunov泛函的方法，对一类具有时延的反馈型神经网络平衡点的渐近稳定性进行了分析，得到了平衡点渐近稳定的充分条件：要检验一个有时间延迟的反馈型神经网络的稳定性，只要测试一个特定矩阵的定性性质或一个特定不等式即可．最后我们也提供了一种估计网络渐近稳定平衡点吸引域的方法．     

非线性连续联想记忆神经网络的分析和优化设计

研究非线性连续联想记忆神经网络的渐近稳定性,得出几个定理.在此基础上,提出了一 种优化设计方法,并给出了理论证明.目前已有的若干结论是本文所得定理的特例.     

联想记忆神经网络的一个有效学习算法

提出一种新的联想记忆网络模型的有效学习算法,它具有下述特点:(1)可以全部存 储任意给定的训练模式集,即对于训练模式的数目和它们之间相关性的强弱没有限制;(2)最 小的训练模型吸引域达到最大;(3)在(2)的基础上,每个训练模式具有尽可能大的吸引域; (4)联想记忆神经网络是全局稳定的.大量的计算机仿真实验结果充分说明所提出的学习算 法比已有算法具有更强的存储能力和联想容错能力.     

模拟反馈联想记忆的吸引域和指数收敛速度的估计及其应用

本文得到了若干关于模拟反馈联想记忆各记忆模式的吸引域及其中每一点趋向相应记忆模式的指数收敛速度的估计结果，它们可用于高效模拟反馈联想记忆的性能评价以及综合过程．     

基于混沌神经网络的电机故障诊断

采用全局耦合混沌神经网络模型，每个神经元的动力学行为由反对称立方映像表示。采用Hebb算法设计网络的连接权值矩阵．将记忆模式的回忆过程转化为耦合系统中参数演变的过程，从而实现了混沌神经网络的联想记忆。根据提出的能量击穿规则，扩大了样表的吸引域。在此基础上，应用该混沌神经网络对异步电机转子断条故障进行诊断。结果表明，该种方法有助于故障模式的记忆和重现。     

一种非线性可自学习的联想记忆神经网络

醉庆生物神经突触特性的基础上,提出了非线性神经突触神经元的概念,并以此为根据构造了一种可自学习的联想记忆神经网络模型。这种模型可以按照Hebb规则进行学习,学习机制由网络本身完成。在此模型中,由于非线性权重的引入,使此神经网络模型能以简单的结构实现网络的自学习功能。文中对网络的记忆容量和此种网络在以特定的学习方式学习后与Hopfield网络的等效性方面进行了讨论。试验表明,此种网络模型结构是有效的。     

神经网络的混沌运动与控制

本文采用一种由混沌神经元构成的联想记忆神经网络．以混沌神经网络为基础,研究其非线 性动力学特性、混沌吸引子轨迹以及对初始条件的敏感性, 实现混沌神经网络的动态联想记 忆功能．在网络输入发生较大变异情况下所发生的失忆,本文采用时空系统混沌控制的钉扎 反馈方法,使网络恢复记忆．上述研究通过对异步电动机故障的动态记忆和恢复控制的仿真 实验得到证实．本文研究结果表明,在国内外对神经网络混沌控制研究的热点中,时空系统 的钉扎反馈控制是一种值得推荐的方法;神经网络的混沌控制扩大了网络的容错性,进而提 高了混沌神经网络的实用性,这将在复杂模式识别,图象处理等工程上具有广阔的应用前景 ．     

基于混沌神经网络的发电机定子绕组匝间短路故障诊断

本文采用耦合的混沌振荡子作为单个混沌神经元构造混沌神经网络模型，用改进Hebb算法设计网络的连接权值。在此基础上，实现了混沌神经网络的动态联想记忆并应用该混沌神经网络模型对发电机定子绕组匝间短路故障进行诊断。结果表明，该种方法有助于故障模式的记     

神经计算在故障诊断中的应用

故障诊断的基本问题是故障的分类问题。神经网络有很强的分类能力，并且有着特有的联想记忆、并行推理和抗干扰的能力，这些使得它成为研究故障诊断的一个新的课题。本文介绍了神经网络几种典型的模型：ＢＰ网、Ｈｏｐｆｉｅｄ、网、ＢＡＭ网和ＡＲＴ网在故障诊断中的应用。     

混沌神经网络在分离叠加模式和多对多联想记忆中的应用

混沌是不含外加随机因素的完全确定性的系统表现出来的界于规则和随机之间的内秉随机行为。脑神经系统是由神经细胞组成的网络。类似于人脑思维的人工神经网络与冯·诺依曼计算机相比,在信息处理方面有很大的优越性。混沌和神经网络相互融合的研究是从90年代开始的,其主要的目标是通过分析大脑的混沌现象,建立含有混沌动力学的神经网络模型(即混沌神经网络模型),将混沌的遍历性、对初始值敏感等特点与神经网络的非线性、自适应、并行处理优势相结合,     

NDRAM: nonlinear dynamic recurrent associative memory for learning bipolar and nonbipolar correlated patterns

This paper presents a new unsupervised attractor neural network, which, contrary to optimal linear associative memory models, is able to develop nonbipolar attractors as well as bipolar attractors. Moreover, the model is able to develop less spurious attractors and has a better recall performance under random noise than any other Hopfield type neural network. Those performances are obtained by a simple Hebbian/anti-Hebbian online learning rule that directly incorporates feedback from a specific nonlinear transmission rule. Several computer simulations show the model's distinguishing properties.