用线性多步法训练神经网络

研究用微分方程数值解法－－线性多步法替代神经网络的学习算法,指出在一定条件下神经网络的BP学习问题与求解一个相应的微分系统在渐近意义下是等价的,从而求解微分动力系统的数值解法也可用于神经网络的学习,给出了训练神经网络的Milne方法和BP－Milne结合算法以及Hamming方法和BP－Hamming结合算法,并以9点两类模式、随机模式识别和石油地质中沉积微相模式识别等3个问题为例进行了实验,实验结果表明利用微分动力系统的数值解法进行神经网络的学习是可行的。     

机动目标拦截器的信息模式分析

采用追逃微分对策理论描述大机动目标拦截问题,从分析拦截器的信息模式入手来研究微分对策解的结构形式. 在给出追逃微分对策问题信息模式相关概念的规范化描述后,结合典型场景分析了拦截器的信息模式,表明大机动条件下拦截器的信息模式为无共享模式;随后证明了当目标机动满足"模式可检测性"条件时无共享模式等价于控制量延迟共享模式;最后给出了控制量延迟共享模式下微分对策解的结构, 并证明了最优解条件下微分对策值与信息模式延迟间的单调性定理,为提高机动目标拦截性能指明了研究方向.     

前馈神经网络的一种BP-阿当姆斯学习算法

针对神经网络学习问题,研究将微分方程数值解法--阿当姆斯法用于神经网络的权值修正.考虑BP算法在网络学习初始阶段误差函数下降速度较快,而阿当姆斯算法在网络学习后期具有较高学习精度的特点,给出了前馈神经网络一种BP与Adamas方法相融合的BP-Adamas结合算法.文中对BP算法、Adamas算法和BP-Adamas结合算法的性质进行了对比分析,并以随机模式识别和旋转机械故障自动诊断问题为例验证了算法的有效性.     

T-S模糊广义系统的逼近性

本文研究T-S模糊广义系统的逼近性,给出了T-S模糊广义系统的逼近性定理.证明其可以以任意的精度逼近一类广泛存在的非线性广义系统.还将MISO(多输入单输出)情况推广到MIMO(多输入多输出)的情况.在逼近性定理的基础上,利用神经网络的方法对非线性广义系统建模,给出了神经网络的结构及学习算法.本文共提出了两种神经网路的训练策略,对各自的优点与不足给出了分析,最后用数值例子验证了算法的有效性.     

负泊松比蜂窝夹层板的多周期运动研究

发展高维Melnikov方法研究含参非线性动力系统的多周期解分岔问题,并应用于研究负泊松比蜂窝夹层板的多周期运动等复杂非线性动力学行为.通过建立曲线坐标与Poincaré映射,发展适用于四维含参非线性动力系统的Melnikov函数,获得系统多周期解的存在性及个数判定定理.将所得理论结果应用于研究面内激励与横向激励共同作用下负泊松比蜂窝夹层板的多周期运动,获得系统周期轨道的存在性、个数及相应的参数控制条件.探讨横向激励系数对系统动力学行为的影响,得到在一定参数条件下,系统最多存在4个周期轨道,并利用数值模拟方法给出其相图构型,验证理论结果的正确性.     

混沌对角递归神经网络的船舶横摇预报方法

船舶运动在一定条件下会出现混沌特性,因此可以利用混沌神经网络对其进行预报.对传统的混沌对角递归神经网络模型各权值的训练进行优化,给出了基于Lyapunov函数的各层权所通用的学习速率调整算法的收敛定理并加以证明.仿真结果表明,采用优化采样时刻可提高各权值的精确度,使收敛性得到改善,能有效提高预报精度和延长预报时间.与前向神经网络BP预测相对比,优化后的模型具有很好的预测效果.     

连续分布时滞Cohen-Grossberg神经网络渐近稳定性准则

通过选取一个新颖的Lyapunov-Krasovskii泛函和引入所考虑系统的等价描述系统, 讨论了具有时变和连续分布时滞Cohen-Grossberg神经网络的渐近稳定性问题. 在变时滞导函数有上界时, 给出能判定系统是渐近稳定时滞相关的充分性条件. 该条件以线性矩阵不等式形式给出, 易于用MATLAB工具箱LMI进行检验. 最后, 数值例子说明了所得结论的有效性.     

非线性微分代数系统的稳定性

本文发展了微分代数系统的稳定性理论,讨论了微分代数系统在平衡点近旁的正则性问题、给出了在平衡点处的受限形式,建立了受限系统Ｌｙａｐｕｎｏｖ稳定性的基本定理,得到了微分代数系统平凡解渐近稳定的判别准则。     

微分代数系统的无源性

考察了微分代数系统的无源性的控制问题.提出了微分代数系统无源的定义以及KYP特性的定义.利用类似微分几何理论的方法,通过引入微分代数系统的M导数,推出了微分代数系统无源与KYP特性等价的定理和微分代数系统无源性的充分必要条件.最后给出了无源控制器存在的条件.M导数的方法可以看作是L导数方法的延伸.本文所获得的一系列结果,使来自于物理系统的无源概念与控制理论有机结合起来.     

二进神经网络逻辑关系判据及等价性规则提取

二进神经网络中提取知识主要体现为对输入输出逻辑关系的提取,而逻辑关系的表达方式分为蕴含性规则和等价性规则文中对比了蕴含性规则和等价性规则的差异;以KT方法为例,讨论了蕴含性规则在表达二进神经网络内在知识时,对某些具有明确逻辑意义的二进神经网络,并不是最清晰的表达方式.对这些逻辑关系,采用等价性规则可以简洁清晰地解决问题,所以对于二进神经网络神经元表达的逻辑关系建立可能的等价性规则提取方法是有意义的.CH判据是一种提取等价性规则的方法,但CH判据是充分性判据,对二进神经元的权系数有约束条件,因此不适用于任何学习算法的学习结果.为解决这些问题,文中研究了二进神经网络表达几类等价逻辑关系的充要性判据,并根据这些判据提出了提取等价性规则的WTA方法.在使用WTA方法时,必须预先对二进神经元进行必要的剪枝.文中证明了剪枝定理,并通过二个例子说明了用WTA方法进行规则提取的过程.     

A continuous Hopfield network equilibrium points algorithm

The continuous Hopfield network (CHN) is a classical neural network model. It can be used to solve some classification and optimization problems in the sense that the equilibrium points of a differential equation system associated to the CHN is the solution to those problems. The Euler method is the most widespread algorithm to obtain these CHN equilibrium points, since it is the simplest and quickest method to simulate complex differential equation systems. However, this method is highly sensitive with respect to initial conditions and it requires a lot of CPU time for medium or greater size CHN instances. In order to avoid these shortcomings, a new algorithm which obtains one equilibrium point for the CHN is introduced in this paper. It is a variable time-step method with the property that the convergence time is shortened; moreover, its robustness with respect to initial conditions will be proven and some computational experiences will be shown in order to compare it with the Euler method.     

遗传算法优化BP 神经网络的短时交通流混沌预测

为了提高BP神经网络预测模型对混沌时间序列的预测准确性,提出了一种基于遗传算法优化BP神经网络的改进混沌时间序列预测方法.利用遗传算法优化BP神经网络的权值和阈值,然后训练BP神经网络预测模型以求得最优解,并将该预测方法应用到几个典型混沌时间序列和实测短时交通流时间序列进行有效性验证.仿真结果表明,该方法对典型混沌时间序列和短时交通流具有较好的非线性拟合能力和更高的预测准确性.     

Neural network method: delay and system of delay differential equations

In the present article, delay and system of delay differential equations are treated using feed-forward artificial neural networks. We have solved multiple problems using neural network architectures with different depths. The neural networks are trained using the extreme learning machine algorithm for the satisfaction of delay differential equations and associated initial/boundary conditions. Further, numerical rates of convergence of the proposed algorithm are reported based on variation of error in the obtained solution for different number of training points. Emphasis is on analysing whether deeper network architectures trained with extreme learning machine algorithm can perform better than shallow network architectures for approximating the solutions of delay differential equations.

     

基于复合正交神经网络的自适应逆控制系统

目前，在自适应逆控制系统中常采用BP神经网络，而BP网络存在算法复杂、易陷入局部极小解等不足。而正交神经网络能克服BP网络的不足，但由于正交神经网络学习算法存在某些局限性，提出了一种复合正交神经网络，该正交网络结构与三层前向正交网络相同，不同的是正交网络的隐单元处理函数采用带参数的Sigmoid函数的复合正交函数，该神经网络算法简单，学习收敛速度快，并能对网络的函数参数进行优化，为非线性系统的动态建模提供了一种方法。仿真实验表明，网络在用于过程的自适应逆控制中具有很高的控制精度和自适应学习能力。该动态神经网络比其它神经网络具有更强的建模能力与学习适应性，有线性、非线性逼近精度高等优异特性，非常适合于实时控制系统。     

遗传算法优化 BP 神经网络的信号检测

针对传统方法单独采用 BP 神经网络算法易陷入局部极值的问题,提出了遗传算法优化 BP 神经网络,并将其应用于 MIMO -OFDM系统信号检测中。该方法将遗传算法与神经网络相结合,用遗传算法优化神经网络初始值,使 BP 网络快速收敛到最优解,避免了由初始值的随机选取而带来的检测误码。仿真结果表明所提出的方法在误码率方面有比较好的性能。     

一种多轨道动态隧道技术训练BP网络算法

BP算法训练神经网络具有训练易陷入局部极小,收敛速度缓慢的缺点.将动态隧道技术运用到训练BP网络上,可以有效的改进BP网络易陷入局部极小的缺陷,但是传统的动态隧道技术训练BP网络算法在隧道方向具有不稳定性.提出一种多轨道动态隧道技术训练BP网络算法,在原基础上,增加了隧道搜索方向,考察搜索方向之间的相互影响,有效的改进了原算法的搜索效率.还对提出的新算法进行了性能分析,通过两种数据集进行了实验验证,证明其性能优于传统的动态隧道技术训练BP网络算法.     

遗传算法优化BP神经网络的混沌时间序列预测

为提高BP神经网络预测模型对混沌时间序列的预测精度,将改进的遗传算法和BP神经网络结合,提出了一种基于改进遗传算法优化BP神经网络的混沌时间序列预测方法。利用改进的遗传算法优化BP神经网络的权值和阈值,训练BP神经网络预测模型求得最优解。将该模型应用到几个典型的非线性系统进行预测仿真,验证了该算法的有效性,与BP神经网络预测模型的预测结果进行了比较,仿真结果表明该方法对混沌时间序列具有更好的非线性拟合能力和更高的预测精度。     

基于进化策略的动态递归神经网络建模与辨识

提出一种采用进化策略实现动态递归神经网络结构、权重和自反馈增益同时进化的学习算法,以及自适应进化机制,与改进ＢＰ６算法相结合,各取所长,形成集成化动态递归神经网络建模辨识算法,实际应用结果表明,所提出算法不仅明显提高了动态递是 网络模型辨识自救的收敛速度格精度,而且实现了动态递归网络的全自动优化设计。     

Neural network for quadratic optimization with bound constraints

A recurrent neural network is presented which performs quadratic optimization subject to bound constraints on each of the optimization variables. The network is shown to be globally convergent, and conditions on the quadratic problem and the network parameters are established under which exponential asymptotic stability is achieved. Through suitable choice of the network parameters, the system of differential equations governing the network activations is preconditioned in order to reduce its sensitivity to noise and to roundoff errors. The optimization method employed by the neural network is shown to fall into the general class of gradient methods for constrained nonlinear optimization and, in contrast with penalty function methods, is guaranteed to yield only feasible solutions.