基于免疫算法的前馈神经网络权值设计

提出了一种基于免疫算法的前馈神经网络设计方法(ImmuneFeed-forwardNeuralNetwork,INN),用于实现前馈神经网络权值空间的搜索。初步实验结果显示免疫算法具有快速学习网络权值的和脱离局部极小点的能力。     

基于改进遗传算法的神经网络优化设计

针对前馈式多层神经网络的结构和权值设计方法的缺陷,提出了一种基于改进遗传算法的前馈神经网络自动优化设计方法,用以完成对网络结构和权值空间的搜索,提高神经网络的收敛速度和搜索全局最优解的能力。通过实验表明,该算法的收敛速度较快,过程稳定,而且泛化能力也较好。故此方法在神经网络设计上能够发挥较好的作用。     

基于Zernike矩和前馈神经网络的图像配准

提出一种基于Zernike矩和多级前馈神经网络的图像配准算法。利用低阶Zernike矩表征图像的全局几何特征,通过多级前馈神经网络学习图像所经历的旋转、缩放和平移等仿射变换参数,在一级前馈神经网络的基础上添加二级前馈网络,以提高参数估计精度。仿真结果表明,与基于DCT系数的神经网络算法相比,该算法旋转、缩放和平移估计精度较高,对噪声的鲁棒性较强。     

一种基于群体智能的人工神经网络学习算法

将群体智能优化理论引入一种前馈式人工神经网络——径向基函数（RBF）神经网络的学习训练过程,提出了基于智能微粒群算法的RBF神经网络学习算法,并与传统RBF神经网络学习算法进行了比较,实验结果证明了该方法的有效性。     

Lagrange优化的LMK神经网络盲多用户检测

提出一种基于LMK准则的前馈神经网络盲多用户检测算法,给出算法的代价函数和约束条件,利用Lagrange方法对带约束的代价函数进行优化,获得前馈神经网络网络权值的迭代公式,从而实现神经网络盲多用户检测。仿真结果表明,新算法具有良好的误码率性能和收敛速度。     

Lagrange优化前馈神经网络盲多用户检测算法

提出了一种前馈神经网络盲多用户检测算法.该算法利用恒模准则构造了一个代价函数,给出了该算法的约束条件.利用增广Lagrange函数方法对带约束的代价函数进行优化求解,获得前馈神经网络网络权值和参数的迭代公式,从而实现了盲多用户检测.利用计算机对增广Lagrange函数优化的前馈神经网络盲多用户检测算法进行仿真.仿真结果表明,新算法具有较好的误码率及收敛特性等性能.     

基于反传混沌粒子群训练的前馈神经网络研究

为了解决前馈神经网络训练收敛速度慢、易陷入局部极值及对初始权值依赖性强等缺点, 提出了一种基于反传的无限折叠迭代混沌粒子群优化(ICMICPSO)算法训练前馈神经网络(FNNs)参数。该方法在充分利用BP算法的误差反传信息和梯度信息的基础上, 引入了ICMIC混沌粒子群的概念, 将ICMIC粒子群(ICMICPS)作为全局搜索器, 梯度下降信息作为局部搜索器来调整网络的权值和阈值, 使得粒子能够在全局寻优的基础上对整个空间进行搜索。通过仿真实验与多种算法进行对比, 结果表明在训练和泛化能力上ICMICPSO-BPNN方法明显优于其他算法。     

基于跨越连接的多层前馈神经网络结构分析

任何连接方式的神经网络总可以归结为跨越连接网络。在传统多层前馈神经网络算法的基础上,提出了完全全连接神经网络的概念,给出了基于跨越连接的多层前馈神经网络算法。通过分析多层前馈神经网络的误差函数,从理论上证明了：相对于无跨越连接网络,基于跨越连接的多层前馈神经网络能以更加简洁的结构逼近理想状态。最后,用一个隐层神经元解决了XOR问题。     

基于隐层生长策略的前馈神经网络隐层性能评测

针对最佳平方逼近三层前馈神经网络模型,讨论了以逐一增加隐单元方式构建隐层时隐层性能的评测方法。分析了影响前馈神经网络性能的相关空间,引入了表示空间、误差空间、目标空间和耗损空间的概念,研究了每个隐单元的误差补偿性能,提出了网络隐层性能的评测参数,并通过对传统BP算法和正交化算法的考查验证了其合理性与有效性。     

基于迭代容积卡尔曼滤波的神经网络训练算法

针对现有应用非线性滤波算法对神经网络进行训练时存在精度不足的问题,提出了一种基于迭代容积卡尔曼滤波的神经网络训练算法。首先,将前馈神经网络各个节点的连接权值和偏置作为状态向量,建立前馈神经网络的状态空间模型。其次,利用Spherical-Radial准则生成容积点,并依据Gauss-Newton迭代策略来优化量测更新过程中获取的状态估计值和状态估计误差协方差,通过容积卡尔曼滤波估计精度的改善,提升神经网络节点的连接权值和偏置的训练效果。理论分析和仿真实验结果验证了所提算法的可行性和有效性。     

基于模糊进化规划和分层方法的神经网络设计方法

本文提出一种模糊进化规划，用于前向神经网络的设计．该方法通过对神经元的部分解群体的进化，缩短了个体的编码长度，显著地减轻了计算量，同时这种方法不但能够在很大程度上简化适应值的计算，更重要的是能够降低适应值空间的复杂性，从而能够加速进化算法收敛到全局最优点．仿真结果显示，本文提出的算法能够有效抑制进化规划算法初期收敛的发生，有效地提高多层前向神经网络收敛精度，并可获得更为简洁的网络结构．     

一种前馈神经网的快速算法

前馈神经网已经被大量用于非线性信号处理． 经典反向传播算法是一种标准的前馈网络学习算法,但是,对许多应用,反向传播算法的收 敛速度却很慢．本文根据对网络的非线性单元进行线性化而提出一种新的算法,该算法在非 线性信号处理中在精度和收敛速度方面都优于传统的反向传播算法．     

前馈神经网络的新学习算法研究及其应用

为了提高多层前馈神经网络的权的学习效率。通过引入变尺度法,提出一种新的学习算法。理论上新算法不仅具有变尺度优化方法的一切优点,而且也能起到Kick—Out学习算法中动量项及修正项的相同作用,同时又克服了动量系数及修正项系数难以适当选择的困难。仿真试验证明了新学习算法用于非线性动态系统建模时的有效性。     

Training pi-sigma network by online gradient algorithm with penalty for small weight update

A pi-sigma network is a class of feedforward neural networks with product units in the output layer. An online gradient algorithm is the simplest and most often used training method for feedforward neural networks. But there arises a problem when the online gradient algorithm is used for pi-sigma networks in that the update increment of the weights may become very small, especially early in training, resulting in a very slow convergence. To overcome this difficulty, we introduce an adaptive penalty term into the error function, so as to increase the magnitude of the update increment of the weights when it is too small. This strategy brings about faster convergence as shown by the numerical experiments carried out in this letter.     

利用遗传算法改善前馈神经网络容错性

针对前馈神经网络的断路故障,将网络容错性的改善转化为一个最小优化问题,并通过遗传算法进化求解来获取容错性好、泛化能力强的网络,该方法不需给网络增加额外冗余,也不需修改网络训练算法,较好地保持了网络结构、训练算法与容错处理的独立性,实验表明,该方法在两个基准测试问题上均取了很好的效果。     

Design of neural networks for fast convergence and accuracy:dynamics and control

A procedure for the design and training of artificial neural networks, used for rapid and efficient controls and dynamics design and analysis for flexible space systems, has been developed. Artificial neural networks are employed, such that once property trained, they provide a means of evaluating the impact of design changes rapidly. Specifically, two-layer feedforward neural networks are designed to approximate the functional relationship between the component/spacecraft design changes and measures of its performance or nonlinear dynamics of the system/components. A training algorithm, based on statistical sampling theory is presented, which guarantees that the trained networks provide a designer-specified degree of accuracy in mapping the functional relationship. Within each iteration of this statistical-based algorithm, a sequential design algorithm is used for the design and training of the feedforward network to provide rapid convergence to the network goals. Here, at each sequence a new network is trained to minimize the error of previous network. The proposed method should work for applications wherein an arbitrary large source of training data can be generated. Two numerical examples are performed on a spacecraft application in order to demonstrate the feasibility of the proposed approach.     

双并联前向过程神经网络及其应用研究

为克服多层前向过程神经网络收敛速度慢、精度低的问题,提出了一种双并联前向过程神经网络模型.在输入空间中引入一组合适的函数正交基,将输入函数和网络权函数表示为该组正交基的展开形式,并利用基函数的正交性简化网络聚合运算过程.给出了相应的学习算法,并以飞机发动机状态监控中发动机排气温度的预测为例验证了模型和算法的有效性.     

Evolutionary extreme learning machine

Extreme learning machine (ELM) [G.-B. Huang, Q.-Y. Zhu, C.-K. Siew, Extreme learning machine: a new learning scheme of feedforward neural networks, in: Proceedings of the International Joint Conference on Neural Networks (IJCNN2004), Budapest, Hungary, 25-29 July 2004], a novel learning algorithm much faster than the traditional gradient-based learning algorithms, was proposed recently for single-hidden-layer feedforward neural networks (SLFNs). However, ELM may need higher number of hidden neurons due to the random determination of the input weights and hidden biases. In this paper, a hybrid learning algorithm is proposed which uses the differential evolutionary algorithm to select the input weights and Moore-Penrose (MP) generalized inverse to analytically determine the output weights. Experimental results show that this approach is able to achieve good generalization performance with much more compact networks.     

Boundedness and Convergence of Online Gradient Method with Penalty for Linear Output Feedforward Neural Networks

This paper investigates an online gradient method with penalty for training feedforward neural networks with linear output. A usual penalty is considered, which is a term proportional to the norm of the weights. The main contribution of this paper is to theoretically prove the boundedness of the weights in the network training process. This boundedness is then used to prove an almost sure convergence of the algorithm to the zero set of the gradient of the error function.     

基于正则前馈神经网络的股票时间序列数据库的知识发现

将正则最小二乘前馈网络学习算法应用干时间序列的知识发现。正则最小二乘算法将正则化网络和节点删除算法结合起来，大大提高了前馈网络的泛化性能。将其应用于股票时间序列数据库的暂态规则的知识发现．发现过程包括时间序列数据库预处理和数据挖掘(规则发现)两部分。实验结果表明预测效果良好。