一种量子衍生神经网络模型

为提高神经网络的逼近能力,通过在普通BP网络中引入量子旋转门,提出了一种新颖的量子衍生神经网络模型. 该模型隐层由量子神经元组成,每个量子神经元携带一组量子旋转门,用于更新隐层的量子权值,输入层和输出层均为普通神经元. 基于误差反传播算法设计了该模型的学习算法. 模式识别和函数逼近的实验结果验证了提出模型及算法的有效性.     

一类反馈过程神经元网络模型及其学校算法

提出了一种基于权函数基展开的反馈过程神经元网络模型．该模型为三层结构，由输入层、过程神经元隐层和过程神经元输出层组成．输入层完成系统时变过程信号的输入及隐层过程神经元输出信号向系统的反馈；过程神经元隐层用于完成输入信号的空间加权聚合和激励运算，同时将输出信号传输到输出层并加权反馈到输入层；输出层完成隐层输出信号的空间加权聚集和对时间的聚合运算以及系统输出．文中给出了学习算法，并以旋转机械故障自动诊断问题为例验证了模型和算法的有效性．     

基于模拟退火算法的改进极限学习机

传统的极限学习机作为一种有监督的学习模型,任意对隐藏层神经元的输入权值和偏置进行赋值,通过计算隐藏层神经元的输出权值完成学习过程.针对传统的极限学习机在数据分析预测研究中存在预测精度不足的问题,提出一种基于模拟退火算法改进的极限学习机.首先,利用传统的极限学习机对训练集进行学习,得到隐藏层神经元的输出权值,选取预测结果评价标准.然后利用模拟退火算法,将传统的极限学习机隐藏层输入权值和偏置视为初始解,预测结果评价标准视为目标函数,通过模拟退火的降温过程,找到最优解即学习过程中预测误差最小的极限学习机的隐藏层神经元输入权值和偏置,最后通过传统的极限学习机计算得到隐藏层输出权值.实验选取鸢尾花分类数据和波士顿房价预测数据进行分析.实验发现与传统的极限学习机相比,基于模拟退火改进的极限学习机在分类和回归性能上都更优.     

前向代数神经网络的函数逼近理论及学习算法

文中对ＭＰ神经元模型进行了推广,定义了多项代数神经元、多项式代数神经网络,将多项式代数融入代数神经网络,分析了前向多项式代数神经网络函数逼近能力及理论依据,设计出了一类双输入单输出的前向４层多层式代数神经网络模型,由该模型构成的网络能够逼近于给定的二元多项式到预定的精度。给出了在Ｐ－ａｄｉｃ意义下的多项式代数神经网络函数逼近整体学习算法,在学习的过程中,不存在局部极小,通过实例表明,该算法有效,最     

一种基于Walsh变换的反馈过程神经网络模型及学习算法

提出了一种带有反馈输入的过程式神经元网络模型，模型为三层结构，其隐层和输出层均为过程神经元．输入层完成连续信号的输入，隐层完成输入信号的空间聚合和向输出层逐点映射，并将输出信号逐点反馈到输入层；输出层完成隐层输出信号的时、空聚合运算和系统输出．在对权函数实施Walsh变换的基础上给出了该模型的学习算法．仿真实验证明了模型和算法的有效性．     

Reactive程序及其相应神经网络上的学习率计算

论述了Ｒｅａｃｔｉｖｅ程序及其对应的具有ＴＬＵＳ（Ｔｈｒｅｓｈｏｌｄ Ｌｏｇｉｃ Ｕｎｉｔｓ）结构的神经网络的权修改规则，并讨论了Ｑ值反馈延迟加强学习方法。     

基于模型输出敏感度分析法的动态RBF神经网络设计

针对一般RBF神经网络在学习过程中网络结构不能改变的问题,提出一种动态RBF神经网络结构设计方法．算法的实质是利用敏感度分析法（SA）对神经网络模型的输出进行分析,通过判断隐含层神经元的输出对整个网络输出的影响,删除RBF隐含层中冗余的神经元,实现对神经网络的动态修剪．非线性函数逼近结果及动态系统建模结果表明,该动态RBF神经网络具有较好的性能;与最小RBF（MRBF）神经网络相比,采用所提算法能得到更小的检测误差和更短的训练时间,最终网络结构紧凑．     

基于序列输入的神经网络模型算法及应用

为提高神经网络的逼近能力,提出一种基于序列输入的神经网络模型及算法。模型隐层为序列神经元,输出层为普通神经元。输入为多维离散序列,输出为普通实值向量。先将各维离散输入序列值按序逐点加权映射,再将这些映射结果加权聚合之后映射为隐层序列神经元的输出,最后计算网络输出。采用Levenberg-Marquardt算法设计了该模型学习算法。仿真结果表明,当输入节点和序列长度比较接近时,模型的逼近能力明显优于普通神经网络。     

一种改进的RAN学习算法

提出一种资源分配网络(Resource Allocating Network, RAN)的新的学习算法,称为IRAN算法.该算法通过一个包含4部分的新颖性准则来增加网络中的隐层神经元,通过误差下降速率来删除冗余神经元并采用基于GivensQR分解的递归最小二乘算法进行输出层权值的更新.通过函数逼近领域中2个Benchmark问题的仿真结果表明,与RAN,RANEKF,MRAN算法相比,IRAN算法不但学习速度快,而且可以得到更为精简的网络结构.     

一种适用于电力系统谐波分析的神经网络模型

提出一种适用于电力系统谐波分析的神经网络模型,为求解该神经网络权值参数.推导了基于非线性优化思想的权值参数自适应学习算法.该算法同步调整隐层神经元和输出层神经元权值参数,以优化神经网络能量函数.为了验证算法的有效性,应用该算法对电力系统谐波进行仿真实倒研究.仿真结果表明,利用该算法能以非常高的精度同步求解电力系统基波频率以及各次谐波的幅值和相位.     

结合进化计算的神经认知机

福岛邦彦的神经认知机（Neocognitron）能用于有变形或位移的模式识别。然而,在原始神经认知机中许多参数及训练模式都是凭经验设定。该文旨在系统地剖析神经认知机的工作机制并有效地将进化计算结合进来以提高其性能。首先,通过分析神经认知机的学习机制指出原始神经认知机忽略了训练模式间的相关性分析;然后,结合协作进化为神经认知机搜索合理的参数和训练模式。实验结果表明了该文方法的有效性。在为参和训练模式是由进行计算获得而非人为设定的,所以这种改进型神经认知机有更广阔的应用领域。     

Introducing rotation invariance into the Neocognitron model for target recognition

This model introduces rotation invariance into the Neocognitron model by way of rotation layers. The most likely orientation of the target is detected and used for further pattern classification using an algorithm similar to that for the Neocognitron model. The visual target recognition capability of this model is demonstrated.     

语音识别中基于神经网络的矢量量化方法

本文对神经网络语音识别中的语音特征提取、网络结构以及学习算法进行了初步的研究,提出了一种用于时特征矢量量化的简化和改进的自组织神经网络模型ＶＱＮＮ。ＶＱＮＮ中引入了动态规划法估计语音样本矢量的码本类中心初值并确定网络的初始权矩阵,可构造出２５６个量化等级的码本矢量。该方法具有较强的鲁棒性且矢量量化过程简单迅速。对２８个地名的语音量化识别实验结果表明了这种量化方法对时识别的有性。     

迭代学习初态问题研究及其在机器人中的应用

在迭代学习控制研究中,通常的一个假设是：系统每次迭代初态与理想初态相等。这个假设对于系统的稳定性分析是非常重要的,因为迭代初态扰动将直接影响到迭代学习控制的跟踪精度。针对此问题,本文提出了一种新的迭代学习控制方法：利用遗忘因子控制初态偏移的影响,在保证系统迭代收敛的前提下,同时对初态进行学习,使其最终趋于理想初态,从而实现非线性系统对期望轨线的严格跟踪。最后,本文所提出方法在机器人模型中的仿真应用表明了本文方法的有效性。     

个性化Web页教材动态构建的初步研究

本文针对静态设计的Web页教材无法满足学习者个性化学习需要的问题，研究应用“学习对象”的概念动态地构建个性化的Web页教材。这种技术将教学内容分解成若干独立、可重复使用的片段，即学习对象。在远程教学的实施过程中，根据学习者的学习特性动态地将它们组合起来，构建与学习者各自学习风格、学习需求相匹配的个性化的Web页教材。文章首先介绍学习对象的概念及其学习对象在网上的存储与管理，然后讨论学习对象的粒度问题和Web页内容关联的问题，最后报告我们的初步实验结果。     

Globally convergent algorithms with local learning rates

A novel generalized theoretical result is presented that underpins the development of globally convergent first-order batch training algorithms which employ local learning rates. This result allows us to equip algorithms of this class with a strategy for adapting the overall direction of search to a descent one. In this way, a decrease of the batch-error measure at each training iteration is ensured, and convergence of the sequence of weight iterates to a local minimizer of the batch error function is obtained from remote initial weights. The effectiveness of the theoretical result is illustrated in three application examples by comparing two well-known training algorithms with local learning rates to their globally convergent modifications.     

Incremental backpropagation learning networks

How to learn new knowledge without forgetting old knowledge is a key issue in designing an incremental-learning neural network. In this paper, we present a new incremental learning method for pattern recognition, called the "incremental backpropagation learning network", which employs bounded weight modification and structural adaptation learning rules and applies initial knowledge to constrain the learning process. The viability of this approach is demonstrated for classification problems including the iris and the promoter domains.     

Reducing the computational effort of optimal process controllers for continuous state spaces by using incremental learning and post-decision state formulations

Multistage optimization problems that are represented by Markov Decision Processes (MDPs) can be solved by the approach of Dynamic Programming (DP). However, in process control problems involving continuous state spaces, the classical DP formulation leads to computational intractability known as the ‘curse of dimensionality’. This issue can be overcome by the approach of Approximate Dynamic Programming (ADP) using simulation-based sampling in combination with value function approximators replacing the traditional value tables. In this paper, we investigate different approaches of ADP in the context of a deep cup drawing process, which is simulated by a finite element model. In applying ADP to the problem, Artificial Neural Networks (ANNs) are created as global parametric function approximators to represent the value functions as well as the state transitions. For each time step of the finite time horizon, time-indexed function approximations are built. We compare a classical DP approach to a backward ADP approach with batch learning of the ANNs and a forward ADP approach with incremental learning of the ANNs. In the batch learning mode, the ANNs are trained from temporary value tables constructed by exhaustive search backwards in time. In the incremental learning mode, on the other hand, the ANNs are initialized and then improved continually using data obtained by stochastic sampling of the simulation moving forward in time. For both learning modes, we obtain value function approximations with good performance. The cup deep drawing process under consideration is of medium model complexity and therefore allows us to apply all three methods and to perform a comparison with respect to the achieved efficiency and the associated computational effort as well as the decision behavior of the controllers.     

求解非线性悬梁方程行波解的变分算法Mountain Pass算法

§１．引言 经典的求解微分方程初一边值问题的算法，无不要求我们事先对解的某些性质有所了解．例如利用Ｒｕｎｇｅ－Ｋｕｔｔａ法解四阶常微分方程，我们至少需要知道解及其１—３阶导数的初值；又如广义牛顿法则对于初始点的选取有较高的要求，等等．如果事先对所求之解没有足够的了解，就给求解一般（特别是非线性）问题带来困难． １９７３年由 Ａｍｂｒｏｓｅｔｔｉ和 Ｒａｂｉｎｏｗｉｔｚ提出的 Ｍｏｕｎｔａｉｎ Ｐａｓｓ理论（一译“爬山理论”，又译“山径理论”）现己发展成为讨论非线性泛函临界值问题的一个重要方法之一．其几…     

Obtaining Fault Tolerant Multilayer Perceptrons Using an Explicit Regularization

When the learning algorithm is applied to a MLP structure, different solutions for the weight values can be obtained if the parameters of the applied rule or the initial conditions are changed. Those solutions can present similar performance with respect to learning, but they differ in other aspects, in particular, fault tolerance against weight perturbations. In this paper, a backpropagation algorithm that maximizes fault tolerance is proposed. The algorithm presented explicitly adds a new term to the backpropagation learning rule related to the mean square error degradation in the presence of weight deviations in order to minimize this degradation. The results obtained demonstrate the efficiency of the learning rule proposed here in comparison with other algorithm.