有理式二阶前馈型神经网络

文章提出了二阶有理式多层前馈神经网络的数学模型。有理式多层神经网络的思想来源于函数逼近理论中的有理式逼近。有理式前馈神经网络模型是传统前俯神经网络模型的推广，能有效地求解函数逼近问题。文章给出了有理式多层神经网络的学习算法，即误差反传播学习算法。就计算复杂度而言，有理式神经网络的学习算法与传统的多层神经网络反传播算法是同阶的。文章还给出了函数逼近和模式识别两个应用实例，实验结果说明二阶有理式多层神经网络在解决传统的问题上是有效的。     

多层随机神经网络em算法

本文讨论了基于微分流形框架随机神经网络学习算法，称为ｅｍ学习算法；对于多层随机神经网络模型，我们从微分流形的角度分析它的对偶平坦流形结构，描述ｅｍ算法对于多层前馈随机神经网络模型学习算法实现和加速技术。     

角分类前向神经网络研究

角分类算法是一类快速分类算法，以其为学习算法的前向神经网络，在信息检索，特别是在线信息检索等领域有着重要的应用．通过对CC4学习算法的分析，揭示了泛化距离在角分类神经网络中的意义．针对文本数据的快速分类要求，提出了新的角分类网络TextCC．为解决数据的多类别判定问题，给出了新的角分类神经网络隐层与输出层之间连接矩阵的学习算法．实验表明，新的角分类神经网络隐层与输出层之间连接矩阵的学习算法有效，TextCC的分类精度教CC4的分类精度显著的提高．     

多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足，提出一种多层前向神经网络的快速学习算法，它不仅符合生物神经网络的基本特征，而且算法简单，学习收敛速度快，具有线性，非线性逼近精度高等特性，以二杆机构手逆运动学建模作为应用实例，仿真结果表明该方法是有效的，其算法与收敛速度更优于BP网络。     

一种新的模糊神经元网络学习方法

提出了一种模糊神经元网络的学习算法即利用多 层多层模糊IF/THEN规则表达专家知识的神经网络学习方法，在以此构造的基于多源信息融合的分类系统中，采用了多层模糊IF/THEN规则进行分类。为了处理模糊语言值，提出了一种能够控制模糊输入矢量的神经网络体系结构。该方法能够对非线性实间隔矢量和模糊矢量进行分类，工程实验表明，此学习算法是切实可行的。     

基于多通道卷积神经网络的非结构化道路路表分析

针对传统卷积神经网络CNN(Convolutional Neural Networks)在训练或学习时只利用图像的灰度信息,丢失了颜色信息的问题,提出一种基于多通道卷积神经网络来提取特征的方法。该算法对于每一个颜色通道分别学习一个多层卷积神经网络,并且在输出层通过全连通的神经网络进行融合。算法首先建立三个多层卷积神经网络来学习图像三个通道(RGB,HSV,Lab等)的特征;然后将三个颜色通道的特征赋予不同的权值(权值和为1)后进行融合,得到样本的特征;最后通过一个全连通的神经网络得到分类结果。实验结果分析表明,该算法相比于传统卷积神经网络能取得更高的准确性,同时能更好地适应复杂多变的环境。     

深度学习研究综述

深度学习是一类新兴的多层神经网络学习算法,因其缓解了传统训练算法的局部最小性,引起机器学习领域的广泛关注。首先论述了深度学习兴起渊源,分析了算法的优越性,并介绍了主流学习算法及应用现状,最后总结了当前存在的问题及发展方向。     

量子小波神经网络及其在漏钢预报中的应用

针对传统神经网络收敛速度慢,收敛精度低,以及用于模式识别泛化能力差的问题。提出了将量子神经网络与小波理论相结合的量子小波神经网络模型。该模型隐层量子神经元采用小波基函数的线性叠加作为激励函数,称之为多层小波激励函数,这样隐层神经元既能表示更多的状态和量级,又能提高网络收敛精度和速度。给出了网络学习算法。并以之在漏钢预报波形识别中的应用验证了该模型和学习算法的有效性。     

基于跨越连接的多层前馈神经网络结构分析

任何连接方式的神经网络总可以归结为跨越连接网络。在传统多层前馈神经网络算法的基础上,提出了完全全连接神经网络的概念,给出了基于跨越连接的多层前馈神经网络算法。通过分析多层前馈神经网络的误差函数,从理论上证明了：相对于无跨越连接网络,基于跨越连接的多层前馈神经网络能以更加简洁的结构逼近理想状态。最后,用一个隐层神经元解决了XOR问题。     

基于改进卷积神经网络的多标记分类算法

良好的特征表达是提高模型性能的关键，然而当前在多标记学习领域，特征表达依然采用人工设计的方式，所提取的特征抽象程度不高，包含的可区分性信息不足。针对此问题，提出了基于卷积神经网络的多标记分类模型ML_DCCNN，该模型利用卷积神经网络强大的特征提取能力，自动学习能刻画数据本质的特征。为了解决深度卷积神经网络预测精度高，但训练时间复杂度不低的问题，ML_DCCNN利用迁移学习方法缩减模型的训练时间，同时改进卷积神经网络的全连接层，提出双通道神经元，减少全连接层的参数量。实验表明，与传统的多标记分类算法以及已有的基于深度学习的多标记分类模型相比，ML_DCCNN保持了较高的分类精度并有效地提高了分类效率，具有一定的理论与实际价值。     

基于多级神经元的神经网络及其在分类中的应用

为了提高前向神经网络的分类能力,该文将多级神经元扩展使用到多层感知器的输出层和隐含层中,并提出了量子神经网络的学习算法。通过一个实际的分类问题实验验证了该方法的有效性。实验表明,无论输出层或隐含采用多级神经元,都可以带来分类能力的提高。而当输出层采用多级神经元时,还可以导致连接的减少和训练速度的加快。     

FTART2神经网络及其规则抽取研究

本文提出了一种基于域理论的自适应谐振神经网络算法ＦＴＡＲＴ２,算法将自适应谐振理论和域理论的优点有要结合,不需人为设置隐层神经元,学习速度快,精度高。此外,本文不提出了一种从ＦＴＡＲＴ２网络中抽取符号规则的方法。实验结果表明,使用该方法抽取出的符号规则可理解性好,预测精度高,可以很好地描述了ＦＴＡＲＴ２网络的性能。     

神经网络中克服局部最小的BP—EP混合算法

人工神经网络在很多领域有着成功的应用,神经网络有许多学习算法,BP算法是前向多层神经网络的典型算法,但BP算法有时会陷入局部最小解,进化规划（EP）是一种随机优化技术,它可以发现全局成解,当网络学习过程陷入局部最小时,利用EP确定BP算法中的学习速率,使学习过程逸出局部最小,结合具体例子给出了算法实现的具体操作步骤和实验结果。     

基于曲面形状误差的多层前向神经网络快速训练

如何显著提高多层前向神经网络训练速度一直是国内外共同关注的一个问题，而解决这个问题的关键在于充分了解导致现有网络训练算法训练效率低的根本原因．文中首先提出了网络输出函数的曲面形状误差和偏移误差的概念，并将指导网络训练的平方和误差分解为这两种误差，进而分析了这两种误差的主要特性，给出了导致现有算法网络训练效率低的主要原因，最后提出了新的网络训练误差模型和具体的网络训练算法．典型实例计算结果表明，与目前常用的网络训练算法相比，该文所提出的算法可显著减少网络训练时间。     

动态修正下的神经网络盲均衡算法

针对现有的神经网络算法收敛速度慢以及精确度低的问题,通过对传统的神经网络盲均衡算法以及前馈神经网络进行研究,提出一种具有自动修正效果的前馈神经网络盲均衡算法。该算法通过对算法中的代价函数以及迭代步长因子进行改进,来提高算法的收敛速度;通过对所获得的目标信号进行修正处理,来对所获取的信息进行修正。实验结果表明,该算法的实验结果与预期效果基本相符,具有可靠性强、收敛速度快的优势。     

基于快速自编码的RELM的文本分类

正则化极限学习机RELM是一种单隐层前馈神经网络,不同于传统神经网络算法,RELM通过随机设置输入层权重和偏置值,可以快速求得输出层权重,并且引入正则化因子,能够提高模型的泛化能力。针对文本信息高维度、多类别的问题,提出一种基于快速自编码的正则化极限学习机FARELM。将由RELM改进后的快速自编码神经网络对样本进行无监督特征学习,并对特征提取后的数据使用RELM进行分类。实验表明,FA-RELM的学习速度和分类精度较优。     

前馈神经网络凸优化算法及其仿真应用

该文利用凸函数共轭性质中的Young不等式构造前馈神经网络优化目标函数。这个优化目标函数若固定权值，对隐层输出来说为凸函数；若固定隐层输出，对权值来说为凸函数。因此，此目标函数不存在局部最小。此目标函数的优化速度快，大大提高了前馈神经网络的学习效率。仿真试验表明，与传统算法如误差反向传播算法或BP算法和含势态因子(Momentum factor)的BP算法及现有的分层优化算法相比，新算法能加快收敛速度，并降低学习误差。利用这种快速算法对矿体进行仿真预测，取得了良好效果。     

A kind of BP neural network algorithm based on grey interval

In order to improve the learning ability of a forward neural network, in this article, we incorporate the feedback back-propagation (FBBP) and grey system theory to consider the learning and training of a neural network new perspective. By reducing the input grey degree we optimise the input of the neural network to make it more rational for learning and training of neural networks. Simulation results verified the efficiency of the proposed algorithm by comparing its performance with that of FBBP and classic back-propagation (BP). The results showed that the proposed algorithm has the characteristics of fast training and strong ability of generalisation and it is an effective learning method.     

Extraction of voltage harmonics using multi-layer perceptron neural network

This paper presents a harmonic extraction algorithm using artificial neural networks for Dynamic Voltage Restorers (DVRs). The suggested algorithm employs a feed forward Multi Layer Perceptron (MLP) Neural Network with error back propagation learning to effectively track and extract the 3rd and 5th voltage harmonics. For this purpose, two different MLP neural network structures are constructed and their performances compared. The effects of hidden layer, supervisors and learning rate are also presented. The proposed MLP Neural Network algorithm is trained and tested in MATLAB program environment. The results show that MLP neural network enable to extract each harmonic effectively.