基于快速神经网络算法的非特定人语音识别

提出一种用于语音识别的改进的快速神经网络算法 ,即动态不等步长的误差分段学习算法。将步长看作误差和网络节点输出的函数 ,对各权值按不同步长进行动态调整 ,并将其应用于一个基于前馈神经网络模型的非特定人语音识别系统。实验表明 ,该算法比传统 BP算法在训练速度上可提高十几倍 ,训练出的语音识别网络系统具有较高的识别率     

模糊B样条基神经网络磁共振图像分割方法

针对磁共振图像分割的特点,提出了一种基于模糊B样条基神经网络的磁共振图像分割方法。该方法采用B样条基函数作为模糊隶属函数,利用神经网络实现模糊推理,并采用反向误差传播算法对网络进行训练。实验结果表明,这种基于模糊B样条基神经网络的磁共振图像分割方法与普通神经网络分割方法相比,具有更高的分割精度和更快的训练收敛速度。     

前向多层神经网络的步长搜索调整研究

该文在深入分析BP神经网络的步长调整算法的基础上,提出了函数变步长搜索法。实践证明,这种算法既能保证在网络训练中,随着迭代次数的增加,误差改变速度减慢的态势,又能在每次迭代中,求出近似最优步长,从而有效提高网络的学习速度,收敛到全局最小点的概率也更大。     

用于文本分类的均值原型网络

文本分类是自然语言处理的基本任务之一。该文在原型网络基础上,提出了按时序移动平均方式集成历史原型向量的均值原型网络,并将均值原型网络与循环神经网络相结合,提出了一种新的文本分类模型。该模型利用单层循环神经网络学习文本的向量表示,通过均值原型网络学习文本类别的向量表示,并利用文本向量与原型向量的距离训练模型并预测文本类别。与己有的神经网络文本分类方法相比,模型在训练和预测过程中有效利用了样本间的特征相似关系,并具有网络深度浅、参数少的特点。该方法在多个公开的文本分类数据集上取得了最好的分类准确率。     

基于免疫神经网络的陀螺仪漂移预测

BP神经网络可用于预测陀螺飘移误差，但容易陷入局部极值，训练速度很慢。针对上述缺点，该文提出了一种基于免疫算法的神经网络，以样本输出为抗原、神经网络权值矩阵为抗体，通过克隆、变异、抑制等步骤找到最优抗体，将最优抗体用于陀螺仪漂移预测。仿真试验显示，免疫训练算法能有效优化网络权值，基于该模型的漂移预测精度较高。     

基于免疫神经网络的陀螺仪漂移预测

BP神经网络可用于预测陀螺飘移误差，但容易陷入局部极值，训练速度很慢。针对上述缺点，该文提出了一种基于免疫算法的神经网络，以样本输出为抗原、神经网络权值矩阵为抗体，通过克隆、变异、抑制等步骤找到最优抗体，将最优抗体用于陀螺仪漂移预测。仿真试验显示，免疫训练算法能有效优化网络权值，基于该模型的漂移预测精度较高。     

基于非迭代训练层次循环神经网络的快速文本分类算法

基于神经网络的文本分类算法需要较长的训练时间,难以满足在线文本分类的需求.针对这种情况,提出基于非迭代训练层次循环神经网络的快速文本分类算法.为循环神经网络设计了对抗训练模型,缓解层次注意力网络的过拟合问题.给出一种循环神经网络的非迭代训练算法,对激活函数进行线性逼近,快速地学习网络连接的权重.实验结果表明,在英文和中文文本的情况下,采用该算法均获得了理想的分类准确率,并且大幅度地减少了训练时间.     

基于SOM的散乱数据点集的B样条曲面重建

利用自组织映射神经网络(SOM)技术对散乱数据点集进行B样条曲面重建时,往往存在网络学习时间过长和学习效果不理想等问题。提出了一种新的神经元初始化方法和分块学习算法,该算法首先运用主元素分析方法(PCA)对散乱数据进行分块,将拓扑结构为四边形的输出层神经元初始化在每块散乱数据的最小二乘平面上进行网络学习和训练,将分块学习得到的各网格曲面拼接成一个整体;然后对该整体网格曲面的边界和内部单独学习,得到一张逼近待重建曲面的双线性B样条曲面;最后对该B样条曲面误差进行了修正。实例证明,该算法可以明显地减少SOM网络学习时间,并改善网络学习效果。     

基于神经网络的强化学习算法研究

BP神经网络在非线性控制系统中被广泛运用，但作为有导师监督的学习算法，要求批量提供输入输出对神经网络训练，而在一些并不知道最优策略的系统中，这样的输入输出对事先并无法得到，另一方面，强化学习从实际系统学习经验来调整策略，并且是一个逼近最优策略的过程，学习过程并不需要导师的监督。提出了将强化学习与BP神经网络结合的学习算法-RBP模型。该模型的基本思想是通过强化学习控制策略，经过一定周期的学习后再用学到的知识训练神经网络，以使网络逐步收敛到最优状态。最后通过实验验证了该方法的有效性及收敛性。     

基于模糊B 样条基函数神经网络控制的交流伺服系统

采用Ｂ样条函数八为模糊隶属函数,利用神经网络实现模糊推理,提出一种模糊Ｂ样条基品数神网络,并将其用于交流伺服系统的控制。仿真结果表明,该控制方法响应速度快,鲁棒性强,是一种有效的控制方法。     

A one-layer recurrent neural network for support vector machine learning.

This paper presents a one-layer recurrent neural network for support vector machine (SVM) learning in pattern classification and regression. The SVM learning problem is first converted into an equivalent formulation, and then a one-layer recurrent neural network for SVM learning is proposed. The proposed neural network is guaranteed to obtain the optimal solution of support vector classification and regression. Compared with the existing two-layer neural network for the SVM classification, the proposed neural network has a low complexity for implementation. Moreover, the proposed neural network can converge exponentially to the optimal solution of SVM learning. The rate of the exponential convergence can be made arbitrarily high by simply turning up a scaling parameter. Simulation examples based on benchmark problems are discussed to show the good performance of the proposed neural network for SVM learning.     

Speed up Training of the Recurrent Neural Network Based on Constrained optimization Techniques

In this paper,the constrained optimization technique for a substantial problem is explored,that is accelerating training the globally recurrent neural network.Unlike most of the previous methods in feedforware neural networks,the authors adopt the constrained optimization technique to improve the gradientbased algorithm of the globally recurrent neural network for the adaptive learning rate during tracining.Using the recurrent network with the improved algorithm,some experiments in two real-world problems,namely,filtering additive noises in acoustic data and classification of temporat signals for speaker identification,have been performed.The experimental results show that the recurrent neural network with the improved learning algorithm yields significantly faster training and achieves the satisfactory performance.     

改进型内部递归神经网络在QSAR中的应用

药物定量构效关系一直是药物现代化研究中的关键问题。现已发现具有一定特征或一定作用机制的同源活性化合物,其主要结构因素与活性强度间存在着一定的关系。通过运用计算机建模仿真、神经元计算等方法,可以搜索化学组成与药效相随变动规律,以及预测未知化合物的生物活性。本文将内部递归神经网络应用到药物定量构效关系建模中。为了提高其网络的性能,本文提出了改进型内部递归神经网络,具体策略包括:运用动量法和自适应学习率改进网络的学习能力,采用提早结束法改善网络的泛化能力,并成功地将其应用于除草剂的定量构效关系建模中。     

用B样条神经网络设计自适应模糊控制器*

本文提出一种可用于设计自适应模糊控制器的模化Ｂ样条神经网络，并给出了合适的训练算法。由于这种网络在每次训练时仅需对少量权重进行调整，因此构成的模糊控制器学习速率快，可应用于过程控制中。本文最后以电厂中过热汽温的控制为例，说明本文的设计方法是有效的。     

支持向量机理论与基于规划的神经网络学习算法

近年来支持向量机（SVM）理论得到国外学者高度的重视,普遍认为这是神经网络学习的新研究方向,近来也开始得到国内学者的注意。该文将研究SVM理论与神经网络的规划算法的关系,首先指出,Vapnik的基于SVM的算法与该文作者1994年提出的神经网络的基于规划的算法是等价的,即在样本集是线性可分的情况下,二者求得的均是最大边缘（maximal margin)解。不同的是,前者（通常用拉格郎日乘子法）求解的复杂性将随规模呈指数增长,而后者的复杂性是规模的多项式函数。其次,作者将规划算法化为求一点到某一凸集上的投影,利用这个几何的直观,给出一个构造性的迭代求解算法－－“单纯形迭代算法”。新算法有很强的几何直观性,这个直观性将加深对神经网络（线性可分情况下）学习的理解,并由此导出一个样本集是线性可分的充分必要条件。另外,新算法对知识扩充问题,给出一个非常方便的增量学习算法。最后指出,“将一些必须满足的条件,化成问题的约束条件,将网络的某一性能,作为目标函数,将网络的学习问题化为某种规划问题来求解”的原则,将是研究神经网络学习问题的一个十分有效的办法。     

基于异卷积神经网络的入侵检测

网络已经深入人们生产生活的各领域。然而,由于存在大量的非法入侵行为,网络所面临的安全问题也越来越严峻。因此,检测入侵以保障网络安全是一个亟待解决的问题。针对此,本文提出一种基于异卷积神经网络的入侵检测方法,采用深度学习的卷积神经网络模型完成对入侵数据的特征提取,然后根据2种不同结构的卷积神经网络训练数据,从而得到最优模型,用以判断网络入侵。最后,使用KDD 99数据进行对比实验,验证本文方法的准确性和精确性。     

A multiobjective genetic algorithm for obtaining the optimal size of a recurrent neural network for grammatical inference

Grammatical inference has been extensively studied in recent years as a result of its wide field of application, and in turn, recurrent neural networks have proved themselves to be a good tool for grammatical inference. The learning algorithms for these neural networks, however, have been far less studied than those for feed-forward neural networks. Classical training methods for recurrent neural networks suffer from being trapped in local minimal and having a high computational time. In addition, selecting the optimal size of a neural network for a particular application is a difficult task. This suggests that the problems of developing methods to determine optimal topologies and new training algorithms should be studied.In this paper, we present a multi-objective evolutionary algorithm which is able to determine the optimal size of recurrent neural networks in any particular application. This is specially analyzed in the case of grammatical inference: in particular, we study how to establish the optimal size of a recurrent neural network in order to learn positive and negative examples in a certain language, and how to determine the corresponding automaton using a self-organizing map once the training has been completed.     

复杂运动目标的学习与识别

针对复杂运动目标识别问题,提出了一个基于反馈型随机神经网络的运动认脸与物体的自动识别系统,该系统具有强大学习能力,运动目标检测与识别快速准确等特点,在对该的核心－反馈型二元网络进行深入分析的基础上,提出了一种适合于该神经网络模型的高效渐进式Boltzmann学习算法,实验结果表明,该识别系统性能优异,在几个方面超过了eTrue公司的TrueFace人脸识别系统。     

基于深度卷积神经网络的车型识别

传统的基于卷积神经网络的车型识别算法存在识别相似车型的准确率不高,以及在网络训练时只能使用图像的灰度图从而丢失了图像的颜色信息等缺陷。对此,提出一种基于深度卷积神经网络(Deep Convolution Neural Network,DCNN)的提取图像特征的方法,运用深度卷积神经网络对背景较复杂的车型进行网络训练,以达到识别车型的目的。文中采用先进的深度学习框架Caffe,基于AlexNet结构提出了深度卷积神经网络的模型,分别对车型的图像进行训练,并与传统CNN算法进行比较。实验结果显示,DCNN网络模型的准确率达到了96.9%,比其他算法的准确率更高。     

Neural Learning from Unbalanced Data

This paper describes the result of our study on neural learning to solve the classification problems in which data is unbalanced and noisy. We conducted the study on three different neural network architectures, multi-layered Back Propagation, Radial Basis Function, and Fuzzy ARTMAP using three different training methods, duplicating minority class examples, Snowball technique and multidimensional Gaussian modeling of data noise. Three major issues are addressed: neural learning from unbalanced data examples, neural learning from noisy data, and making intentional biased decisions. We argue that by properly generated extra training data examples around the noise densities, we can train a neural network that has a stronger capability of generalization and better control of the classification error of the trained neural network. In particular, we focus on problems that require a neural network to make favorable classification to a particular class such as classifying normal(pass)/abnormal(fail) vehicles in an assembly plant. In addition, we present three methods that quantitatively measure the noise level of a given data set. All experiments were conducted using data examples downloaded directly from test sites of an automobile assembly plant. The experimental results showed that the proposed multidimensional Gaussian noise modeling algorithm was very effective in generating extra data examples that can be used to train a neural network to make favorable decisions for the minority class and to have increased generalization capability.