用改进的遗传算法训练神经网络以研究有机磷杀虫剂的构效关系

结合改进的遗传算法（ＩＧＡ）和误差反传算法（ＢＰＡ）训练人工神经元网络，用以对三元不对称有机磷构效关系进行研究。作者保留了ＢＰＡ作为权值基本训练方法简捷的优点，又利用遗传算法的全局搜索性，以克服ＢＰＡ陷入局部极小点的缺陷，使两者集成在一起，通过因子α调整遗传算法和误差反传算法的结合程度，发挥各自的长处，达到训练过程的优化。通过实例表明建立了更准确的数学模型，具有较好的实用价值。     

等离子喷涂过程的BP神经网络自适应控制*

分析了ＢＰ网络辨识器和控制器的常规训练方法存在的不足之处及其限制，提出了一种通过网格辨识器的灵敏度网络反传对象的误差来训练ＢＰ网络控制器的新方法，根据ＢＰ网络放自适应控制的相容性，提出了一种新的ＢＰ网络自适应控制结构，并利用ＢＰ网络辩识器的灵敏度网络训练ＢＰ网络控制器的思想，来调整ＢＰ网络控制器的参数，等离子喷涂过程控制模型的训练研究表明其效果良好。     

基于遗传算法和梯度下降的RBF神经网络组合训练方法

在使用基于梯度下降的径向基函数（RBF）神经网络学习方法时，由于网络目标函数误差曲面极其复杂，因而产生了网络收敛速度慢，且容易陷入局部极小，网络初始值的设置对网络训练结果影响很大等问题。基于遗传算法的训练方法能够摆脱陷入局部最优的困扰，但遗传算法的局部搜索能力不够，从而影响网络的训练效果。为了解决上述问题，在研究两种算法特点的基础上，提出一种组合训练方法，用提出的训练方法对UCI中的部分数据集进行了仿真实验，并将实验结果与传统方法下的结果进行了比较，实验结果表明新方法是有效的。     

基于多隐层Gibbs采样的深度信念网络训练方法

深度信念网络（Deep belief network，DBN）作为一类非常重要的概率生成模型，在多个领域都有着广泛的用途.现有深度信念网的训练分为两个阶段，首先是对受限玻尔兹曼机（Restricted Boltzmann machine，RBM）层自底向上逐层进行的贪婪预训练，使得每层的重构误差最小，这个阶段是无监督的；随后再对整体的权值使用有监督的反向传播方法进行精调.本文提出了一种新的DBN训练方法，通过多隐层的Gibbs采样，将局部RBM层组合，并在原有的逐层预训练和整体精调之间进行额外的预训练，有效地提高了DBN的精度.本文同时比较了多种隐层的组合方式，在MNIST和ShapeSet以及Cifar10数据集上的实验表明，使用两两嵌套组合方式比传统的方法错误率更低.新的训练方法可以在更少的神经元上获得比以往的训练方法更好的准确度，有着更高的算法效率.     

基于图论方法构造神经网络

本文讨论神经网络的构造问题，说明利用图论中的Ｔａｌｌｅｇｅｎｓ定理可训练任何误差反向传播种经网络和稳定的非反传神经网络．     

BP网络的全局最优学习算法

一、概述自从1985年,Rumechere和Mclellatd领导的PDP研究小组提出多层前读网络的误差反传训练算     

一种用于神经网络训练的隐节点校正算法

误差反传算法被广泛用于多层前馈神经网络的训练，但该算法的收敛性问题并没有解决，这导致训练后的网络泛化能力一般很差，本文研究了这一问题，并基于神经网络映射定理提出了一种用于训练网络逼近单输出函数的隐节点校正（ＨＮＲ）算法，这在神经辨识领域是有用的，因为大多数工业对象都是输入单输出的，我们对ＨＮＲ算法的收敛性和泛化能力作了理论上的研究，仿真实验和催化重整过程建模中的应用实例表明该算法在一定条件下具有很     

一种基于误差的径向基神经网络学习方法

提出了一种基于误差的径向基神经网络竞争学习法，它以网络的输出误差为度量，通过竞争调节神经元中心，RLS算法训练网络的权值，并利用IPL算法判断网络神经元的冗余性。仿真结果表明，该算法提高了网络的输出精度，简化了网络结构，其运算速度也较快。     

一种新的对角回归神经网络快速学习算法

提出一种新的动态对角回归神经网络学习算法－局部动态误差反传算法（LDBP），该算法定义了一种新的局部均方差函数，并为回归单元建立一种新的学习结构。如果估计出各层的期望输出值，多层回归网络便可分解成一组自适应单元（Adaline），而每个单元可通过二次优化方法进行训练。采用可在有限步人找出全局最优解的共轭梯度法（CG）进行寻优。由于学习过程采用超线性搜索，大大减少了循环步数和计算时间。     

以高维输入神经网络作为生产线产品质量模型

探索用高维输入的神经网络对复杂工业生产过程的建模方法。针对网络输入变量维数较高的特点,提出一种ＢＰ网络各权重独立训练的分散训练方法。该方法用附加大惯性项来协调各个权重的优化训练,运用非线性优化方法调节步长。与用普通的ＢＰ训练方法相比,用该方法训练高维输入的ＢＰ网络具有较快的收敛速度和较高的模型精度,较好地解决了实际生产过程的产品质量模型问题。     

基于支持向量机的信用卡欺诈检测

针对信用卡使用过程中存在的欺诈消费行为,运用支持向量机(Support Vector Machine,SVM)建立信用卡欺诈检查模型,以期取得较好的预测分类能力。本文从模型建立、模型评估、模型分析较为详细地介绍了模型的设计与实现过程,并将此模型分类结果与ID3+BP神经网络分类结果进行比较,验证了该模型的可行性和SVM分类的有效性。     

A stochastically motivated random initialization of pattern classifying MLPs

In this contribution, a new stochastically motivated random weight initialization scheme for pattern classifying Multi-Layer Perceptrons (MLPs) is presented. Its first aim is to ensure that all training examples and all nodes have an equal opportunity to contribute to the improvement of the network during the Error Back-Propagation (EBP) training. In addition, it pursues input scale invariance: if the network inputs were substituted by rescaled inputs, the initialization procedure should provide an equally well performing network. Finally, the new algorithm can initialize MLPs comprising both concentric (e.g., Gaussian) and squashing (e.g., sigmoidal) nodes. Experiments demonstrate that networks initialized using the proposed method train better than networks initialized using a standard random initialization scheme.Research Fellow of the National Fund for Scientific Research.     

Classification of remotely-sensed image data using artificial neural networks

Abstract

Abstract. Artificial neural networks have been used recently for speech and character recognition. Their application for the classification of remotely-sensed images is reported in this Letter. Remotely sensed image data are usually large in size and spectral overlaps among classes of ground objects are common. This results in low convergence performance of the Back-Propagation Algorithm in a neural network classifier. A Blocked Back-Propagation (BB-P) algorithm was proposed arid described in this Letter. It improved convergence performance and classification accuracy.     

AVLR-EBP: A Variable Step Size Approach to Speed-up the Convergence of Error Back-Propagation Algorithm

A critical issue of Neural Network based large-scale data mining algorithms is how to speed up their learning algorithm. This problem is particularly challenging for Error Back-Propagation (EBP) algorithm in Multi-Layered Perceptron (MLP) Neural Networks due to their significant applications in many scientific and engineering problems. In this paper, we propose an Adaptive Variable Learning Rate EBP algorithm to attack the challenging problem of reducing the convergence time in an EBP algorithm, aiming to have a high-speed convergence in comparison with standard EBP algorithm. The idea is inspired from adaptive filtering, which leaded us into two semi-similar methods of calculating the learning rate. Mathematical analysis of AVLR-EBP algorithm confirms its convergence property. The AVLR-EBP algorithm is utilized for data classification applications. Simulation results on many well-known data sets shall demonstrate that this algorithm reaches to a considerable reduction in convergence time in comparison to the standard EBP algorithm. The proposed algorithm, in classifying the IRIS, Wine, Breast Cancer, Semeion and SPECT Heart datasets shows a reduction of the learning epochs relative to the standard EBP algorithm.     

基于核的最小均方误差改进算法及其应用

传统基于核的最小均方误差(KMSE)算法在进行人脸识别时,需要求解多个方程,计算量较大。为此,提出一种用于多类识别的基于核的多元最小均方误差(KMSEMC)算法,该算法只需一个方程即可。在AR人脸库上的实验及数据分析表明,该算法在时间复杂度和识别率等方面计算量较小,在识别性能和计算时间上都优于同类传统算法。     

基于无抽样小波变换和MCE训练的纹理分类

提出了一种新的纹理分类的方法,该方法把基于无抽样小波变换的特征提取器和基于欧几里得距离的分类器进行了合并。把方差、偏态系数、峰态系数、三者的联合及谱直方图作为描述纹理图像不相重叠的图像窗的特征。一个使用线性转换矩阵的特征提取器对分类导向的特征做进一步的提取。利用基于欧几里得距离的分类器,每个纹理图像不相重叠的图像窗被确定到属于它的那一类。基于最小分类错误训练方法的特征提取器和分类器设计的合并使分类错误达到了最小化。使用该方法对25类BrodTex纹理图像进行了评估,分类精确度达到90%以上。     

Data-driven decomposition for multi-class classification

This paper presents a new study on a method of designing a multi-class classifier: Data-driven Error Correcting Output Coding (DECOC). DECOC is based on the principle of Error Correcting Output Coding (ECOC), which uses a code matrix to decompose a multi-class problem into multiple binary problems. ECOC for multi-class classification hinges on the design of the code matrix. We propose to explore the distribution of data classes and optimize both the composition and the number of base learners to design an effective and compact code matrix. Two real world applications are studied: (1) the holistic recognition (i.e., recognition without segmentation) of touching handwritten numeral pairs and (2) the classification of cancer tissue types based on microarray gene expression data. The results show that the proposed DECOC is able to deliver competitive accuracy compared with other ECOC methods, using parsimonious base learners than the pairwise coupling (one-vs-one) decomposition scheme. With a rejection scheme defined by a simple robustness measure, high reliabilities of around 98% are achieved in both applications.     

最小化TPE一元回归分类在人脸识别中的应用

针对人脸识别中现有回归分类方法不能很好地考虑总类内投影误差的问题,提出了一种基于最小化总投影误差（TPE）的一元回归分类方法。通过各个类投影矩阵计算所有训练数据的类内投影误差矩阵,并且借助特征分解找到一元旋转矩阵;利用一元旋转矩阵将每个训练图像向量转换为新的向量空间,并计算出每个类的特定投影矩阵;根据一元旋转子空间中各个类的最小投影误差来完成人脸的识别。在两大通用人脸数据库FEI和FERET上的实验验证了所提方法的有效性及鲁棒性,实验结果表明,相比其他几种先进的回归分类方法,所提方法取得了更好的识别效果。     

基于灰色Elman神经网络软件可靠性预测模型

针对当前软件可靠性预测模型在随机性和动态性较强的可靠性现场数据中存在预测精度波动比较大、适应性比较差的问题,提出一种基于灰色Elman神经网络的软件可靠性预测模型。首先使用灰色GM（1,1）模型对失效数据进行预测,弱化其随机性;然后采用Elman神经网络对GM（1,1）的预测残差进行建模预测,捕捉其动态性变化规律;最后将GM（1,1）预测值和Elman神经网络残差预测值相结合得到最终的预测结果。使用航班查询系统的现场失效数据集进行了模型仿真实验,并将灰色Elman神经网络预测模型与反向传播（BP）神经网络、Elman神经网络预测模型进行比较,其对应的均方误差（MSE）和平均相对误差（MRE）分别为105.1、270.9、207.5和0.0011、0.0021、0.0016,并且灰色Elman神经网络预测模型的误差均为最小值。实验结果表明该模型具有较好的预测精度。     

多尺度中心误差补偿二值模式的表情识别

针对Gabor小波与局部二值模式（Local Binary Pattern,LBP）在表情识别上的局限性,提出了一种多尺度中心误差补偿二值模式（Center Error Compensation Binary Pattern,CECBP）的表情识别方法。对预处理后的人脸表情图像创建多尺度的金字塔,用中心误差补偿二值模式对金字塔中的各层图像进行编码,分块提取各层编码后的直方图序列作为特征,用支持向量机（Support Vector Machine,SVM）进行分类。在JAFFE、Cohn-Kanade以及Pain Expression表情库上的交叉验证表明,该方法可以抑制噪声,具有较高的识别率和较快的识别速度,比传统的Gabor小波以及LBP更具有优势。