新型NN训练算法及其在优化设计中的应用

提出采用GA-BP贝叶斯算法来建立优化设计近似模型。该算法是一种新型神经网络训练算法,它以提高网络的泛化性能为主旨,其训练目标是获取对应于后验分布最大值的权值向量。以方形扁平封装器件为例,采用GA-BP贝叶斯算法建立了温度场分析的近似模型,基于它对封装散热结构进行了优化,并与L-M BP算法进行了对比。结果表明,基于GA-BP贝叶斯算法的温度场分析近似模型,对芯片中心温度的预测精度更为理想,并且受随机因素的影响很小。GA-BP贝叶斯算法克服了现有网络训练算法对初始权值敏感、建模精度不高的缺点,在工程优化设计中具有实用价值。     

前馈神经网络在汽车悬架设计中的应用*

提出采用GABP贝叶斯算法来建立悬架运动学分析近似模型。该算法是一种新型前馈神经网络训练算法,它以提高网络的泛化性能为主旨,其训练目标在于获取对应于后验分布最大值的权值向量。以双横臂式前独立悬架为例,采用GABP贝叶斯算法建立了以车轮接地点侧向最大滑移量为输出的运动学分析近似模型,并与LMBP算法、多项式回归和广义回归神经网络这三种方法进行了比较。结果表明,基于GABP贝叶斯算法的近似模型的预测精度明显高于其他几种模型,并且受随机因素的影响很小。     

基于ANN的动态系统状态方程辨识建模仿真

对系统辨识原理、基于神经网络（ANN）的动态系统辨识进行了分析,针对动态系统辨识模型描述的复杂性,为简化ANN辨识建模的输入／输出关系的表达,提高算法的简洁性,采用了状态方程辨识模型,并给出了基于ANN的动态系统状态方程辨识模型。为比较分析不同网络结构的辨识建模效果及网络模型泛化能力,针对三种不同网络结构方案进行了辨识建模仿真研究。仿真结果最示,基于ANN的动态系统状态方程模型的辨识建模是有效的,并且简单合理的网络结构方案,可提高网络辨识模型的泛化能力。     

一种粒子群优化的神经网络综合训练算法研究

基于粒子群优化算法,将灰色关联分析法应用到BP神经网络隐层结点数的确定,实现了BP神经网络结构的优化;然后将贝叶斯正则法应用于神经网络训练,进一步提高网络的泛化性能。仿真结果表明泛化能力明显优于其他改进的BP算法,拟合效果较好。     

基于条件对数似然函数导数的贝叶斯网络分类器优化算法

通常基于鉴别式学习策略训练的贝叶斯网络分类器有较高的精度,但在具有冗余边的网络结构之上鉴别式参数学习算法的性能受到一定的限制.为了在实际应用中进一步提高贝叶斯网络分类器的分类精度,该文定量描述了网络结构与真实数据变量分布之间的关系,提出了一种不存在冗余边的森林型贝叶斯网络分类器及其相应的FAN学习算法(Forest-Augmented Naive Bayes Algorithm),FAN算法能够利用对数条件似然函数的偏导数来优化网络结构学习.实验结果表明常用的限制性贝叶斯网络分类器通常存在一些冗余边,其往往会降低鉴别式参数学习算法的性能;森林型贝叶斯网络分类器减少了结构中的冗余边,更加适合于采用鉴别式学习策略训练参数;应用条件对数似然函数偏导数的FAN算法在大多数实验数据集合上提高了分类精度.     

一种用于汽车发动机故障诊断的贝叶斯网络模型

在汽车发动机故障诊断领域,由于设备内部的复杂性和导致故障的不确定因素,使得解决不确定性问题成为目前发动机故障诊断的首要问题;文章提出了一种用于解决不确定性问题的贝叶斯网络模型,该模型的网络结构学习采用了基于簇的搜索算法;为了获得更高准确率的故障诊断结果,模型加入了对当前信息集的采用,进行结构和参数的在线学习,改进了网络结构,网络通过概率传播算法,推理出产生故障的原因节点;在实例中表明,该模型能准确有效地解决发动机故障诊断中存在的不确定性问题,并与专家系统故障诊断模型做出比较,验证了基于该算法的贝叶斯网络模型在信息不确定性条件下能够提高诊断的准确率。     

基于LM算法的在线自适应RBF网结构优化算法

针对LM算法不能在线训练RBF网络以及RBF网络结构设计算法中存在的问题,提出一种基于LM算法的在线自适应RBF网络结构优化算法.该算法引入滑动窗口和在线优化网络结构的思想,滑动窗口的引入既使得LM算法能够在线训练RBF网络,又使得网络对学习参数的变化具有更好的鲁棒性,并且易于收敛.在线优化网络结构使得网络在学习过程中能够根据训练样本的训练误差和隐节点的相关信息,在线自适应调整网络结构,跟踪非线性时变系统的变化,使网络维持最为紧凑的结构,以保证网络的泛化性能.最后通过仿真实验验证了所提出算法的性能.     

基于贝叶斯网络的说话人识别研究

基于贝叶斯网络基础理论,并针对与文本无关说话人识别任务,构造了一种用于说话人识别的贝叶斯网络结构,给出了该网络模型的构造和参数估计方法,提出了进行说话人识别时进行推理和分类预测的算法。通过与传统的混合高斯模型(GMM)的实验类比,该贝叶斯网络模型能够在同样的训练和测试数据情况下识别率平均相对提高30％。     

一种基于依赖分析的贝叶斯网络结构学习算法

贝叶斯网络是不确定性环境下知识表示和推理的有效工具之一.现有的贝叶斯网络结构学习算法不同程度地存在学习效率偏低的问题,为此,本文提出一种高效而且可靠的贝叶斯网络结构学习算法ISOR.首先使用最大生成树算法和启发式切割集搜索算法以确定网络中所有可能的边,然后结合碰撞识别方法和启发式打分-搜索方法识别出所有边的方向,最后进行冗余边检验.与当前基于依赖分析的其它算法相比,该算法有效降低条件独立性检验的次数和阶数.算法分析和应用于Alarm网络的实验结果均表明,算法ISOR具有良好的性能.     

基于贝叶斯网络技术的软件缺陷预测与故障诊断

如何进一步地提高软件的可靠性和质量是我们十分关注的问题,而前期软件缺陷和后期软件故障的诊断都是控制质量的关键手段,由此我们提出了基于贝叶斯的神经网络。基于对贝叶斯网络和神经网络理论的分析,发现贝叶斯网络和神经网络各自的优点与不足,利用贝叶斯具有前向推理的优势进行故障诊断,利用神经网络学习算法能够处理更复杂网络结构的优势来积累专家知识,最后提出了贝叶斯网络与概率神经网络相结合的模型,该模型可以更好地兼顾软件缺陷与故障诊断两个方面。     

数据增强策略在人脸识别技术实现的研究

以小数据集为样本进行卷积神经网络模型的训练过程,容易出现所得到的神经网络模型泛化能力不足的问题。传统的处理方法大都通过数据增强的方式来提高训练数据的样本总数。本文选取多个网络模型进行对比实验,验证不同神经网络在训练过程中是否使用数据随机增强方式的模型识别准确率提高的效果,为如何选取小数据集样本训练神经网络提供参考。     

Analysis of learning rate and momentum term in backpropagation neural network algorithm trained to predict pavement performance

Pavement performance modeling is a critical component of any pavement management system (PMS) decision-making process. A characteristic feature of pavement performance models is that they are formulated and estimated statistically from field data. The statistical modeling can only consider no more than a few of the parameters, in a simplified manner, and in some cases various transformations of the original data. Lately, artificial neural networks (ANNs) were applied to pavement performance modeling. The ANNs offer a number of advantages over the traditional statistical methods, caused by their generalization, massive parallelism and ability to offer real time solutions. Unfortunately, in pavement performance modeling, only simulated data were used in ANNs environment. In this paper, real pavement condition and traffic data and specific architecture are used to investigate the effect of learning rate and momentum term on back-propagation algorithm neural network trained to predict flexible pavement performance. On the basis of the analysis it is concluded that an extremely low learning rate around 0.001–0.005 combination and momentum term between 0.5–0.9 do not give satisfactory results for the specific data set and the architecture used. It is also established that the learning rate and momentum term, and validation data can be used to identify when over-learning is taking place in a training set.     

GOFAM: a hybrid neural network classifier combining fuzzy ARTMAP and genetic algorithm

Fuzzy ARTMAP (FAM), which is a supervised model from the adaptive resonance theory (ART) neural network family, is one of the conspicuous neural network classifier. The generalization/performance of FAM is affected by two important factors which are network parameters and presentation order of training data. In this paper we introduce a genetic algorithm to find a better presentation order of training data for FAM. The proposed method which is the combination of genetic algorithm with Fuzzy ARTMAP is called Genetic Ordered Fuzzy ARTMAP (GOFAM). To illustrate the effectiveness of GOFAM, several standard datasets from UCI repository of machine learning databases are experimented. The results are analyzed and compared with those from FAM and Ordered FAM which is used to determine a fixed order of training pattern presentation to FAM. Experimental results demonstrate the performance of GOFAM is much better than performance of Fuzzy ARTMAP and Ordered Fuzzy ARTMAP. In term of network size, GOFAM performs significantly better than FAM and Ordered FAM.     

基于改进胶囊神经网络的遥感影像分类

针对遥感影像卷积神经网络（CNN）分类会导致特征信息丢失及泛化能力差的问题,提出一种基于通道注意力和混合注意力改进的胶囊神经网络分类模型。首先,为了胶囊神经网络能够适应于大尺寸输入图像,在特征提取模块中使用2个最大池化层;其次,为了提高分类精度,分别将SENet注意力和CBAM注意力加在特征提取模块的最后一层去改进特征提取模块;最后,将样本集随机地划分为训练集、验证集和测试集,进一步使用训练集和验证集训练模型,测试集测试模型,使用AID数据集对模型分类的泛化能力进行验证。实验结果表明:基于SENet网络改进的胶囊神经网络的准确率与Kappa系数要高于其他模型,泛化能力也优于其他模型,本文提出的模型的总体分类精度和泛化能力有了显著性提升,从而验证了本文方法的可行性和使用性。     

Evolving neural network using real coded genetic algorithm for permeability estimation of the reservoir

In this work we investigate how artificial neural network (ANN) evolution with genetic algorithm (GA) improves the reliability and predictability of artificial neural network. This strategy is applied to predict permeability of Mansuri Bangestan reservoir located in Ahwaz, Iran utilizing available geophysical well log data. Our methodology utilizes a hybrid genetic algorithm–neural network strategy (GA–ANN). The proposed algorithm combines the local searching ability of the gradient–based back-propagation (BP) strategy with the global searching ability of genetic algorithms. Genetic algorithms are used to decide the initial weights of the gradient decent methods so that all the initial weights can be searched intelligently. The genetic operators and parameters are carefully designed and set avoiding premature convergence and permutation problems. For an evaluation purpose, the performance and generalization capabilities of GA–ANN are compared with those of models developed with the common technique of BP. The results demonstrate that carefully designed genetic algorithm-based neural network outperforms the gradient descent-based neural network.     

应用递归神经网络学习周期运动吸引子轨迹

采用递归神经网络学习非线性周期运动的吸引子轨迹．网络的拓扑结构基于非线性系统的状态空间表达式,网络权值通过时序反向传播算法调整．探讨了不同样本轨迹和网络结构对递归神经网络预测性能的影响．神经网络的性能评估建立在多条测试样本轨迹的基础上,可以更为客观地评价递归神经网络预测性能．对van der Pol方程的仿真结果表明:网络的泛化能力对训练样本轨迹的依赖性较强,从不同训练轨迹上得到的递归神经网络性能差异较大;需要选择合适的递归神经网络结构参数以提高神经网络的泛化能力．     

基于样本个体差异性的深度神经网络训练方法

深度神经网络目前在许多任务中的表现已经达到甚至超越了人类的水平,但是其泛化能力和人类相比还是相去甚远.如何提高网络的泛化性,一直是重要的研究方向之一.围绕这个方向开展的大量卓有成效的研究,从扩展增强训练数据、通过正则化抑制模型复杂度、优化训练策略等角度,提出了很多行之有效的方法.这些方法对于训练数据集来说都是某种全局性质的策略,每一个样本数据都会被平等的对待.但是,每一个样本数据由于其携带的信息量、噪声等的不同,在训练过程中,对模型的拟合性能和泛化性能的影响也应该是有差异性的.针对是否一些样本在反复的迭代训练中更倾向于使得模型过度拟合,如何找到这些样本,是否可以通过对不同的样本采用差异化的抗过拟合策略使得模型获得更好的泛化性能等问题,提出了一种依据样本数据的差异性来训练深度神经网络的方法,首先使用预训练模型对每一个训练样本进行评估,判断每个样本对该模型的拟合效果;然后依据评估结果将训练集分为易使得模型过拟合的样本和普通的样本两个子集;最后,再使用两个子集的数据对模型进行交替训练,过程中对易使得模型过拟合的子集采用更强有力的抗过拟合策略.通过在不同的数据集上对多种深度模型进行的一系列实验...     

3D CNNs与LSTMs在行为识别中的组合及其应用

基于机器视觉的人体运动识别在视频监控、虚拟现实、医疗护理等诸多领域发挥着重要的作用.结合深度学习中的三维卷积神经网络和长短期记忆神经网络,提出一种融合模型,并与另外两种行为识别模型——长效递归卷积网络和时空域卷积网络,进行了对比,利用公开的KTH数据集,进行了实验测试.实验表明,提出的融合模型与长效递归卷积网络和时空域卷积网络相比,对于人体行为图像或视频数据集的学习效果明显,论证了模型的泛化性能和鲁棒性.     

基于卷积神经网络的图像数据增强算法

提升卷积神经网络的泛化能力和降低过拟合的风险是深度卷积神经网络的研究重点。遮挡是影响卷积神经网络泛化能力的关键因素之一,通常希望经过复杂训练得到的模型能够对遮挡图像有良好的泛化性。为了降低模型过拟合的风险和提升模型对随机遮挡图像识别的鲁棒性,提出了激活区域处理算法,在训练过程中对某一卷积层的最大激活特征图进行处理后对输入图像进行遮挡,然后将被遮挡的新图像作为网络的新输入并继续训练模型。实验结果表明,提出的算法能够提高多种卷积神经网络模型在不同数据集上的分类性能,并且训练好的模型对随机遮挡图像的识别具有非常好的鲁棒性。     

COMBINING A RADIAL BASIS NEURAL NETWORK WITH TIME SERIES ANALYSIS TECHNIQUES TO PREDICT MANUFACTURING PROCESS PARAMETERS

The accurate prediction of the values of critical quality parameters of a product during the production stage is a key factor in the success of a manufacturing operation. Neural network algorithms have been used to successfully predict process parameter values. However, techniques to further improve the predictive capability of neural network models are sought. Thus, an analysis was conducted to determine if the predictive capability of the network would he improved if the prediction from a time series model of a manufacturing process parameter were included in the training data set of a radial basis function neural network model. A manufacturing process data set was evaluated, and the use of the time series model prediction significantly improved the neural network's prediction of critical process parameters. Often in a manufacturing environment, the collection of adequate amounts of data for network training is difficult. This integrated technique offers potential for improving network performance without collecting additional data.