一种激励函数可调的快速BP算法

本文通过分析激励函数在传统BP算法中的作用，在激励函数中引入了可调参数，在力求保持传统BP算法简洁性的基础上，使其参数动态可调，有效的加快了网络学习的收敛速度。     

基于改进BP网络模型的公路流量预测

针对公路客货运量预测的问题,对现有的常用预测方法进行研究,提出改进BP神经网络预测模型。该模型首先采用动态陡度因子改变激励函数的陡峭程度,改善激励函数的响应特征,得到更好的非线性表达能力;其次利用附加动量因子,通过将以前的经验进行积累,降低了神经网络对误差曲面的局部细节敏感性,较好地遏制网络陷于局部最小;再次采取变学习率学习算法,先给一个较大初值,随着学习过程的进行,学习率不断减小,网络趋于稳定。改进BP算法既可以找到更优解,又可以缩短训练时间。结合某地区的公路运量相关数据,对改进BP神经网络预测模型进行了验证。实验结果表明,该模型的相对误差和迭代次数都取得了较大的改善,对公路客货运量预测很有效。     

基于改进 BP 网络模型的公路流量预测

针对公路客货运量预测的问题,对现有的常用预测方法进行研究,提出改进 BP 神经网络预测模型.该模型首先采用动态陡度因子改变激励函数的陡峭程度,改善激励函数的响应特征,得到更好的非线性表达能力;其次利用附加动量因子,通过将以前的经验进行积累,降低了神经网络对误差曲面的局部细节敏感性,较好地遏制网络陷于局部最小;再次采取变学习率学习算法,先给一个较大初值,随着学习过程的进行,学习率不断减小,网络趋于稳定.改进 BP 算法既可以找到更优解,又可以缩短训练时间.结合某地区的公路运量相关数据,对改进 BP 神经网络预测模型进行了验证.实验结果表明,该模型的相对误差和迭代次数都取得了较大的改善,对公路客货运量预测很有效     

一种可调参数前馈神经网络的快速学习算法

针对传统BP神经网络权值算法速度慢、易陷入局部极小等缺陷，在权值平衡算法的基础上，提出了一种激励函数参数可调的前馈神经网络，并给出了相应的权值和参数快速学习算法。该算法运用该文提出的非单调启发式模拟退火搜索法实现网络权值和参数的快速搜索。实验表明，该算法不仅能明显提高网络的学习速度，而且可较好地避免学习过程陷入局部极小点而导致学习失败。     

可调参数前馈神经网络及其启发式模拟退火法

针对传统BP神经网络权值算法速度慢、易陷入局部极小等缺陷，在权值平衡算法的基础上，提出一种激励函数参数可调的前馈神经网络，并给出了相应的权值和参数快速学习算法；该算法运用文章提出的非单调启发式模拟退火搜索法实现网络权值和参数的快速搜索；实验表明，该算法不仅能明显提高网络的学习速度。而且可较好地避免学习过程陷入局部极小点而导致学习失败。     

基于深度学习的肺癌患者颈部淋巴结良恶性辅助超声诊断

深度学习技术辅助超声影像诊断可以提高检测的精度和效率。提出一种用于超声图像分割的改进UNet卷积网络。该网络将噪声激励函数NHReLU和NHSeLU代替ReLU噪声激励函数,对成本函数增加权重参数。通过在两个尺度上预测,很好地处理了超声图像中标注区域尺寸变化的问题,提高对淋巴结超声图像分割效果。使用VGG、ResNet和DenseNet等网络预测淋巴结病灶区域的良恶性。实验表明,分割网络性能优异,Dice系数达到0.90,模型能够很好防止过拟合。在小样本下预测良恶性各指标都得到提高,为深度学习技术应用于超声图像检测提供了新方法。     

基于Tanh多层函数的量子神经网络算法及其应用的研究

该文提出一种新的改进激励函数的量子神经网络模型。首先为了提高学习速率,在网络权值训练过程中引入了动量项。然后为了有效实现相邻类之间具有覆盖和不确定边界的分类问题,新网络采用区分度更大的双曲正切函数的叠加作为其隐层激励函数。最后将该算法用于字符识别,将双曲正切激励函数的量子神经网络应用于数字、字母和汉字样本的多次实验,并且与原多层激励函数量子神经网络和BP网络的实验效果进行比较,发现改进后量子神经网络不仅具有较高的识别率,而且在样本训练次数上相对原多层激励函数量子神经网络有明显减少。仿真结果证明该方法的优越性。     

量子小波神经网络及其在漏钢预报中的应用

针对传统神经网络收敛速度慢,收敛精度低,以及用于模式识别泛化能力差的问题。提出了将量子神经网络与小波理论相结合的量子小波神经网络模型。该模型隐层量子神经元采用小波基函数的线性叠加作为激励函数,称之为多层小波激励函数,这样隐层神经元既能表示更多的状态和量级,又能提高网络收敛精度和速度。给出了网络学习算法。并以之在漏钢预报波形识别中的应用验证了该模型和学习算法的有效性。     

混沌在BP神经网络中的应用

为了提高误差反向传播算法的网络泛化能力,针对BP网络中所存在网络泛化能力差的缺点,结合混沌优化的优点,提出了一种改进的算法.将网络中的少数神经元的激励函数改变为具有混沌特性的激励函数,这些神经元不存在饱和区,从而可以加快学习速度,克服假饱和现象,并且神经元的输出具有-定的随机性,类似于噪声的作用,可在-定程度上提高网络的泛化能力.针对字符识别的仿真效果进行分析,证明网络的容错能力较好,网络的泛化能力得到了改善.     

SIMO傅里叶三角基神经网络的权值直接确定法和结构自确定算法

根据傅里叶级数逼近理论,将正交三角函数系作为隐层神经元激励函数,合理选取这些激励函数的周期参数,构造单输入多输出(SIMO)傅里叶三角基神经网络模型.根据该网络的特点,推导出一种基于伪逆的权值直接确定法,从而1步计算出网络最优权值,并在此基础上设计出隐层结构自确定算法.仿真结果表明,与传统BP(反向传播)神经网络及基于最小二乘法的SIMO傅里叶神经网络模型相比,本网络模型具有更高的计算精度和更快的计算速度.     

基于自适应并联结构神经网络的交通流量预测

由于现有优化算法在全局优化方面的局限性,导致神经网络需要多次训练才能获得满意的结果。为了解决神经网络训练中的一致性问题,文章提出了一种自适应并联结构神经网络（Adaptive Parallel Structure Neural Network, APSNN）。APSNN由多个神经网络单元并联组成,在训练过程中,采用常规优化算法对各神经网络单元进行训练。神经网络单元的训练样本由上一级神经网络单元的训练残差构成,通过训练残差在各神经网络单元中的单向传递,实现训练残差的逐级减少。神经网络根据训练残差,决定是否进行神经网络单元级联和结构扩张,从而保证训练结果的一致性。文章对5种非线性函数进行了神经网络逼近测试。与BP神经网络相比较,APSNN在50次不同初始条件下,训练精度十分稳定,具有很好的一致性。为了实现对交通流量预测,文章将APSNN与BP神经网络和小波神经网络进行了对比研究,结果表明：APSNN的预测总体标准差均小于BP神经网络和小波神经网络,交通流量的预测偏差较BP神经网络和小波神经网络分别降低2.7%和9.7%。     

GA-BP和GA-RBF网络在结构损伤分析的比较

引出了当人工神经网络算法解决结构工程实践问题时,网络结构本身所面临缺陷。描述了人工神经网络和遗传算法的概念,以及二者的长处和关系,从理论和实例上说明了运用遗传算法优化和改进神经网络结构可行性,从而结合二者的长处解决工程实践问题。详细阐述了如何利用遗传算法优化或改进BP网络模型和RBF网络模型,以及如何利用遗传优化BP网络和遗传优化RBF网络模型分析结构损伤,从而比较遗传BP网络和RBF网络在结构损伤分析方面的性能。     

人工神经网络模型发展及应用综述

人工神经网络与其他学科领域联系日益紧密,人们通过对人工神经网络层结构的探索和改进来解决各个领域的问题。根据人工神经网络相关文献进行分析,综述了人工神经网络算法以及网络模型结构的发展史,根据神经网络的发展介绍了人工神经网络相关概念,其中主要涉及到多层感知器、反向传播神经网络、卷积神经网络以及递归神经网络,描述了卷积神经网络发展当中出现的部分卷积神经网络模型和递归神经网络中常用的相关网络结构,分别综述了各个人工神经网络算法在相关领域的应用情况,总结了人工神经网络的未来发展方向。     

基于神经网络的PID自整定控制系统

文章介绍了一种应用神经网络技术建立的PID自整定控制系统,给出了系统结构,详细分析了BP神经网络和RBF神经网络的结构和学习算法。该系统采用3层BP神经网络,其输出为PID控制器的参数;通过变结构的RBF神经网络辨识控制对象,将得到的输出对输入的梯度信息提供给BP神经网络,BP神经网络根据该信息优化PID控制器参数。仿真结果表明,该系统对于参数扰动较大的非线性系统,其收敛速度快、动态响应能力强、稳定性好,且具有较强的鲁棒性和适应性。     

基于遗传优化的RBF-BP网络的实时故障检测

针对单一神经网络对复杂模型难以实时做出准确预测和BP神经网络自身的缺陷,结合RBF神经网络可以逼近任意函数的特性,提出了基于遗传优化的混合神经网络模型(RBF-BP)。由RBF网络和BP网络并联作为一个神经网络(简称为RBF-BP)的隐层,利用该网络对被控对象进行逼近训练、实时故障检测,该算法同时具有RBF网络和BP网络的优点,适用于复杂非线性系统的故障检测。     

Medical image diagnosis of lung cancer by multi-layered GMDH-type neural network self-selecting functions

In this study, a revised Group Method of Data Handling (GMDH)-type neural network self-selecting functions is applied to the computer aided image diagnosis (CAD) of lung cancer. The GMDH-type neural network algorithm has an ability of self-selecting optimum neural network architecture from three neural network architectures, such as sigmoid function neural network, radial basis function neural network and polynomial neural network. The GMDH-type neural network also has abilities of self-selecting the number of layers, the number of neurons in hidden layers and useful input variables. This algorithm is applied to CAD of lung cancers, and it is shown that this algorithm is useful for the CAD, and is very easy to apply to practical complex problems because optimum neural network architecture is automatically organized.     

基于一维卷积神经网络深度学习的工业过程故障检测

针对化工过程的非线性和动态性,以TE过程为背景,应用深度学习中的一维卷积神经网络算法对TE过程进行故障检测,解决了BP神经网络算法用于故障检测时测试识别率低的问题。用训练数据集分别对BP神经网络模型和一维卷积神经网络模型进行训练,将测试数据集输入已经训练好的神经网络,最后统计出了BP神经网络模型和卷积神经网络模型对故障的识别率。仿真结果表明BP神经网络和卷积神经网络对故障的检测具有较好的效果,但BP神经网络算法收敛速度慢,很容易就陷入局部最小值,从而会导致整体的检测性能下降,而卷积神经网络构建出的一维卷积模型能很好地解决存在的问题,通过比较充分体现了卷积神经网络在故障检测方面的优越性。     

一种基于模糊神经网络的数据挖掘算法

提出了一种基于模糊神经网络的数据挖掘算法，把模糊理论和神经网络结合起来构造、训练模糊神经网络，弥补了神经网络结构复杂、网络训练时间长、结果表示不易理解等不足。经过模糊神经网络的建立和训练达到精度要求，实现了运用模糊神经网络方法从数据库中提取知识的目标。     

A general projection neural network for solving monotone variational inequalities and related optimization problems

Recently, a projection neural network for solving monotone variational inequalities and constrained optimization problems was developed. In this paper, we propose a general projection neural network for solving a wider class of variational inequalities and related optimization problems. In addition to its simple structure and low complexity, the proposed neural network includes existing neural networks for optimization, such as the projection neural network, the primal-dual neural network, and the dual neural network, as special cases. Under various mild conditions, the proposed general projection neural network is shown to be globally convergent, globally asymptotically stable, and globally exponentially stable. Furthermore, several improved stability criteria on two special cases of the general projection neural network are obtained under weaker conditions. Simulation results demonstrate the effectiveness and characteristics of the proposed neural network.     

基于小波混沌神经网络的语音识别*

基于语音信号的时变特性,提出了一种新型神经网络语音识别方法——小波混沌神经网络方法,即把小波变换和混沌特性引入到神经元,构成小波混沌神经网络,将这种神经网络用于语音识别,并与常用的BP神经网络识别方法进行了比较。实验结果表明,小波混沌神经网络的平均识别率要高于同等条件下常用的神经网络方法的识别率。