Neighborhood based modified backpropagation algorithm using adaptive learning parameters for training feedforward neural networks

The major drawbacks of backpropagation algorithm are local minima and slow convergence. This paper presents an efficient technique ANMBP for training single hidden layer neural network to improve convergence speed and to escape from local minima. The algorithm is based on modified backpropagation algorithm in neighborhood based neural network by replacing fixed learning parameters with adaptive learning parameters. The developed learning algorithm is applied to several problems. In all the problems, the proposed algorithm outperform well.     

基于进化式模糊神经网络的时间序列预测系统

文章介绍了一种基于进化式模糊神经网络时间预测系统，它是一种快速自适应的局部学习模型；进化式模糊神经网络是一个特殊类型的神经网络，它能通过进化其结构和参数来容纳新的数据。文章重点介绍了网络结构、学习方法及创建、修剪、聚合规则节点的算法；实验结果表明：模糊隶属函数的个数，规则的修剪和聚合等训练参数，与网络的行为和预测结果有很重要的关系。     

结合小波变换与改进SSA优化小波神经网络的电力负荷预测

电力负荷预测是输电网络扩展和规划及合理电力调度的关键手段。针对电力负荷时间序列的非线性和复杂性特征,提出结合小波变换与改进麻雀搜索算法优化小波神经网络的电力负荷预测模型ISSA-WNN。设计改进麻雀搜索算法ISSA对小波神经网络的关键参数初值寻优,有效解决梯度调参易陷入局部最优及对参数初值敏感的不足,提升模型学习能力。对标准麻雀搜索算法SSA改进,引入Logistic-Tent混合混沌种群初始化、发现者/警戒者自适应更新、跟随者可变对数螺旋更新和高斯-柯西混合变异策略提升算法寻优能力。利用小波变换对电力负荷样本分解与重构,降低负荷时序的无序性和波动性,在此基础上构建新的电力负荷预测模型ISSA-WNN。实验结果表明,与标准小波神经网络模型WNN和标准麻雀搜索算法优化小波神经网络模型SSA-WNN相比,预测模型ISSA-WNN的平均绝对百分比误差和均方根误差指标值平均可以降低18.42%和21.21%,其拟合能力更强,预测性能更加稳定。     

采用自适应自回归小波神经网络的单步预测控制

针对非线性系统的控制问题,提出一种基于神经网络辨识的单步预测控制算法。算法在自回归小波神经网络的基础上,利用混沌机制消除了神经网络易陷入局部极值的缺点．采用自适应性学习率,提高神经网络的收敛能力和速度．以该神经网络为预测模型,引入输出反馈和偏差校正克服预测误差,以此构造一步加权预测控制性能指标。然后采用Brent一维搜索方法求取控制律,Brent法无需任何相关的导数信息,需调整的参数少,使得Brent法适合实时控制．仿真研究说明了该非线性预测控制器的有效性。     

The road to chaos by time-asymmetric Hebbian learning in recurrent neural networks

This letter aims at studying the impact of iterative Hebbian learning algorithms on the recurrent neural network's underlying dynamics. First, an iterative supervised learning algorithm is discussed. An essential improvement of this algorithm consists of indexing the attractor information items by means of external stimuli rather than by using only initial conditions, as Hopfield originally proposed. Modifying the stimuli mainly results in a change of the entire internal dynamics, leading to an enlargement of the set of attractors and potential memory bags. The impact of the learning on the network's dynamics is the following: the more information to be stored as limit cycle attractors of the neural network, the more chaos prevails as the background dynamical regime of the network. In fact, the background chaos spreads widely and adopts a very unstructured shape similar to white noise. Next, we introduce a new form of supervised learning that is more plausible from a biological point of view: the network has to learn to react to an external stimulus by cycling through a sequence that is no longer specified a priori. Based on its spontaneous dynamics, the network decides "on its own" the dynamical patterns to be associated with the stimuli. Compared with classical supervised learning, huge enhancements in storing capacity and computational cost have been observed. Moreover, this new form of supervised learning, by being more "respectful" of the network intrinsic dynamics, maintains much more structure in the obtained chaos. It is still possible to observe the traces of the learned attractors in the chaotic regime. This complex but still very informative regime is referred to as "frustrated chaos."     

并行注意力机制在图像语义分割中的应用

在卷积神经网络中融入注意力机制越来越成为语义分割强化特征学习的重要方法.提出了一种融合了局部注意力和全局注意力的卷积神经网络.输入图像经主干网络的特征提取,并行输入给局部注意力和全局注意力模块.局部注意力模块以编码-解码结构实现多尺寸的局部特征融合,全局注意力模块根据每个像素与其所在特征图上所有像素的相关性捕获全局信息...     

基于神经网络重力固体潮信号的建模与预测

重力固体潮信号主要是由于太阳、月亮等天体轨道相对位置变化而产生的,同时受地质、水文、大气等地理条件变化的影响,所以既是一个有规律、周期性变化的信号,也包含反映地质、水文、大气等地理条件变化的异常信息。通过对重力固体潮信号的建模,可反映、预测重力固体潮信号中周期性变化的基本规律,通过对比其理论计算值,可进一步提取重力固体潮信号中的异常变化信息。基于一种具有强鲁棒性、纯随机搜索的新群体智能优化算法,改进径向基神经网络学习算法,避免学习算法进入局部最优,提高网络训练的有效性和所建网络模型的可靠性。在实验中,利用重力固体潮信号训练改进的径向基神经网络,得到了重力固体潮信号的有效径向基神经网络模型。利用上述模型预测重力固体潮信号的估计值,并与传统径向基神经网络模型、AR模型预测结果进行对比,表明改进训练算法的径向基网络模型预测的结果更加精确,说明改进训练算法在重力固体潮信号的径向基网络建模中是有效的,可推广应用于其它时间信号序列的建模与预测中。     

基于自适应交叉与协方差学习的改进平衡优化器算法

针对平衡优化器算法存在的收敛精度低和易陷入局部停滞的问题,提出一种基于自适应交叉与协方差学习的改进平衡优化器算法。首先,构建外部存档来保留历史优势个体,增加种群多样性,以提高算法的全局寻优能力。其次,引入自适应交叉概率来平衡算法的全局探索能力和局部开发能力,以提高算法的寻优精度和鲁棒性。最后,采用协方差学习策略,充分利用浓度向量之间的关系来增强种群间信息交流,以避免算法陷入局部停滞。通过对CEC2019测试函数进行仿真实验,并将改进算法与反向传播（back propagation,BP）神经网络相结合用于预测新疆玛纳斯河的径流情况,实验结果表明,改进算法在收敛精度和鲁棒性方面有显著提升,且大幅提高了BP神经网络的径流预测效果。     

利用单形进化优化的BP神经网络学习算法

在BP神经网络训练算法中,针对权值的优化学习容易陷入局部极值点、收敛速度慢等问题,很多研究引入智能优化算法对其进行改进,但传统的智能优化算法通常有多个控制参数,若不能正确选取参数,或者没有适当选择初始点位置,则很难搜索到最优的神经网络权值。为了解决这些问题,提出一种基于单形进化的BP神经网络学习算法,它通过全随机搜索减少算法的控制参数,利用群体的多角色态保持粒子的多样性,避免算法陷入局部的极值点,减少了对初始值的依赖。在应用中,将该算法应用于神经网络的训练算法中,通过对UCI数据集和人脸图像的测试,实验结果表明,上校算法训练的神经网络有效提高了识别率与训练效率。     

Real-time learning capability of neural networks

In some practical applications of neural networks, fast response to external events within an extremely short time is highly demanded and expected. However, the extensively used gradient-descent-based learning algorithms obviously cannot satisfy the real-time learning needs in many applications, especially for large-scale applications and/or when higher generalization performance is required. Based on Huang's constructive network model, this paper proposes a simple learning algorithm capable of real-time learning which can automatically select appropriate values of neural quantizers and analytically determine the parameters (weights and bias) of the network at one time only. The performance of the proposed algorithm has been systematically investigated on a large batch of benchmark real-world regression and classification problems. The experimental results demonstrate that our algorithm can not only produce good generalization performance but also have real-time learning and prediction capability. Thus, it may provide an alternative approach for the practical applications of neural networks where real-time learning and prediction implementation is required.     

基于小生境-遗传算法优化的新型BP模型

为解决传统BP神经网络模型易陷入局部极小点、网络结构不稳定、收敛速度慢等问题,提出了一个小生境遗传算法优化的BP神经网络模型。该网络模型借助BP神经网络的非线性映射和学习联想能力和小生境遗传算法的搜索能力,利用小生境遗传算法的选择、交叉、变异及小生境淘汰等操作,来对BP神经网络的初始权值和阈值进行优化,同时使用BP算法来训练该模型,从而有效地解决了网络初值不合理的问题,提高了网络收敛速度、稳定性。实验证明：与传统方法相比,该模型具有很强的可行性和有效性。     

基于降噪自编码神经网络的事件相关电位脑电信号分析方法

提出一种基于降噪自编码神经网络事件相关电位分析方法,首先建立3层神经网络结构,利用降噪自编码对神经网络进行初始化,实现了降噪自编码深度学习模型的无监督学习.从无标签数据中自动学习数据特征,通过优化模型训练得到的权值作为神经网络初始化参数.其次,经过有标签的样本进行网络参数的微调即可完成对神经网络的训练,该方法有效解决了神经网络训练中因随机选择初始化参数,而导致网络易陷入局部极小的缺陷.最后,利用上述神经网络对第3届脑机接口竞赛数据集Data set Ⅱ(事件相关电位脑电信号)进行分类分析.实验结果表明:利用降噪自编码迭代2500次训练神经网络模型,在受试者A和受试者B样本数据叠加5次、10次、15次3种情况下获得的分类准确率分别为73.4%, 87.4%和97.2%.该最高准确率优于其他分类方法,比竞赛第1名联合支持向量机(SVM)分类器(ESVM)提高了0.7%,为事件相关电位脑电信号提供了一种深度学习分析方法.     

基于轻量密集神经网络的医学图像超分辨率重建算法

医学图像的清晰与否直接影响临床诊断。由于成像设备与环境因素的限制,往往不能直接获得高分辨率的图像,且大多数智能终端的硬件并不适合运行大规模深度神经网络模型,因此提出一种拥有较少的层和参数的轻量密集神经网络模型。首先,网络中使用密集块和跳层结构进行全局和局部图像特征学习,并将更多特征信息传入激活函数,从而使网络中浅层低级的图像特征更容易传播到高层,由此提高医学图像超分辨率重建的质量;然后,采用分阶段方法训练网络,并以双任务损失加强网络学习中的监督指导,从而解决高倍图像超分辨率重建导致的网络训练难度增加的问题。实验结果表明,与最近邻（NN）插值、双线性插值、双立方插值、基于卷积神经网络（CNN）的算法以及基于残差神经网络的算法相比,所提模型能更好地重建出医学图像的纹理细节,获得更高的峰值信噪比（PSNR）和结构相似性（SSIM）,在训练速度和硬件消耗方面均取得了良好的效果,具有较高的实用价值。     

A hybrid classification algorithm based on coevolutionary EBFNN and domain covering method

A new hybrid scheme of the elliptical basis function neural network (EBFNN) model combined with the cooperative coevolutionary algorithm (Co-CEA) and domain covering method is presented for multiclass classification tasks. This combination of the Co-CEA EBFNN (CC-EBFNN) and the domain covering method is proposed to enhance the predictive capability of the estimated model. The whole training process is divided into two stages: the evolutionary process, and the heuristic structure refining process. First, the initial hidden nodes of the EBFNN model are selected randomly in the training samples, which are further partitioned into modules of hidden nodes with respect to their class labels. Subpopulations are initialized on modules, and the Co-CEA evolves all subpopulations to find the optimal EBFNN structural parameters. Then the heuristic structure refining process is performed on the individual in the elite pool with the special designed constructing and pruning operators. Finally, the CC-EBFNN model is tested on six real-world classification problems from the UCI machine learning repository, and experimental results illustrate that the EBFNN model can be estimated in fewer evolutionary trials, and is able to produce higher prediction accuracies with much simpler network structures when compared with conventional learning algorithms.     

基于图深度学习的金融文本多标签分类算法

金融文本多标签分类算法可以根据用户需求在海量金融资讯中实现信息检索。为进一步提升金融文本标签识别能力,建模金融文本多标签分类中标签之间的相关性,提出基于图深度学习的金融文本多标签分类算法。图深度学习通过深度网络学习局部和全局的图结构特征,可以刻画节点之间的复杂关系。通过建模标签关联实现标签之间的知识迁移,是构造具有强泛化能力算法的关键。所提算法结合标签之间的关联信息,采用基于双向门控循环网络和标签注意力机制得到的新闻文本对应不同标签的特征表示,通过图神经网络学习标签之间的复杂依赖关系。在真实数据集上的实验结果表明,显式建模标签之间的相关性能够极大地增强模型的泛化能力,在尾部标签上的性能提升尤其显著,相比CAML、BIGRU-LWAN和ZACNN算法,该算法在所有标签和尾部标签的宏观F1值上最高提升3.1%和6.9%。     

基于模糊神经网络的抽油机故障诊断方法

将模糊逻辑与神经网络相结合,构造模糊神经网络,将神经网络输入层的确定性信息模糊化后变成模糊量,将故障征兆参数相对应的隶属度数值作为神经网络的输入,从而使神经网络更加适合设备故障描述,克服了神经网络对不精确信息表达的缺点。提出基于黄金分割法的变步长BP算法来训练神经网络,根据误差变化趋势动态调整学习速率,实现学习步长的自适应调整,提高网络收敛的速度,防止网络训练时陷入局部极小。将训练好的模糊神经网络应用于抽油机设备的故障诊断,取得良好效果。     

融合LeNet-5和Siamese神经网络模型的人脸认证算法研究

基于人脸信息的身份认证对于个人安全和社会稳定都具有非常重要的意义。传统的人脸认证方法依赖人工构造视觉特征,易受外界条件影响,识别精度不高。深度学习模型以自主学习方式进行特征提取,能从复杂的数据中提取到人脸的隐性特征。然而大部分深度学习人脸认证方法需大量带有身份标记的训练样本,额外增加了标记数据的成本。针对以上问题,提出了融合LeNet-5和Siamese神经网络模型的人脸认证算法。该算法在Siamese神经网络框架基础上,引入LeNet-5卷积神经网络,将单分支LeNet-5卷积网络扩充为结构相同且参数共享的双分支LeNet-5卷积网络,通过缩小卷积核、增加卷积层来调整网络结构,使用Contrastive Loss函数对融合网络进行训练。实验结果表明,该算法在不同的人脸数据集上,均获取较高的识别精度。     

基于自适应模糊神经网络的功放预失真新方法

针对无线通信系统中记忆非线性功率放大器预失真结构不足和精度不高等问题,提出了一种基于模糊神经网络模型识别的双环学习结构自适应预失真方法。该方法以实数延时模糊神经网络模型为基础,采用改进的简化粒子群优化（Simplified Particle Swarm Optimization,SPSO）算法进行间接学习结构离线训练模糊神经网络来确定模型参数,作为预失真器的初值,再利用最小均方（Least Mean Square,LMS）算法进行直接学习结构在线微调整预失真器参数,拟合功放的非线性和记忆效应。该方法结构简单,收敛速度快且精度高,避免了局部最优。实验结果表明,该方案邻信道功率比经典的双环结构预失真方法约改善7 dB,功放的线性化性能明显提高,由此验证了其可行性。     

从阴影恢复形状的径向基函数反射模型研究

目的 为解决传统阴影恢复形状（SFS）算法由于光源方向初始信息估计不准确,恢复的物体表面过于光滑,3维表面形状误差较大等问题,建立了基于径向基函数神经网络的反射模型,并对传统的神经网络进行了改进。方法 建立的基于径向基函数（SFS）神经网络的从阴影恢复形状反射模型代替了传统方法中采用的理想朗伯体表面反射模型。该模型利用径向基函数优秀的局部映射和函数逼近能力来处理SFS问题,通过网络训练过程中的权值代替物体所受到的初始光源信息,解决了传统算法在进行计算时,必须已知光源参数的限制。在该网络模型中添加自适应学习率算法,加速网络的收敛和训练速度。结果 针对SFS问题处理的两幅经典合成图像以及两幅实际图像进行了实验,实验结果表明,改进后的算法在3维视觉效果和3维形状信息的恢复方面都明显优于传统算法。归一化后的3维高度误差结果相比传统算法缩小了60%以上,而且同时适用合成图像和实际图像;自适应学习率的加入,使得网络的训练速度大大加快,对一幅128×128像素的图像,运算速度提升了50%。结论 本文针对SFS问题建立了基于RBF神经网络的从阴影恢复形状反射模型,利用网络模型中的参数代替SFS问题中的初始光源信息,通过最优化方法求解SFS问题。并针对传统的神经网络固定学习率造成网络收敛速度慢,容易陷入局部极小值的问题,加入了自适应学习率算法。实验结果表明,改进后的算法在处理该SFS问题时表现了优秀的性能,适用范围更广,收敛速度更快。     

基于神经网络观测器的船舶轨迹跟踪递归滑模 动态面输出反馈控制

针对三自由度全驱动船舶速度向量不可测问题,考虑船舶模型参数和外部环境扰动均未知的情况,提出一种基于神经网络观测器的船舶轨迹跟踪递归滑模动态面输出反馈控制方法.该方法设计神经网络自适应观测器估计船舶速度向量,且利用神经网络逼近模型参数不确定项,综合考虑船舶位置和速度误差之间关系构造递归滑模面,再采用动态面控制技术设计轨迹跟踪控制律和参数自适应律,并引入低频增益学习方法消除外界扰动导致的高频振荡控制信号.选取李雅普诺夫函数证明了该控制律能够保证轨迹跟踪闭环系统内所有信号的一致最终有界性.最后,基于一艘供给船进行仿真验证,结果表明,船舶轨迹跟踪响应速度快,所设计控制器对系统模型参数摄动及外界扰动具有较强的鲁棒性.