退火期望最大化算法A-EM

使用EM算法训练随机多层前馈网具有低开销、易于实现和全局收敛的特点,在EM算法的基础上提出了一种训练随机多层前馈网络的新方法AEM.AEM算法利用热力学系统的最大熵原理计算网络中隐变量的条件概率,借鉴退火过程,引入温度参数,减小了初始参数值对最终结果的影响.该算法既保持了原EM算法的优点,又有利于训练结果收敛到全局极小.从数学角度证明了该算法的收敛性,同时,实验也证明了该算法的正确性和有效性.     

基于软竞争机制的对传网络模型及应用

针对传统对传网络(CounterPropagationNetwork,CPN)模型和学习算法存在的问题和不足,提出改进模型及竞争层的改进算法。在竞争层使用软竞争机制得到竞争层的输出,克服传统CPN使用胜者全得竞争机制的弊病,使竞争层中每一个神经元节点能充分发挥作用,参与网络的训练和权值的调整,提高竞争层中神经元的利用率,使网络能实现运用最少的神经元,达到要求的性能。从数值实验的对比看出,由于改进了网络模型和竞争算法,增强了CPN的模拟精度,CPN能更好地逼近模拟函数,提高了CPN的使用效率,网络性能得到了很大的提高。     

前馈神经网隐层节点的动态删除法

本文首先针对ＢＰ算法中存在的缺陷对误差函数作了简单的修改，使网络的收敛速度比原来的大大提高，此外本文提提出了一种基于线性回归分析算法来确定隐层节点数。当已训练好的网络具有过多的隐层单元，可以用这种算法来计算隐层节点输出之间的线性相关性，并估计多余隐层单元数目，然后删除这部分多余的节点，就能获得一个合适的网络结构。     

基于粗糙集优化神经网络结构的启发式算法

为了解决神经网络设计中确定网络结构尤其是隐层单元数的问题,提出了一种基于粗糙集理论确定神经网络结构的启发式算法.通过粗糙集理论属性约简算法对训练样本数据进行处理,根据处理结果确定网络的输入、输出以及隐层单元数.在对A320飞机自动驾驶仪不能衔接的故障诊断实例中,所设计的网络在训练中能够快速收敛,相对于传统的试探法能更快速准确地确定网络结构,从而提高飞机故障诊断效率,缩短维修时间,证明了该方法的实际可行性.     

基于注意力模型的混合学习算法

为了解决传统BP(back-propagation)算法收敛速度慢,训练得到的网络性能较差的问题,在借鉴生理学中"选择性注意力模型"的基础上,将遗传算法与误差放大的BP学习算法进行了有机的融合,提出了基于注意力模型的快速混合学习算法.该算法的核心在于将单独的BP训练过程划分为许多小的切片,并对每个切片进行误差放大的训练和竞争淘汰机制的选择.通过发现收敛速率较快的个体和过滤陷入局部极值的个体,来保证网络训练的成功率和实现快速向全局最优区域逼近的目的.仿真结果表明,该算法有效地解决了传统BP算法中由于初始权值的随机性造成的训练失败问题,并能有效解决饱和区域引起的后期训练缓慢问题,在不增加网络隐层节点数的情况下,显著地提高了网络的收敛精度和泛化能力.这将使神经网络在众多实际的分类问题上具有更广泛的应用前景.     

基于人工免疫原理的RBF网络预测模型

提出一个基于人工免疫原理的RBF网络预测模型AIP-RBF,该模型使用新的克隆选择算法和免疫抑制策略,通过隐层可行解的抽取算法EAHLFS,能在聚类数目未知的情况下,生成RBF网络隐层。给出了改进的隐层节点重要度(SHLN)概念,用于指导RBF网络第2阶段的训练过程。与传统的基于聚类算法的预测模型比较,AIP-RBF具有更快的收敛速度和更高的预测精度,在实际盾构施工地面沉降预测中得到了验证。     

中医脉象的BP神经网络分类方法研究

为了实现中医脉象的客观、准确分类,文章提出了一种基于BP神经网络的脉象识别方法。考察了隐层节点数对网络收敛速度、识别正确率的影响以及学习率对收敛速度的影响,改进了网络训练算法。并选取了较好的学习率参数对脉象信号进行了网络训练,获得了满意的网络收敛误差和识别精度。最后用大量临床脉象样本对网络和算法进行了检验,实验结果表明该方法能够实现对中医常见脉象的准确、快速分类。     

一种连续型深度信念网的设计与应用

针对深度信念网(Deep belief network, DBN)学习连续数据时预测精度较差问题, 提出一种双隐层连续型深度信念网. 该网络首先对输入数据进行无监督训练, 利用连续型传递函数实现数据特征提取, 设计基于对比分歧算法的权值训练方法, 并通过误差反传对隐层权值进行局部寻优, 给出稳定性分析, 保证训练输出结果稳定在规定区域. 利用 Lorenz 混沌序列、CATS 序列和大气 CO2 预测实验对该网络进行测试, 结果表明, 连续型深度信念网具有结构精简、 收敛速度快、 预测精度高等优点.     

基于改进CPN的指纹识别算法

通常的指纹识别算法因为预处理步骤过于复杂而明显地存在计算量过大、识别速度慢等缺点。提出一种基于小波变换和对传网络的指纹识别算法，直接从二值化指纹图像中提取指纹图象细节特征进行比对，避免了复杂的预处理过程，减少了工作量，加快了，计算速度。同时对对传神经网络进行改进，在竞争层使用软竞争替代传统的硬竞争，以便于分类识别，有效提高识别精度。实验表明该算法在实际应用中效果较好。对受噪声污染严重的指纹图像亦能获得很好的识别效果，算法具有较强的鲁棒性。     

多项式函数的泛函网络构造与逼近算法

关于多项式函数算法优化问题,人工神经网络是解决函数逼近问题的一个重要方法.但由于传统的学习型神经网络存在缺陷,如对初始权重非常敏感,极易收敛于局部极小;收敛缓慢甚至不能收敛;过拟合与过训练;网络隐含节点数不确定等.针对上述问题,提出了一种多项式函数的三层泛函网络与逼近算法,并给出了中间隐层计算单元个数是如何确定.提出的算法能以任意精度逼近多项式函数,同时具有较快收敛速度和良好性能,克服了人工神经网络的不足.最后,给出了两个数值算例进一步验证算法的正确性.     

改进对向传播神经网络应用于码书设计及其性能分析

针对对向传播神经网络(CPN)应用于矢量量化时的两个缺陷进行改进,提出了一种码书设计算法——快速竞争学习及误差修正算法(FCLECA),并设计了相应的基于改进CPN的快速矢量量化器模型,详细讨论了FCLECA的重要步骤、重要参数及其时间复杂度．仿真实验结果表明：文中算法能在提高码书质量的同时大幅缩短训练时间,是一种有效的快速矢量量化算法．     

用于模式分类的动态有指导前向传播网络

以改进的仅前向型对传网络(CPN)为基础,研究一种用于模式分类的神经网络——动态有指导前向传播网络(DSFPN)。其隐层用修正的第2种学习矢量量化算法,以增量训练策略,进行有指导训练。在训练过程中,根据适合度产生新的隐层神经元,使隐层动态增长。Cone-Torus平面点分类和非特定人孤立数字语音识别的实验结果表明了DSFPN的优越性能,其训练时间比多层感知器少2个数量级,训练速度比改进的CPN更快,最好测试正确率分别达92.25%和98.7%,高于另外2种神经网络。     

A hybrid of electromagnetism-like mechanism and back-propagation algorithms for recurrent neural fuzzy systems design

This article introduces a novel hybrid evolutionary algorithm for recurrent fuzzy neural systems design in applications of nonlinear systems. The hybrid learning algorithm, IEMBP-improved electromagnetism-like (EM) with back-propagation (BP) technique, combines the advantages of EM and BP algorithms which provides high-speed convergence, higher accuracy and less computational complexity (computation time in seconds). In addition, the IEMBP needs only a small population to outperform the standard EM that uses a larger population. For a recurrent neural fuzzy system, IEMBP simulates the ‘attraction’ and ‘repulsion’ of charged particles by considering each neural system parameters as a charged particle. The EM algorithm is modified in such a way that the competition selection is adopted and the random neighbourhood local search is replaced by BP without evaluations. Thus, the IEMBP algorithm combines the advantages of multi-point search, global optimisation and faster convergence. Finally, several illustration examples for nonlinear systems are shown to demonstrate the performance and effectiveness of IEMBP.     

改进多层尺度特征融合的目标检测算法

为提高小目标检测任务的准确率和稳定性,解决SSD(single shot MultiBox detector)算法在小目标识别和定位过程中准确率较低的问题,基于SSD算法提出一种改进方法.在原始的SSD卷积网络结构上进行修改和优化,通过特征图之间的特征融合,重构卷积预测特征图上的物体特征信息.考虑到网络复杂度增加带来的...     

基于噪音受益的快速图像分割算法

图像分割是指将一幅图像分解为若干互不交迭的区域的集合。当用已有的改进高斯混合模型于图像分割时,如何加快其分割过程是一个有研究意义的课题。基于最新的噪音受益EM算法,通过人工加噪来加快已有的改进高斯混合模型的收敛速度,从而达到加快图像分割的目的。当添加的噪声满足噪音受益EM定理时,加性噪声加快了EM算法收敛到局部最大值的平均收敛速度。改进的高斯混合模型是EM算法的特例,因此,噪音受益EM定理同样适用于改进的高斯混合模型。实验表明,提出的算法进行图像分割时,其收敛速度明显加快,时间复杂度明显变小。     

迭代重加权最小二乘支持向量机快速算法研究

迭代重加权(Iteratively Reweighted)方法是提高最小二乘支持向量机(LS-SVM)稳健性的重要手段,但由于涉及到多次加权和重复训练,该方法需要大量运算,无法广泛应用.通过数值推导,获得了求解迭代重加权最小二乘支持向量机(IRLS-SVM)的快速算法,大幅度减少了其运算复杂度.引入了3种经典的加权函数,并在多个仿真数据集和实际数据集上进行实验,证实了IRLS-SVM能获得相当稳健的学习结果,所提出的快速算法也确实能够大幅度减少训练时间.实验结果同时表明,在快速训练算法的框架下,3种不同的权重函数可能要求不同的训练时间.     

基于网络复杂性的BP算法

BP算法(误差反向传播算法)是前馈神经网络中最常用的算法之一.在对前馈神经网络和传统的BP算法研究的基础上,发现了传统算法中存在的问题.通过引入网络复杂性的量,提出了一种新的改进算法,命名为基于网络复杂性的BP算法.该算法能够删除掉冗余的连接甚至节点,通过对网络学习步长的动态调整,避免了算法收敛速度过慢和反复震荡的问题.最后通过实验说明该算法在一定程度上比传统BP算法有一些优越性.     

基于CPN的分层工作流过程模型建模研究

本文针对分层工作流过程模型的语义建模存在的问题,基于扩展同步器和CPN,将工作流过程模型的逻辑结构和语义与CPN中的网结构和网表达式进行映射,进而定义了基于同步结构和CPN的工作流过程模型WFC_Net,并给出了采用约束表达式对该模型进行语义层验证的方法。