用一组单输出的子网络代替多输出的BP网络

BP网络是使用最广泛的神经网络模型。在BP网络模型中,输入信息(X_1,X_2,…,X_m)首先通过各输入结点前向传播到下一层的各结点,这下一层就是所谓的隐含层,隐含层可以是一层也可以是多层,最后通过输出层得到输出信息(y_1,y_2,…,y_n)。在BP网络中,输入结点和输出结点的个数由具体问题决定,隐层单元的个数是可变的。如果具体问题的目标输出是多维的,BP网络就具有多个输出结点。本文提出了一种子网组的结构,用来代替多输出的单个BP网络。子网组即是对问题目标输出的每一维建立一个单输出的BP网络,整个子网组结构的输出由这n个子网络组合而成。本文还给出了一种子网组结构的学习算法,并证明了该学习算法能够达到更好的学习效果。     

前馈神经网络的一种优化BP算法

1引言 在1986年,Rumelhart,Hinton和Williams等完整而简明地提出一种人工神经网络的误差反向传播学习算法(简称BP算法)[1],这个算法的学习过程是由正向和反向传播两部分组成:首先是正向传播过程,由输入信息向前传播到隐层或中间层的结点上,经过选定的激活函数(又称传递函数,从理论上讲,激活函数可以多种多样,但由于sigmoid型激活函数不仅映射算法简洁而且收敛性能好,因此常被用作人工神经元的激活函数)运算后,从隐层结点逐层把信息传播到输出层结点,在这个过程中,每一层神经元的输出状态只影响下一层神经元输出,即输入层的输入参数集经隐层逐层映射至输出层;如果输出层的实际输出值与期望值之间的误差大于允许值,则转入反向传播过程,它将误差信号沿原来的连接通路返回,伴随误差从输出层向输入层逐层反传,在这个过程中适时地修改各层神经元间的连接权值,减少输出误差,至此一个学习周期结束.如此经多个学习周期至误差等于或小于允许值,学习过程结束.     

基于影响度剪枝的极端学习机分类算法研究

针对极端学习机(ELM)网络规模控制问题,从剪枝思路出发,提出了一种基于影响度剪枝的ELM分类算法。利用ELM网络单个隐节点连接输入层和输出层的权值向量、该隐节点的输出、初始隐节点个数以及训练样本个数,定义单个隐节点相对于整个网络学习的影响度,根据影响度判断隐节点的重要性并将其排序,采用与ELM网络规模相匹配的剪枝步长删除冗余节点,最后更新隐含层与输入层和输出层连接的权值向量。通过对多个UCI机器学习数据集进行分类实验,并将提出的算法与EM-ELM、PELM和ELM算法相比较,结果表明,该算法具有较高的稳定性和测试精度,训练速度较快,并能有效地控制网络规模。     

一种基于量子BP网络的图像压缩方法

针对BP网络在图像压缩应用中迭代次数多及训练时间长的问题,设计具有量子输入和输出的神经元模型,结合BP网络在图像压缩中的原理,利用复数BP算法,构建一种用于图像压缩的3层量子BP网络(QBP),实现图像压缩与图像重建。仿真结果表明,与BP网络相比,QBP网络能获得更好的重建图像质量,且迭代次数较少。     

基于贝叶斯正则化BP人工神经网络的煤与瓦斯突出预测的研究

文章介绍了BP人工神经网络和贝叶斯正则化算法的原理,探讨了贝叶斯正则化BP人工神经网络模型的建立,通过改变隐含层神经元个数的实验建立了只含1个隐含层且隐含层仅需1个神经元的煤与瓦斯突出预测模型的最佳网络结构。对该网络采用煤与瓦斯突出的预测指标进行训练、检测的结果表明,该网络预测的煤与瓦斯突出的危险程度与实际情况完全吻合;对该网络输入层输入的煤与瓦斯突出的预测指标、对输出层输出的预测结果的权值进行分析的结果表明,煤层地质构造类型对煤与瓦斯突出的影响为最大。上述研究结果对煤与瓦斯突出的预测预防研究、提高煤与瓦斯突出预测的准确性具有一定的参考价值。     

基于序列输入的神经网络模型算法及应用

为提高神经网络的逼近能力,提出一种基于序列输入的神经网络模型及算法。模型隐层为序列神经元,输出层为普通神经元。输入为多维离散序列,输出为普通实值向量。先将各维离散输入序列值按序逐点加权映射,再将这些映射结果加权聚合之后映射为隐层序列神经元的输出,最后计算网络输出。采用Levenberg-Marquardt算法设计了该模型学习算法。仿真结果表明,当输入节点和序列长度比较接近时,模型的逼近能力明显优于普通神经网络。     

基于受控Hadamard门的量子神经网络模型及算法

为提高神经网络的逼近能力,提出一种基于受控Hadamard门设计的量子神经网络模型及算法.该模型输入为多维离散序列,可用矩阵描述,行数为输入节点数,列数为序列长度.模型为3层结构,隐层为量子神经元,输出层为普通神经元.量子神经元由量子旋转门和多位受控Hadamard门组成,利用多位受控Hadamard门中目标量子位的输出向输入端的反馈,实现对输入序列的整体记忆,利用受控Hadamard门中控制位和目标位之间的受控关系获得量子神经元的输出.基于量子计算理论设计了该模型的学习算法.该模型可高效地获取输入序列的特征.实验结果表明,当输入节点数和序列长度满足一定关系时,该模型明显优于普通BP神经网络.     

基于BP神经网络模型的笔记本电脑销售预测研究

针对笔记本电脑销售的不确定性，利用BP神经网络算法构建模型，采用MATLAB对某店铺的2021年笔记本电脑的销售数据进行了网络训练，通过Pearson相关系数来分析输入层各节点和输出层销售额之间的相关性，确定了访客数UV、收藏数、加购物车次数、客单价和支付转化率等5个输入层节点,销售额为输出层节点。实验证明了构建的BP神经网络模型预测值和实际值误差小，预测准确度高，可为笔记本电脑销售计划安排及库存管理提供依据。     

一种模糊CMAC神经网络

提出了一种模糊CMAC(小脑模型关节控制器)神经网络,它由输入层、模糊化层、模糊相 联层、模糊后相联层与输出层等5层节点组成,具有与CMAC相似的单层连接权,可通过BP 算法学习推论参数或模糊规则.给出了网络的连接结构与学习算法,并将其应用于函数逼近 问题中仿真结果验证了该方法较之CMAC的优越性.     

一种量子衍生神经网络模型

为提高神经网络的逼近能力,通过在普通BP网络中引入量子旋转门,提出了一种新颖的量子衍生神经网络模型. 该模型隐层由量子神经元组成,每个量子神经元携带一组量子旋转门,用于更新隐层的量子权值,输入层和输出层均为普通神经元. 基于误差反传播算法设计了该模型的学习算法. 模式识别和函数逼近的实验结果验证了提出模型及算法的有效性.     

基于SOM的物流配送路径优化方法研究

合理的配送路线可以提高物流配送的效率,利用SOM网络训练过程中能够保持神经元空间拓扑特性的特点求解物流配送的最优路径.在SOM网络中以任意配送节点的坐标作为输入层,以2倍于配送节点的序列为输出层.训练时,每次从路径节点中随机选取一个节点作为输入层,通过训练保证输出层的某个点与该输入点的距离最短,最终使得每个配送节点在输出层上都有与之最近的节点相对应,给出了求解最优路径的步骤,并分别针时不同的配送节点进行实验.结果表明,基于SOM最优路径算法能够以较快的收敛速度得到最优解.     

具有多种工件类型的最小订单延期数问题

1　引　言订单问题可描述如下 :n个工件来自 m份订单 ,这 n个工件又分属 B个不同的类 ,sf为不同类工件进行加工转换时所需的机器调整时间 ,来自第 i份订单又属于第 j类的工件在序中本身的完工时刻记为 Cij,第 i份订单的完工日期为 OCi=max1≤ j≤ BCij,对于每一订单用户均有其要求的提货时刻 di,要求适当排列 n个工件的加工顺序 ,使同订单 Oi( i=1 ,… ,m)有关的某目标函数值 g达到最小 .定义 Ui=1 ,如果 OCi-di>0 ( i=1 ,… ,m) ,即订单 i延期 ;否则 Ui=0 ,则延期订单数NT=∑mi=1 Ui.假设不同类工件间的调整时间均为独立调整时间 s.…     

基于FPGA的手写数字BP神经网络研究与设计

手写数字逆向传播（Back Propagation,BP）神经网络由输入层、隐藏层、输出层构成。训练数据是MNIST开源手写数字集里60?000个样本,BP算法由随机梯度下降算法和反向传播算法构成,采用network小批量数据迭代30次的网络学习过程,训练出合适的权重和偏置。利用现场可编程门阵列（Field Programmable Gate Array,FPGA）硬件平台,Verilog代码实现BP算法、时序控制各层网络训练状态、Sigmoid（S型）函数及导数线性拟合是设计重点。初始化均值为0,方差为1的高斯分布网络权重和偏置,采用小批量数据个数[m]为10,学习系数[η]为3,在系统中输入样本及标签利用Quartus13.0和modelsim仿真与分析,工程运行迭代30次时间是4.5 s,样本识别正确率是91.6%,与软件python2.7相比满足了硬件设计的实时性和手写数字识别的高准确率。     

基于小波网络的信号识别算法

为提高小波网络运行速度,缩短小波网络的训练及运行时间,提出一种基于提升小波变换和神经网络算法的改进小波网络——提升小波网络.首先将带有明显特征的信号作为网络输入,经过权值处理输入到隐层节点进行提升小波变换处理,提取信号的低频系数作为隐层节点的输出,再经过权值化处理输入到输出层节点进行0-1输出,进而达到对信号的特征识别...     

基于蚁群算法优化回声状态网络的研究

针对输出权值采用最小二乘法的回声状态网络(ESN),在随机选取输入权值和隐层神经元阈值时,存在收敛速度慢、预测精度不稳定等问题,提出了基于蚁群算法优化回声状态网络(ACO-ESN)的算法。该算法将优化回声状态网络的初始输入权值、隐层神经元阈值问题转化为蚁群算法中蚂蚁寻找最佳路径的问题,输出权值采用最小二乘法计算,通过蚁群算法的更新、变异、遗传等操作训练回声状态网络,选择出使回声状态网络预测误差最小的输入权值和阈值,从而提高其预测性能。将ACO-ESN与ELM、I-ELM、OS-ELM、B-ELM等神经网络的仿真结果进行对比,结果验证经过蚁群算法优化的回声状态网络加快了其收敛速度,改善了其预测性能,并增强了隐层神经元的敏感度。     

Fourier三角基神经元网络的权值直接确定法

根据Fourier变换理论,本文构造出一类基于三角正交基的前向神经网络模型。该模型由输入层、隐层、输出层构成,其输入层和输出层采用线性激励函数,以一组三角正交基为其隐层神经元的激励函数。依据误差回传算法(即BP算法),推导了权值修正的迭代公式。针对BP迭代法收敛速度慢、逼近目标函数精度较低的缺点,进一步提出基于伪逆的权值直接确定法,该方法避免了权值反复迭代的冗长过程。仿真和预测结果表明,该方法比传统的BP迭代法具有更快的计算速度和更高的仿真与测试精度。     

一种基于模糊BP神经网络的TDOA定位算法

提出了一种以TDOA量测作为网络输入,定位目标三维空间坐标估计值作为网络输出的模糊BP神经网络定位算法。描述了基于模糊神经网络进行定位的模型结构以及关于BP神经网络待调整参数的递归学习算法。通过仿真实验,分析了输入层节点数目和模糊If-then规则数目对定位精度的影响并将提出的算法与CRLB进行了比较。     

基于新型二层误差逆传播网络的图像压缩

基于误差逆传播算法对图像进行压缩的工作已有很多，怛存在着人工神经网络训练时间较长，精度偏低等问题。考虑到利用三层及三层以上BP网络对图像压缩，其有效信息是中间层单元上的输出值和中间层与输出层之间的连接权，而输入层与中间层的连接权是冗余的，以至于对学习速度和压缩质量有负面影响。基于此我们提出了新型二层误差逆传播网络拓扑结构和算法。经过上机压缩测试，相对于三层BP网络、三层以上BP网络以及嵌套BP网络图像压缩的压缩比、学习速度和压缩质量都有很大提高，取得了很好的效果。     

BP神经网络在胸癌诊断中的应用研究

为了提高胸癌识别的识别精度,提出了应用反向传播网络(Back Propagation,BP)建立胸癌诊断.BP网络是一种典型的多层前馈型神经网络,采用有监督学习模式,利用均方误差和梯度下降来实现时网络连接权值的修正.应用BP网络建立的诊断模型是三层网络结构,输入层的9个神经元分别对应描述细胞的特征值;隐层设置4个神经元;输出层的一个单元是对该细胞诊断的类别.数据实验结果显示诊断模型具有较高的识别精度,表明BP网络是一种有效的诊断方法.     

一种数据流上基于滑动窗口的点连接查询处理算法

连接是数据库研究中至关重要的一环,在没有边界、连续的数据流模型中,由于存储有限和实时性需求,连接算法主要基于滑动窗口作近似处理.主要研究数据流上一种特殊的连接,命名为点连接.点连接是指对于任意r∈R(称为主流),有唯一的s∈S(称为副流)与之对应,其中s.a=r.a且s.time最接近r.time(time称为时间特征).因此,流R与流S上的数据属于n∶1的关系.而在真实的分布式环境下,因为网络等原因,流数据到达的时间和顺序往往不一致,导致连接成功率下降.提出一种新的连接查询处理算法,能够在复杂的网络环境下获取更多的连接输出.实验模拟了2种网络环境,分别在数据有序到达和数据乱序到达2种情况下对算法验证,证明此算法比已有算法更优.