不同拓扑结构脉冲神经网络抗扰功能对比分析

在复杂多变的电磁环境下,电子系统的传统抗电磁干扰方式的不足日益凸显。借鉴生物体在自适应抗扰方面的优势,寻求新的思路对提高电子系统的可靠性具有重要意义。以小世界网络和随机网络为拓扑结构,构建以Izhikevich神经元为节点,兴奋性和抑制性突触可塑性共同调节的脉冲神经网络。以脉冲神经网络的放电率和膜电位相关性为抗扰指标评估小世界脉冲神经网络和随机脉冲神经网络的抗扰功能,并将两种网络的抗扰功能进行对比。实验结果表明:在高斯白噪声刺激下,小世界脉冲神经网络具有一定的抗扰功能和抗扰范围,其抗扰功能优于随机脉冲神经网络。     

基于突触巩固机制的前馈小世界神经网络设计

小世界神经网络具有较快的收敛速度和优越的容错性, 近年来得到广泛关注. 然而, 在网络构造过程中, 随机重连可能造成重要信息丢失, 进而导致网络精度下降. 针对该问题, 基于Watts-Strogatz (WS) 型小世界神经网络, 提出了一种基于突触巩固机制的前馈小世界神经网络(Feedforward small-world neural network based on synaptic consolidation, FSWNN-SC). 首先, 使用网络正则化方法对规则前馈神经网络进行预训练, 基于突触巩固机制, 断开网络不重要的权值连接, 保留重要的连接权值; 其次, 设计重连规则构造小世界神经网络, 在保证网络小世界属性的同时实现网络稀疏化, 并使用梯度下降算法训练网络; 最后, 通过4个UCI基准数据集和2个真实数据集进行模型性能测试, 并使用Wilcoxon符号秩检验对对比模型进行显著性差异检验. 实验结果表明: 所提出的FSWNN-SC模型在获得紧凑的网络结构的同时, 其精度显著优于规则前馈神经网络及其他WS型小世界神经网络.     

基于层连优化的新型小世界神经网络

对多层前向小世界神经网络的网络参数、权值修正策略以及网络结构进行改进, 提出一种基于层连优化的小世界神经网络的改进算法. 通过对比现有各种不同形式的小世界神经网络, 验证了上述改进的必要性. 仿真结果表明, 改进模型比现有小世界神经网络收敛速度更快, 逼近精度更高, 模型稳定性更强.     

基于网络熵的小世界网络形成分析

在小世界网络中,节点或边的改变使网络结构发生了演变,这意味着网络的熵也发生变化,因此可用网络的熵描述网络形成过程。经模拟实验发现:网络熵的变化是U型的;重连概率p决定熵的单调程度,而网络节点度k影响熵由降到增转变的时间。实验结果有助于以后更有效地对网络进行控制以及设计更加有效的网络形成模型。     

多层前向小世界神经网络及其函数逼近

借鉴复杂网络的研究成果, 探讨一种在结构上处于规则和随机连接型神经网络之间的网络模型—-多层前向小世界神经网络. 首先对多层前向规则神经网络中的连接依重连概率p进行重连, 构建新的网络模型, 对其特征参数的分析表明, 当0 < p < 1时, 该网络在聚类系数上不同于Watts-Strogatz 模型; 其次用六元组模型对网络进行描述; 最后, 将不同p值下的小世界神经网络用于函数逼近, 仿真结果表明, 当p = 0:1时, 网络具有最优的逼近性能, 收敛性能对比试验也表明, 此时网络在收敛性能、逼近速度等指标上要优于同规模的规则网络和随机网络.     

改进脉冲耦合神经网络的语音识别研究

提出了一种改进脉冲耦合神经网络(IPCNN)实现语音识别的方法。首先利用IPCNN来快速提取语音的语谱图图像特征,然后由概率神经网络(PNN)辅助来识别语音。通过训练语音样本来构成语音识别库并建立综合识别系统。实验结果表明,本方法相对于单独使用PCNN和PNN识别率分别提高了22.7%和39.4%,达到92%的识别率。     

基于RBF神经网络的感应电机自抗扰控制仿真

感应电机在工作过程中,容易受到外界干扰源的干扰,若干扰程度严重会造成电机故障,影响电机运行状态,为了提升感应电机的自抗扰能力,提出基于RBF神经网络的感应电机自抗扰控制方法。建立感应电机数学模型,依据电机损耗分析结果,确定电机内部非线性关系;结合RBF神经网络构建感应电机的控制系统,并将该系统划分成RBF网络辨识器以及自抗扰控制器两个部分,通过二者之间的有效结合,完成感应电机的自抗扰控制。实验结果表明,使用上述方法开展电机自抗扰控制时,响应速度较快,电机电流输出与实际结果之间差距较小,说明其控制性能较好。     

基于 BP 神经网络的无刷直流电机的自抗扰控制

无刷直流电机调速系统是多变量,非线性强耦合的非线性系统。它的齿槽转矩和负荷扰动性能很容易被参数的变化所影响。为了解决这个不足,论文将BP神经网络算法应用到自抗扰控制系统。自抗扰控制器是独立的精确的控制器,其扩张状态观测器可以准确地估计该系统的扰动。然而自抗扰控制器的非线性反馈参数是很难获得的,在文章中这些参数是来自BP神经网络。仿真结果表明,基于BP神经网络的自抗扰控制器能改善该伺服系统的快速性、控制精度适应性和鲁棒性。     

基于神经网络自抗扰控制的结晶器液位拉速协调系统研究

结晶器内钢水液位和铸坯拉速机理上是耦合关系. 为能控制更合理的钢水节奏, 提出了不同于现在各自单变量控制的液位和拉速综合控制方法. 通过实际对象, 从机理角度推出模型, 然后基于神经网络整定的自抗扰控制 (ADRC) 算法, 对结晶器液位拉速协调控制系统进行仿真试验. 仿真结果和现场曲线对该控制模型的准确性, 可行性和有效性进行了验证.     

双馈风力发电机系统的自抗扰神经网络的励磁控制

在双馈发电机传统控制方式的基础上, 将自抗扰控制技术和BP神经网络相结合结合, 应用于双馈风力发电机并网运行的控制上, 提出了一种新的双馈风力发电机并网运行控制方案. 该控制方案具有内外两个控制环, 内环通过BP神经网络实现双馈风力发电机的转子d-q轴电流控制, 外环通过自抗扰技术实现双馈风力发电机定子侧的有功、无功控制. 由于自抗扰控制器利用一阶跟踪微分器和扩张状态观测器对系统扰动进行动态跟踪补偿, 在此基础上输出双馈电机转子交--直轴电流的参考值, 然后将该参考值作为BP神经网络训练样本的输入, 训练后的BP神经网络可以更好地逼近实际转子电压输出量. 论文设计并实现了该方案的具体控制算法. 仿真测试表明: 该控制方案具有优良的动态性能, 对系统的内外扰动具有较强的鲁棒性, 在没有精确的发电机参数情况下依然可实现并网系统的稳定运行.     

面向类脑计算的脉冲神经网络研究

随着深度学习在训练成本、泛化能力、可解释性以及可靠性等方面的不足日益突出,类脑计算已成为下一代人工智能的研究热点。脉冲神经网络能更好地模拟生物神经元的信息传递方式,且具有计算能力强、功耗低等特点,在模拟人脑学习、记忆、推理、判断和决策等复杂信息方面具有重要的潜力。本文对脉冲神经网络从以下几个方面进行总结:首先阐述脉冲神经网络的基本结构和工作原理;在结构优化方面,从脉冲神经网络的编码方式、脉冲神经元改进、拓扑结构、训练算法以及结合其他算法这5个方面进行总结;在训练算法方面,从基于反向传播方法、基于脉冲时序依赖可塑性规则方法、人工神经网络转脉冲神经网络和其他学习算法这4个方面进行总结;针对脉冲神经网络的不足与发展,从监督学习和无监督学习两方面剖析;最后,将脉冲神经网络应用到类脑计算和仿生任务中。本文对脉冲神经网络的基本原理、编码方式、网络结构和训练算法进行了系统归纳,对脉冲神经网络的研究发展具有一定的积极意义。     

跨脉冲传播的深度脉冲神经网络训练方法

基于反向传播的脉冲神经网络（SNNs）的训练方法仍面临着诸多问题与挑战,包括脉冲发放过程不可微分、脉冲神经元具有复杂的时空动力过程等。此外,SNNs反向传播训练方法往往没有考虑误差信号在相邻脉冲间的关系,大大降低了网络模型的准确性。为此,提出一种跨脉冲误差传播的深度脉冲神经网络训练方法（cross-spike error backpropagation,CSBP）,将神经元的误差反向传播分成脉冲发放时间随突触后膜电位变化关系和相邻脉冲发放时刻点间的依赖关系两种依赖关系。其中,通过前者解决了脉冲不可微分的问题,通过后者明确了脉冲间的依赖关系,使得误差信号能跨脉冲传播,提升了生物合理性。此外,并对早期脉冲残差网络架构存在的模型表示能力不足问题进行研究,通过修改脉冲残余块的结构顺序,进一步提高了网络性能。实验结果表明,所提方法比基于脉冲时间的最优训练算法有着明显的提升,相同架构下,在CIFAR10数据集上提升2.98%,在DVS-CIFAR10数据集上提升2.26%。     

面向图像识别的多层脉冲神经网络学习算法综述

相较于第1代和第2代神经网络,第3代神经网络的脉冲神经网络是一种更加接近于生物神经网络的模型,因此更具有生物可解释性和低功耗性。基于脉冲神经元模型,脉冲神经网络可以通过脉冲信号的形式模拟生物信号在神经网络中的传播,通过脉冲神经元的膜电位变化来发放脉冲序列,脉冲序列通过时空联合表达不仅传递了空间信息还传递了时间信息。当前面向模式识别任务的脉冲神经网络模型性能还不及深度学习,其中一个重要原因在于脉冲神经网络的学习方法不成熟,深度学习中神经网络的人工神经元是基于实数形式的输出,这使得其可以使用全局性的反向传播算法对深度神经网络的参数进行训练,脉冲序列是二值性的离散输出,这直接导致对脉冲神经网络的训练存在一定困难,如何对脉冲神经网络进行高效训练是一个具有挑战的研究问题。本文首先总结了脉冲神经网络研究领域中的相关学习算法,然后对其中主要的方法:直接监督学习、无监督学习的算法以及ANN2SNN的转换算法进行分析介绍,并对其中代表性的工作进行对比分析,最后基于对当前主流方法的总结,对未来更高效、更仿生的脉冲神经网络参数学习方法进行展望。     

脉冲神经元脉冲序列学习方法综述

脉冲神经元是一种新颖的人工神经元模型,其有监督学习的目的是通过学习使得神经元激发出一串通过精确时间编码来表达特定信息的脉冲序列,故称为脉冲序列学习。针对单神经元的脉冲序列学习应用价值显著、理论基础多样、影响因素众多的特点,对已有脉冲序列学习方法进行了综述对比。首先介绍了脉冲神经元模型与脉冲序列学习的基本概念;然后详细介绍了典型的脉冲序列学习方法,指出了每种方法的理论基础和突触权值调整方式;最后通过实验比较了这些学习方法的性能,系统总结了每种方法的特点,并且讨论了脉冲序列学习的研究现状和进一步的发展方向。该研究结果有助于脉冲序列学习方法的综合应用。     

基于卷积计算的多层脉冲神经网络的监督学习

针对脉冲神经元基于精确定时的多脉冲编码信息的特点,提出了一种基于卷积计算的多层脉冲神经网络监督学习的新算法。该算法应用核函数的卷积计算将离散的脉冲序列转换为连续函数,在多层前馈脉冲神经网络结构中,使用梯度下降的方法得到基于核函数卷积表示的学习规则,并用来调整神经元连接的突触权值。在实验部分,首先验证了该算法学习脉冲序列的效果,然后应用该算法对Iris数据集进行分类。结果显示,该算法能够实现脉冲序列复杂时空模式的学习,对非线性模式分类问题具有较高的分类正确率。     

动态构造特征可调节的小世界P2P网络*

P2P网络是一个动态网络,静态模型并不适用于构造P2P网络。针对目前的动态模型都存在一定局限性,不能够根据需要调节不同的网络特征,提出一种新的小世界P2P网络的动态构造方法。该方法能够利用构造参数调节网络的平均度数、聚类系数和平均路径长度。仿真实验表明,随网络规模扩大网络持续维持良好的小世界特征,且构造参数能够有效地调节网络的小世界特征。     

基于脉冲神经网络与移动GPU计算的图像分类算法研究与实现

计算机视觉旨在通过计算机模拟人的视觉系统,让计算机学会"看",是人工智能、神经科学研究的一个热点。作为计算机视觉的经典任务,图像分类吸引了越来越多的研究,尤其是基于神经网络的算法在各种分类任务上表现优异。然而,传统浅层人工神经网络特征学习能力不强、生物可解释性不足,而深层神经网络存在过拟合、高功耗的缺点,因此在低功耗环境下具有生物可解释性的图像分类算法研究仍然是一个具有挑战性的任务。为了解决上述问题,结合脉冲神经网络,设计并实现了一种基于Jetson TK1和脉冲神经网络的图像分类算法。研究的主要创新点有:(1)设计了深度脉冲卷积神经网络算法,用于图像分类;(2)实现了基于CUDA改进的脉冲神经网络模型,并部署在Jetson TK1开发环境上。     

用于双阈值脉冲神经网络的改进自适应阈值算法

脉冲神经网络(spiking neural network, SNN)由于在神经形态芯片上低功耗和高速计算的独特性质而受到广泛的关注。深度神经网络(deep neural network, DNN)到SNN的转换方法是有效的脉冲神经网络训练方法之一,然而从DNN到SNN的转换过程中存在近似误差,转换后的SNN在短时间步长下遭受严重的性能退化。通过对转换过程中的误差进行详细分析,将其分解为量化和裁剪误差以及不均匀误差,提出了一种改进SNN阈值平衡的自适应阈值算法。通过使用最小化均方误差(MMSE)更好地平衡量化误差和裁剪误差;此外,基于IF神经元模型引入了双阈值记忆机制,有效解决了不均匀误差。实验结果表明,改进算法在CIFAR-10、CIFAR-100数据集以及MIT-BIH心律失常数据库上取得了很好的性能,对于CIFAR10数据集,仅用16个时间步长就实现了93.22%的高精度,验证了算法的有效性。     

无尺度、小世界Sierpinski网络统一模型

引入了单一参数的演化Sierpinski网络模型,统一了确定性和随机性两类Sierpinski网络模型。基于复杂网络理论提出的演化模型的一些特征能应用于对现实网络的研究。给出了推导度分布的算法和平均路径长度的仿真结果,数值仿真验证了理论分析的正确性,揭示了新网络模型的“小世界”特征。     

小世界网络模型下的无线传感器网络

复杂网络是具有复杂拓扑结构和动力学行为特征的大规模网络,无线传感器网络呈现出多种复杂网络特性,如多跳、自组织特性等,这表明可借助复杂网络理论研究无线传感器网络的拓扑结构和动力学特性。在无线传感器网络的复杂网络特征的基础上建立小世界网络模型。仿真表明小世界网络模型下的无线传感器网络符合小世界网络具备的性质。