类脑计算脉冲神经网络模型及其学习算法研究进展

深度神经网络在实际应用中的局限性日益凸显，具备生物可解释性的类脑计算脉冲神经网络成为了人们研究的热点课题。应用场景的不确定性及复杂多样性给研究者提出了新的挑战，要求类似生物大脑组织具备多尺度架构的类脑计算脉冲神经网络，能够实现对多模态、不确定性信息的感知决策功能。文中主要介绍了多尺度生物合理性的类脑计算脉冲神经网络模型及其面向多模态信息表征和不确定信息感知的学习算法，并分析探讨了基于忆阻器互联的脉冲神经网络可实现多尺度架构类脑计算的两个关键技术问题，即多模态、不确定信息与脉冲时序表示一致性问题和多尺度脉冲神经网络学习算法与容错计算问题。最后，对类脑计算脉冲神经网络的研究方向进行了分析与展望。     

概率计算脉冲神经网络异步架构

概率计算是将二进制数编码为概率脉冲序列进行运算,具有功耗低、资源消耗少的优势,将概率计算应用于脉冲神经网络(spiking neuron network,SNN)的硬件电路设计,有利于实现类脑模式的运算.为了实现神经网络的低功耗边缘计算,本文提出一种基于概率计算的SNN异步架构.使用异步微流水线控制的交叉阵列实现LIF...     

不同聚类系数无标度脉冲神经网络动态特性对比分析

拓扑结构可以影响脉冲神经网络的功能。聚类系数是反映网络连通性的重要拓扑性质之一，基于不同聚类系数拓扑进行脉冲神经网络的研究对于进一步理解网络拓扑性质对网络功能影响具有重要意义。以Izhikevich神经元模型为节点，突触可塑性为边，分别构建高、低聚类系数无标度拓扑的脉冲神经网络，评估并对比两种网络的动态特性。实验结果表明，两种网络动态特性随时间均先剧烈变化而后逐渐趋于稳定；在网络连接强度、局部和全局信息传输效率、小世界属性方面，高聚类均比低聚类无标度脉冲神经网络更具优势。     

基于多超声传感器信息和NeuCube的移动机器人走廊场景识别

为提高室内移动机器人的环境感知能力,针对其常处的结构化走廊场景的分类、Spiking神经网络(SNN)和基于SNN的新型计算模型NeuCube进行研究。SNN利用尖脉冲传递时、空信息,比传统的神经网络更适于动态、时序信息的分析,以及各种模式信息的识别和分类。此外,SNN更易于用硬件实现。在对NeuCube的基本原理、学习方法和计算步骤进行讨论的基础上,利用多超声传感信息和NeuCube对室内移动机器人常处的7种走廊场景进行识别。实验结果表明基于多超声传感信息和NeuCube的移动机器人走廊场景分类方法可以对7种走廊场景进行有效识别,该方法有助于增强移动机器人的自主性和提高其智能水平。     

全局异步局部同步的带阈值的脉冲神经膜系统

带阈值的脉冲神经膜系统是一类生物启发式计算模型，提出该系统的灵感来自神经元电位变化与其活动的联系。对于带阈值的脉冲神经膜系统的计算能力研究，人们已证明该系统在极大同步工作模式下，作为产生数或接受数的计算设备时，是与图灵机等价(计算通用)的，而该系统在其他工作模式下的计算能力如何也是人们普遍关心的问题。文中研究的是带阈值脉冲神经膜系统在全局异步局部同步模式下产生数的能力，证明了突触带整数权重的相应系统是计算通用的，而突触带正整数权重的相应系统只能产生半线性数集。研究结果表明，突触权重的取值范围影响着全局异步局部同步工作模式下带阈值脉冲神经膜系统的计算能力。     

面向类脑计算的脉冲神经网络研究

随着深度学习在训练成本、泛化能力、可解释性以及可靠性等方面的不足日益突出,类脑计算已成为下一代人工智能的研究热点。脉冲神经网络能更好地模拟生物神经元的信息传递方式,且具有计算能力强、功耗低等特点,在模拟人脑学习、记忆、推理、判断和决策等复杂信息方面具有重要的潜力。本文对脉冲神经网络从以下几个方面进行总结:首先阐述脉冲神经网络的基本结构和工作原理;在结构优化方面,从脉冲神经网络的编码方式、脉冲神经元改进、拓扑结构、训练算法以及结合其他算法这5个方面进行总结;在训练算法方面,从基于反向传播方法、基于脉冲时序依赖可塑性规则方法、人工神经网络转脉冲神经网络和其他学习算法这4个方面进行总结;针对脉冲神经网络的不足与发展,从监督学习和无监督学习两方面剖析;最后,将脉冲神经网络应用到类脑计算和仿生任务中。本文对脉冲神经网络的基本原理、编码方式、网络结构和训练算法进行了系统归纳,对脉冲神经网络的研究发展具有一定的积极意义。     

基于自适应编码的脉冲神经网络

脉冲神经网络(SNN)采用脉冲序列表征和传递信息,与传统人工神经网络相比更具有生物可解释性,但典型SNN的特征提取能力受到其结构限制,对于图像数据等多分类任务的识别准确率不高,不能与卷积神经网络相媲美。为此提出一种新型的自适应编码脉冲神经网络(SCSNN),将CNN的特征提取能力与SNN的生物可解释性结合起来,采用生物神经元动态脉冲触发特性构建网络结构,并设计了一种新的替代梯度反向传播方法直接训练网络参数。所提出的SCSNN分别在MNIST和Fashion-MNIST数据集进行验证,取得较好的识别结果,在MNIST数据集上准确率达到了99.62%,在Fashion-MNIST数据集上准确率达到了93.52%,验证了其有效性。     

进化大规模脉冲神经网络的发育方法

通过自然进化得到的脑包含几十亿的神经元和几万亿的神经连接,并表现出复杂的智能行为.受生物脑进化与发育的启发,研究者给出了进化神经网络的发育编码方法,特点是通过基因重用可在较小的基因空间中进行大规模神经网络的快速搜索.以人工基因组模型为框架描述基因调控网络,用基因表达的动态特性表示细胞命运特化的发育过程,提出了一种进化大规模脉冲神经网络的发育方法.该方法的特点在于可以快速有效地发育生成脉冲神经元、神经连接和突触可塑性.相应的食物采集进化实验突现了以神经驱动的自主智能体的智能行为,并验证了该方法对大规模脉冲神经网络的进化能力.     

基于Simulink平台的脉冲神经网络前向传播模型的建立与仿真

脉冲神经网络(SNN)被誉为第三代神经网络,近年来受到许多学者的关注,其优势已经在模式识别、计算机视觉等诸多领域得到了发挥。脉冲神经网络的硬件化是实现其强大计算能力的重要途径,而使用相关的软件对硬件系统进行建模和仿真,是复杂硬件系统设计的首要问题。为了获得合理的硬件设计方案,在Simulink平台上,首先建立脉冲神经网络突触的模型,并得到较为理想的突触响应曲线。在此基础上,建立一个完整的脉冲神经网络前向传播模型。仿真结果显示,通过训练可以解决传统的异或问题。     

基于脉冲频率与输入电流关系的SNN训练算法

脉冲神经网络（spiking neural network,SNN）以异步事件驱动,支持大规模并行计算,在改善同步模拟神经网络的计算效率方面具有巨大潜力。然而,目前SNN仍然面临无法直接训练的难题,为此,受到神经科学领域关于LIF（leaky integrate-and-fire）神经元响应机制研究启发,提出了一种新的基于频率编码的SNN训练算法。通过仿真实验对LIF神经元发放脉冲频率进行建模,得到LIF神经元脉冲频率与输入电流之间显示表达关系,并将其导数作为梯度,解决了SNN训练过程中离散脉冲事件产生的不可微性问题,使得可利用BP算法对SNN进行训练。现有基于频率编码的方法采用时间信用分配机制进行参数更新,通常具有较差的学习效率,为此,采用LIF神经元响应机制更新网络参数,提高了学习效率。在MNIST和CIFAR10数据集上的实验结果验证了所提方法的有效性,分类精度分别达到了99.53%和89.46%,在CIFAR10数据上的识别精度相较于先前研究者提高了4.22个百分点,在学习效率方面相较于先前采用时间信用分配方法提高了一倍左右。