面向类脑计算的脉冲神经网络研究

随着深度学习在训练成本、泛化能力、可解释性以及可靠性等方面的不足日益突出,类脑计算已成为下一代人工智能的研究热点。脉冲神经网络能更好地模拟生物神经元的信息传递方式,且具有计算能力强、功耗低等特点,在模拟人脑学习、记忆、推理、判断和决策等复杂信息方面具有重要的潜力。本文对脉冲神经网络从以下几个方面进行总结:首先阐述脉冲神经网络的基本结构和工作原理;在结构优化方面,从脉冲神经网络的编码方式、脉冲神经元改进、拓扑结构、训练算法以及结合其他算法这5个方面进行总结;在训练算法方面,从基于反向传播方法、基于脉冲时序依赖可塑性规则方法、人工神经网络转脉冲神经网络和其他学习算法这4个方面进行总结;针对脉冲神经网络的不足与发展,从监督学习和无监督学习两方面剖析;最后,将脉冲神经网络应用到类脑计算和仿生任务中。本文对脉冲神经网络的基本原理、编码方式、网络结构和训练算法进行了系统归纳,对脉冲神经网络的研究发展具有一定的积极意义。     

基于脉冲神经网络的车牌提取算法

在车牌识别系统中,主要包括车牌提取、字符分割和字符识别,其中车牌提取是非常关键的技术之一,是否精确提取车牌直接影响后阶段车牌图像处理的质量和处理速度、字符识别的精度和速度。本文提出基于脉冲神经网络的车牌提取算法。该算法主要分为两个部分:粗定位和精确定位。首先基于脉冲神经网络对车牌图像进行颜色特征提取,初步定位车牌区域;然后进行图像处理,此过程也是利用SNN进行边缘检测,能得到更好的车牌边缘图。此算法具有较高的定位率,能对各种底色车牌进行定位,有利于后面的字符分割和识别。     

多层前馈模糊神经网络进行图像识别

神经网络和模糊技术在模式识别领域中已有了广泛应用,两者有着各自的优势。针对神经网络模式识别中所遇到的问题,为了进一步提高分类器在样本分布不清晰情况下的识别能力,本文提出了两各将模糊机制引入神经网络的方法－输入模糊化方法和隐层模糊化方法,并在此基础上分别构造了模糊神经网络。实验结果表明,模糊神经网络较好地结合了神经网络和模糊技术的优点,取得了比传统网络更好的识别结果。     

基于脉冲频率与输入电流关系的SNN训练算法

脉冲神经网络(spiking neural network,SNN)以异步事件驱动,支持大规模并行计算,在改善同步模拟神经网络的计算效率方面具有巨大潜力.然而,目前SNN仍然面临无法直接训练的难题,为此,受到神经科学领域关于LIF(leaky integrate-and-fire)神经元响应机制研究启发,提出了一种新的...     

多层神经网络学习算法的研究

本文对多层神经网络的反向传播算法作了简要的分析和讨论,据此提出了一种新的学习算法用以消除多层网络的“迟钝状态”。实验结果表明,这种新算法能够加速学习收敛速度并避免陷入局部极小。     

脉冲神经网络:模型、学习算法与应用

脉冲神经网络是目前最具有生物解释性的人工神经网络,是类脑智能领域的核心组成部分.首先介绍各类常用的脉冲神经元模型以及前馈和循环型脉冲神经网络结构;然后介绍脉冲神经网络的时间编码方式,在此基础上,系统地介绍脉冲神经网络的学习算法,包括无监督学习和监督学习算法,其中监督学习算法按照梯度下降算法、结合STDP规则的算法和基于脉冲序列卷积核的算法3大类别分别展开详细介绍和总结;接着列举脉冲神经网络在控制领域、模式识别领域和类脑智能研究领域的应用,并在此基础上介绍各国脑计划中,脉冲神经网络与神经形态处理器相结合的案例;最后分析脉冲神经网络目前所存在的困难和挑战.     

利用卷积神经网络改进迭代深度学习算法的图像识别方法研究

针对图像识别算法中图像集上几何曲面的特定分类会导致判别信息丢失的问题,提出一种融合卷积神经网络的改进型迭代深度学习算法(IIDLA)。该算法采用混合卷积网(PCL)进行底层的平移不变特征学习,以层次化的方式迭代应用卷积神经网络(CNN)对输入图像集的不同非线性特征进行学习。算法的图库和查询实例中包括了不同视角、背景、面部表情、解析度和照明度的人脸或物体图像集。采用数据集将提出的算法与其他算法进行评估对比,实验结果表明,提出的算法在被测数据集上的性能最优。     

基于卷积计算的多层脉冲神经网络的监督学习

针对脉冲神经元基于精确定时的多脉冲编码信息的特点,提出了一种基于卷积计算的多层脉冲神经网络监督学习的新算法。该算法应用核函数的卷积计算将离散的脉冲序列转换为连续函数,在多层前馈脉冲神经网络结构中,使用梯度下降的方法得到基于核函数卷积表示的学习规则,并用来调整神经元连接的突触权值。在实验部分,首先验证了该算法学习脉冲序列的效果,然后应用该算法对Iris数据集进行分类。结果显示,该算法能够实现脉冲序列复杂时空模式的学习,对非线性模式分类问题具有较高的分类正确率。     

SOM神经网络算法的研究与进展

自组织映射(Self-organizing Maps，SOM)算法是一种无导师学习方法，具有良好的自组织、可视化等特性，已经得到了广泛的应用和研究。该文系统地介绍了SOM算法的产生背景、基本算法。同时对SOM算法的参数设置和其不足进行了分析。重点归纳了其发展过程中的各种改进算法，并对其研究热点及应用领域作了简要的综述，最后展望了该算法的发展方向。     

多层随机神经网络em算法

本文讨论了基于微分流形框架随机神经网络学习算法，称为ｅｍ学习算法；对于多层随机神经网络模型，我们从微分流形的角度分析它的对偶平坦流形结构，描述ｅｍ算法对于多层前馈随机神经网络模型学习算法实现和加速技术。     

基于脉冲神经网络的红外目标提取

模拟生物信息处理机制,设计了一种用于红外目标提取的脉冲神经网络(SNN)。首先,利用输入层脉冲神经元将激励图像转化为脉冲序列;其次,采用中间层脉冲神经元输出脉冲的密度编码红外图像目标的轮廓像素和非目标轮廓像素;最后,根据输出层神经元输出脉冲的密度是否超过阈值提取红外目标。实验结果表明,设计的脉冲神经网络具有较好的红外目标提取性能,并且符合生物视觉信息处理机制。     

跨脉冲传播的深度脉冲神经网络训练方法

基于反向传播的脉冲神经网络（SNNs）的训练方法仍面临着诸多问题与挑战,包括脉冲发放过程不可微分、脉冲神经元具有复杂的时空动力过程等。此外,SNNs反向传播训练方法往往没有考虑误差信号在相邻脉冲间的关系,大大降低了网络模型的准确性。为此,提出一种跨脉冲误差传播的深度脉冲神经网络训练方法（cross-spike error backpropagation,CSBP）,将神经元的误差反向传播分成脉冲发放时间随突触后膜电位变化关系和相邻脉冲发放时刻点间的依赖关系两种依赖关系。其中,通过前者解决了脉冲不可微分的问题,通过后者明确了脉冲间的依赖关系,使得误差信号能跨脉冲传播,提升了生物合理性。此外,并对早期脉冲残差网络架构存在的模型表示能力不足问题进行研究,通过修改脉冲残余块的结构顺序,进一步提高了网络性能。实验结果表明,所提方法比基于脉冲时间的最优训练算法有着明显的提升,相同架构下,在CIFAR10数据集上提升2.98%,在DVS-CIFAR10数据集上提升2.26%。     

融合LSTM结构的脉冲神经网络模型研究与应用

SNN是更具生物可解释性的新型网络模型。针对传统SNN模型表征能力有限,难以应用于实际任务的问题,对SNN处理脑电识别任务进行了研究,提出具有长短期记忆结构的SNN模型。首先采用改进的BSA编码算法处理脑电信号;然后构建具有自适应阈值的脉冲神经元模型;在此基础上,基于PyTorch框架建立结合LSTM结构的SNN模型;最后使用替代梯度的方法克服了脉冲序列不可微分的问题,在保留神经元动态特性的同时基于反向传播方法直接训练SNN。实验结果表明,改进的BSA更具灵活性和可靠性,同时,融合LSTM结构的SNN模型提高了网络的表征能力,在脑电识别任务中取得了与传统深度学习模型可竞争的精度。     

脉冲神经元脉冲序列学习方法综述

脉冲神经元是一种新颖的人工神经元模型,其有监督学习的目的是通过学习使得神经元激发出一串通过精确时间编码来表达特定信息的脉冲序列,故称为脉冲序列学习。针对单神经元的脉冲序列学习应用价值显著、理论基础多样、影响因素众多的特点,对已有脉冲序列学习方法进行了综述对比。首先介绍了脉冲神经元模型与脉冲序列学习的基本概念;然后详细介绍了典型的脉冲序列学习方法,指出了每种方法的理论基础和突触权值调整方式;最后通过实验比较了这些学习方法的性能,系统总结了每种方法的特点,并且讨论了脉冲序列学习的研究现状和进一步的发展方向。该研究结果有助于脉冲序列学习方法的综合应用。     

Supervised extended ART: A fast neural network classifier trained by combining supervised and unsupervised learning

A neural network classifier, called supervised extended ART (SEART), that incorporates a supervised mechanism into the extended unsupervised ART is presented here. It uses a learning theory called Nested Generalized Exemplar (NGE) theory. In any time, the training instances may or may not have desired outputs, that is, this model can handle supervised learning and unsupervised learning simultaneously. The unsupervised component finds the cluster relations of instances, and the supervised component learns the desired associations between clusters and classes. In addition, this model has the ability of incremental learning. It works equally well when instances in a cluster belong to different classes. Also, multi-category and nonconvex classifications can be dealt with. Besides, the experimental results are very encouraging.     

深度医学图像配准研究进展：迈向无监督学习

在疾病诊断、手术引导及放射性治疗等图像辅助诊疗场景中,将不同时间、不同模态或不同设备的图像通过合理的空间变换进行配准是必要的处理流程之一。随着深度学习的快速发展,基于深度学习的医学图像配准研究以其耗时短、精度高的优势吸引了研究者的广泛关注。本文全面整理了2015—2019年深度医学图像配准方向的论文,系统地分析了深度医学图像配准领域的最新研究进展,展现了深度配准算法研究从迭代优化到一步预测、从有监督学习到无监督学习的总体发展趋势。具体来说,本文在界定深度医学图像配准问题和介绍配准研究分类方法的基础上,以相关算法的网络训练过程中所使用的监督信息多少作为分类标准,将深度医学图像配准划分为全监督、双监督与弱监督、无监督医学图像配准方法。全监督配准方法通过采用随机变换、传统算法和模型生成等方式获取近似的金标准作为监督信息;双监督、无监督配准方法通过引入图像相似度损失、标签相似度损失等其他监督信息以降低对金标准的依赖;无监督配准方法则完全消除对标注数据的需要,仅使用图像相似度损失和正则化损失监督网络训练。目前,无监督医学图像算法已经成为医学图像配准领域的研究重点,在无需获得代价高昂的标注信息下就能够取得与有监督和传统方法相当甚至更高的配准精度。在此基础上,本文进一步讨论了医学图像配准研究后续可能的4个未来挑战,希望能够为更高精度、更高效率的深度医学图像配准算法的研究提供方向,并推动深度医学图像配准技术在临床诊疗中落地应用。     

Adaptive fuzzy spiking neural P systems for fuzzy inference and learning

Fuzzy spiking neural P systems (in short, FSN P systems) are a novel class of distributed parallel computing models, which can model fuzzy production rules and apply their dynamic firing mechanism to achieve fuzzy reasoning. However, these systems lack adaptive/learning ability. Addressing this problem, a class of FSN P systems are proposed by introducing some new features, called adaptive fuzzy spiking neural P systems (in short, AFSN P systems). AFSN P systems not only can model weighted fuzzy production rules in fuzzy knowledge base but also can perform dynamically fuzzy reasoning. It is important to note that AFSN P systems have learning ability like neural networks. Based on neuron's firing mechanisms, a fuzzy reasoning algorithm and a learning algorithm are developed. Moreover, an example is included to illustrate the learning ability of AFSN P systems.     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。