脉冲神经网络:模型、学习算法与应用

脉冲神经网络是目前最具有生物解释性的人工神经网络,是类脑智能领域的核心组成部分.首先介绍各类常用的脉冲神经元模型以及前馈和循环型脉冲神经网络结构;然后介绍脉冲神经网络的时间编码方式,在此基础上,系统地介绍脉冲神经网络的学习算法,包括无监督学习和监督学习算法,其中监督学习算法按照梯度下降算法、结合STDP规则的算法和基于脉冲序列卷积核的算法3大类别分别展开详细介绍和总结;接着列举脉冲神经网络在控制领域、模式识别领域和类脑智能研究领域的应用,并在此基础上介绍各国脑计划中,脉冲神经网络与神经形态处理器相结合的案例;最后分析脉冲神经网络目前所存在的困难和挑战.     

大规模类脑计算系统BiCoSS: 架构、实现及应用

人脑具有协同多种认知功能的能力与极强的自主学习能力, 随着脑与神经科学的快速发展, 亟需计算结构模拟人脑的、性能更强大的计算平台进行人脑智能与认知行为机制的进一步探索. 受人脑神经机制的启发, 本文提出了基于神经认知计算架构的众核类脑计算系统BiCoSS, 该系统以并行计算的现场可编程门阵列(Field-programmable gate array, FPGA)为核心处理器, 以地址事件表达的神经放电作为信息传递载体, 以具有认知计算功能的神经元作为信息处理单元, 实现了四百万神经元数量级大规模神经元网络认知行为的实时计算, 填补了从细胞动力学层面理解人脑认知功能的鸿沟. 实验结果从计算能力、计算效率、功耗、通信效率、可扩展性等方面显示了BiCoSS系统的优越性能. BiCoSS通过人脑信息处理的计算架构以更贴近神经科学本质的模式实现了类脑智能; 同时, BiCoSS为神经认知和类脑计算的研究和应用提供了新的有效手段.     

脉冲神经网络研究进展综述

近年来,起源于计算神经科学的脉冲神经网络因其具有丰富的时空动力学特征、多样的编码机制、契合硬件的事件驱动特性等优势,在神经形态工程和类脑计算领域已得到广泛的关注.脉冲神经网络与当前计算机科学导向的以深度卷积网络为代表的人工神经网络的交叉融合被认为是发展人工通用智能的有力途径.对此,回顾了脉冲神经网络的发展历程,将其划分为神经元模型、训练算法、编程框架、数据集以及硬件芯片等5个重点方向,全方位介绍脉冲神经网络的最新进展和内涵,讨论并分析了脉冲神经网络领域各个重点方向的发展机遇和挑战.希望本综述能够吸引不同学科的研究者,通过跨学科的思想交流与合作研究,推动脉冲神经网络领域的发展.     

用遗传算法优化神经网络结构

本文介绍了一种用遗传算法对神经网络和连接权值同时优化的方法，该神经网络的神经元节点可以一定程度地反馈连接，再通过基因链矩阵把神经网络的结构完整地表示，遗传进化学习后，最优个体是结构最优的神经网络，使用该方法可以设计出结构未知的神经网络，本文最后对ＸＯＲ问题进行了计算。     

基于PCNN的交通路径寻优算法研究

路径寻优作为智能交通系统的重要组成部分,搜索效率需要提高,但是目前的算法未能快速准确地实现大规模交通路网路径寻优的计算功能。本文提出脉冲耦合神经网络（PCNN）求解最短路径,根据PCNN独特的自动波并行传播特性,结合大规模路网“节点数目多、结构复杂”的特点,采用PCNN改进模型。各神经元点火形成脉冲波在路网传播,记录最先到达脉冲波走过的路径为最短路径。最后给出路径搜索实现算法并与蚁群算法、Dijkstra算法比较,通过实例验证了改进模型和算法的有效性,该算法对求解大规模实时问题具有一定优越性。     

脉冲神经元环路振荡发放与环路选择

在Izhikevich提出的脉冲神经元模型中,引入随机变化的输入电流,使神经元的脉冲发放具有随机性,不同数量的神经元采用连接权值组成网络的脉冲发放。实验结果表明,选择适当的连接权值可以得到环路的持续振荡发放。通过脉冲发放,可以在网络中选择神经环路,完成环路记忆联想过程,并给出研究脉冲神经智能的新思路。     

改进的PCNN用于遥感图像分割

遥感图像通常具有分辨率低、对比度弱的特点,采用经典的脉冲耦合神经网络模型分割时,难以得到理想的分割效果.为了解决这一问题,考虑神经元之间的相似程度和神经元之间距离的远近,采用高斯函数定义神经元之间的相似度,重新描述神经元之间的激励和抑制关系,改进了连接输入项和动态阈值,得到新颖的脉冲耦合神经网络模型,对新模型的动态行为进行理论分析.为了进一步说明改进方法的有效性,对遥感图像进行仿真对比实验,实验结果表明改进的脉冲耦合神经网络模型优于其它分割方法,更适用于遥感图像的分割.     

进化神经网络的编码方法与应用

进化神经网络将进化算法与人工神经网络进行了有机结合,进化算法的参与使神经网络系统在进化发育过程中可自适应的进行网络结构与连接权值的调整,改善了神经网络在模拟仿真过程中自主智能化不足的缺陷,提高了神经网络系统的生物真实性。随着研究的深入,大量不同类型的进化神经网络相继出现,根据基因编码方式的不同,可将进化神经网络分为直接编码型和间接编码型两类。本文对神经网络中基因的编码方式进行了阐述分析,最后总结了间接编码方法的应用领域。     

基于改进郊狼优化算法的浅层神经进化方法研究

神经进化作为一种不同于随机梯度下降的神经网络训练方法,现已成为机器学习研究领域的一个重要分支.如何设计更好的进化策略,探索新型神经网络权值的神经进化方法是当前研究的热点问题之一.本文提出了一种基于改进郊狼优化算法的浅层神经网络进化方法.该方法首先通过引入自适应影响权重因子与选择性的混沌扰动执行机制分别从收敛速度和寻优能力两个方面对传统郊狼优化算法进行了改进.其次,以改进郊狼优化算法为神经进化策略,融入到浅层神经网络的神经进化过程,并以BP神经网络为例,构建了一种全新的BP神经网络权值、阈值优化更新方法.最后,文中采用UCI标准数据库中几组代表性数据验证了算法的有效性.实验结果表明:改进郊狼优化算法的进化策略充分发挥了启发式优化算法在BP神经网络参数空间中的全局寻优能力,能够快速逼近最优解,经过神经进化后的BP神经网络在分类任务中表现出了优异性能,充分验证了改进郊狼优化算法作为一种新型神经进化策略的可行性和有效性.本文研究成果丰富并拓展了神经进化领域的研究内容,为构建以神经进化为主体的新型机器学习工具箱提供了重要的参考依据.     

基于生物机制脉冲神经网络的特征提取

脉冲神经元可以被用于处理生物刺激并且可以解释大脑复杂的智能行为。脉冲神经网络以非常逼近生物的神经元模型作为处理单元,可以直接用来仿真脑科学中发现的神经网络计算模型,输出的脉冲信号还可与生物神经系统对接。而小波变换是一个非常有利的时频分析工具,它可以有效的压缩图像并且提取图像的特征。本文中将提出一种与人类视觉系统的开/关神经元阵列相结合的脉冲神经网络,来实现针对视觉图像的快速小波变换。仿真结果显示,这个脉冲神经网络可以很好地保留视觉图像的关键特征。