概率计算脉冲神经网络异步架构

概率计算是将二进制数编码为概率脉冲序列进行运算,具有功耗低、资源消耗少的优势,将概率计算应用于脉冲神经网络(spiking neuron network,SNN)的硬件电路设计,有利于实现类脑模式的运算.为了实现神经网络的低功耗边缘计算,本文提出一种基于概率计算的SNN异步架构.使用异步微流水线控制的交叉阵列实现LIF...     

大规模类脑计算系统BiCoSS: 架构、实现及应用

人脑具有协同多种认知功能的能力与极强的自主学习能力, 随着脑与神经科学的快速发展, 亟需计算结构模拟人脑的、性能更强大的计算平台进行人脑智能与认知行为机制的进一步探索. 受人脑神经机制的启发, 本文提出了基于神经认知计算架构的众核类脑计算系统BiCoSS, 该系统以并行计算的现场可编程门阵列(Field-programmable gate array, FPGA)为核心处理器, 以地址事件表达的神经放电作为信息传递载体, 以具有认知计算功能的神经元作为信息处理单元, 实现了四百万神经元数量级大规模神经元网络认知行为的实时计算, 填补了从细胞动力学层面理解人脑认知功能的鸿沟. 实验结果从计算能力、计算效率、功耗、通信效率、可扩展性等方面显示了BiCoSS系统的优越性能. BiCoSS通过人脑信息处理的计算架构以更贴近神经科学本质的模式实现了类脑智能; 同时, BiCoSS为神经认知和类脑计算的研究和应用提供了新的有效手段.     

多媒体技术研究:2015——类脑计算的研究进展与发展趋势

目的 类脑计算,是指仿真、模拟和借鉴大脑神经网络结构和信息处理过程的装置、模型和方法,其目标是制造类脑计算机和类脑智能。方法 类脑计算相关研究已经有20多年的历史,本文从模拟生物神经元和神经突触的神经形态器件、神经网络芯片、类脑计算模型与应用等方面对国内外研究进展和面临的挑战进行介绍,并对未来的发展趋势进行展望。结果 与经典人工智能符号主义、连接主义、行为主义以及机器学习的统计主义这些技术路线不同,类脑计算采取仿真主义：结构层次模仿脑（非冯·诺依曼体系结构）,器件层次逼近脑（模拟神经元和神经突触的神经形态器件）,智能层次超越脑（主要靠自主学习训练而不是人工编程）。结论 目前类脑计算离工业界实际应用还有较大差距,这也为研究者提供了重要研究方向与机遇。     

面向类脑计算的脉冲神经网络研究

随着深度学习在训练成本、泛化能力、可解释性以及可靠性等方面的不足日益突出,类脑计算已成为下一代人工智能的研究热点。脉冲神经网络能更好地模拟生物神经元的信息传递方式,且具有计算能力强、功耗低等特点,在模拟人脑学习、记忆、推理、判断和决策等复杂信息方面具有重要的潜力。本文对脉冲神经网络从以下几个方面进行总结:首先阐述脉冲神经网络的基本结构和工作原理;在结构优化方面,从脉冲神经网络的编码方式、脉冲神经元改进、拓扑结构、训练算法以及结合其他算法这5个方面进行总结;在训练算法方面,从基于反向传播方法、基于脉冲时序依赖可塑性规则方法、人工神经网络转脉冲神经网络和其他学习算法这4个方面进行总结;针对脉冲神经网络的不足与发展,从监督学习和无监督学习两方面剖析;最后,将脉冲神经网络应用到类脑计算和仿生任务中。本文对脉冲神经网络的基本原理、编码方式、网络结构和训练算法进行了系统归纳,对脉冲神经网络的研究发展具有一定的积极意义。     

基于神经网络的一种概率谱特征提取方法

表达了一种概率谱特征提取方法、并行、自组织、分层神经网络（ＰＳＨＮＮ）在训练是在缩文尚未对输入矢量产生最佳分类、可提高精确率。     

脉冲神经网络研究进展综述

近年来,起源于计算神经科学的脉冲神经网络因其具有丰富的时空动力学特征、多样的编码机制、契合硬件的事件驱动特性等优势,在神经形态工程和类脑计算领域已得到广泛的关注.脉冲神经网络与当前计算机科学导向的以深度卷积网络为代表的人工神经网络的交叉融合被认为是发展人工通用智能的有力途径.对此,回顾了脉冲神经网络的发展历程,将其划分为神经元模型、训练算法、编程框架、数据集以及硬件芯片等5个重点方向,全方位介绍脉冲神经网络的最新进展和内涵,讨论并分析了脉冲神经网络领域各个重点方向的发展机遇和挑战.希望本综述能够吸引不同学科的研究者,通过跨学科的思想交流与合作研究,推动脉冲神经网络领域的发展.     

基于网格的神经网络计算平台的架构

介绍了神经网络计算平台在网格上的架构。由于神经网络应用环境的复杂性及要求处理大量数据的问题,从而神经网络计算需要超强的计算能力,因此在神经网络计算平台中引入了网格的思想,力图建立一个基于网格的神经网络计算平台。平台使用Globus工具,采用了统一控制和完全托管的思想。鉴于神经网络算法的复杂性和大数据量,神经计算算法在网格上进行适合各自特性的分解。     

脉冲神经网络研究现状及展望

脉冲神经网络(Spiking Neural Network,SNN)包含具有时序动力学特性的神经元节点、稳态-可塑性平衡的突触结构、功能特异性的网络环路等,高度借鉴了生物启发的局部非监督(如脉冲时序依赖可塑性、短时突触可塑性、局部稳态调节等)、全局弱监督(如多巴胺奖赏学习、基于能量的函数优化等)的生物优化方法,因此具有强大的时空信息表征、异步事件信息处理、网络自组织学习等能力.SNN的研究属于交叉学科,将深入融合脑科学和计算机科学,因此对其研究也可以主要分为两大类:一类是以更好地理解生物系统为最终目的 ;另一类是以追求卓越计算性能为优化目标.本文首先对当前这两大类SNN的研究进展、研究特点等进行分析,重点介绍基于Spike的多类异步信息编码、基于Motif分布的多亚型复杂网络结构、多层时钟网络自组织计算、神经形态计算芯片的软硬结合等.同时,介绍一种融合生物多尺度、多类型神经可塑性的高效SNN优化策略,使得SNN中的信度分配可以从宏观尺度有效覆盖到微观尺度,如全部的网络输出、网络隐层状态、局部的各个神经节点等,并部分解答生物系统是如何通过局部参数的调优而实现全局网络优化的问题.这将不仅为现有人工智能模型提高其认知能力指明一种可能的生物类优化方向,还为反向促进生命科学中生物神经网络的可塑性研究新发现提供启发.本文认为,脉冲神经网络的发展目标不是构建人工神经网络的生物版本替代品,而是通过突破生物启发的多尺度可塑性优化理论,去粗取精,最终实现具有生物认知计算特色的新一代高效脉冲神经网络模型,使其有望获得更快的学习速度、更小的能量消耗、更强的适应性和更好的可解释性等.     

概率神经网络故障诊断的粗糙集优化方法

针对径向基概率神经网络故障诊断输入量过多会影响网络学习效率的问题,提出了一种基于粗糙集的概率神经网络故障诊断优化方法.该方法用模糊C均值聚类将故障诊断训练数据离散化,使用粗糙集化简由输入输出属性构成的决策表,利用约简后的输入量重新构建神经网络故障诊断模型,使原有模型得到优化并以柴油机故障诊断为例说明该方法的有效性.     

概率神经网络预测股票市场的涨跌

概率神经网络提供了一个贝叶斯决策,并且具有训练速度快,可以实时更换数据的优势,在金融领域的分析预测中有一定的应用价值,文章应用概率神经网络对上证180指数的变化方向进行了预测,结果表明了概率神经网络在预测股票市场涨跌方面的实用性。     

Modular Neural Tile Architecture for Compact Embedded Hardware Spiking Neural Network

Biologically-inspired packet switched network on chip (NoC) based hardware spiking neural network (SNN) architectures have been proposed as an embedded computing platform for classification, estimation and control applications. Storage of large synaptic connectivity (SNN topology) information in SNNs require large distributed on-chip memory, which poses serious challenges for compact hardware implementation of such architectures. Based on the structured neural organisation observed in human brain, a modular neural networks (MNN) design strategy partitions complex application tasks into smaller subtasks executing on distinct neural network modules, and integrates intermediate outputs in higher level functions. This paper proposes a hardware modular neural tile (MNT) architecture that reduces the SNN topology memory requirement of NoC-based hardware SNNs by using a combination of fixed and configurable synaptic connections. The proposed MNT contains a 16:16 fully-connected feed-forward SNN structure and integrates in a mesh topology NoC communication infrastructure. The SNN topology memory requirement is 50 % of the monolithic NoC-based hardware SNN implementation. The paper also presents a lookup table based SNN topology memory allocation technique, which further increases the memory utilisation efficiency. Overall the area requirement of the architecture is reduced by an average of 66 % for practical SNN application topologies. The paper presents micro-architecture details of the proposed MNT and digital neuron circuit. The proposed architecture has been validated on a Xilinx Virtex-6 FPGA and synthesised using 65 nm low-power CMOS technology. The evolvable capability of the proposed MNT and its suitability for executing subtasks within a MNN execution architecture is demonstrated by successfully evolving benchmark SNN application tasks representing classification and non-linear control functions. The paper addresses hardware modular SNN design and implementation challenges and contributes to the development of a compact hardware modular SNN architecture suitable for embedded applications     

An Efficient,Low-Cost Routing Architecture for Spiking Neural Network Hardware Implementations

Neural Processing Letters - The basic processing units in brain are neurons and synapses that are interconnected in a complex pattern and show many surprised information processing capabilities....     

The Architecture and Performance of a Stochastic Competitive Evolutionary Neural Tree Network

A new dynamic tree structured network—the Stochastic Competitive Evolutionary Neural Tree (SCENT) is introduced. The network is able to provide a hierarchical classification of unlabelled data sets. The main advantage that SCENT offers over other hierarchical competitive networks is its ability to self-determine the number and structure of the competitive nodes in the network without the need for externally set parameters. The network produces stable classificatory structures by halting its growth using locally calculated, stochastically controlled, heuristics. The performance of the network is analysed by comparing its results with that of a good non-hierarchical clusterer, and with three other hierarchical clusterers and its non stochastic predecessor. SCENT's classificatory capabilities are demonstrated by its ability to produce a representative hierarchical structure to classify a broad range of data sets.     

一种ODSM模型的并行计算结构及其硬件实现

本文首先给出了序化动力系统模型(ODSM),对ODSM的性能进行了分析.根据ODSM的特点,提出了一种基于ODSM的视觉信息联想存储器(VIAM)的并行处理硬件实现方案,实验结果表明该方案是有效的.     

基于节点机计算能力的网络计算体系

文章提出一种在网络环境下充分利用节点机计算能力的网络计算体系,该体系由应用任务请求分配器、节点机、分布式应用服务器、数据库服务器等组成。文章定义了该体系各个组成部分的功能,给出了具体的实现框架,设计并实现了高效的请求分配算法LATI。文章给出了这种网络计算体系的应用实例,经过测试和比较,证明此计算结构实现简单,具有良好的实用性、高效性和可扩展性。     

孪生网络跟踪算法并行计算结构研究

基于嵌入式平台的复杂背景目标跟踪技术在智能视频监控设备、无人机跟踪等领域有重要作用.卷积神经网络在跟踪问题上有准确率高、鲁棒性强的优点,但基于卷积特征的算法计算复杂度高,受嵌入式平台面积和功耗的限制,实时性难以满足嵌入式平台应用场景的需求.针对基于卷积特征的跟踪算法计算复杂度高、存储参数量大的难题,率先提出一种利用FP...     

控制中的一种神经网络结构

本文介绍通过利用神经网络计算算法怎样将神经网络两个重要的计算特点用于自适应控制。以单自由度机械手为例,对神经形态控制方法和模型参考自适应控制方法进行比较,对很大规模的系统,利用神经网络作为自适应控制提供定速,比传统的方法优越。     

硬件加速神经网络综述

人工神经网络目前广泛应用于人工智能的应用当中,如语音助手、图像识别和自然语言处理等.随着神经网络愈加复杂,计算量也急剧上升,传统的通用芯片在处理复杂神经网络时受到了带宽和能耗的限制,人们开始改进通用芯片的结构以支持神经网络的有效处理.此外,研发专用加速芯片也成为另一条加速神经网络处理的途径.与通用芯片相比,它能耗更低,性能更高.通过介绍目前通用芯片和专用芯片对神经网络所作的支持,了解最新神经网络硬件加速平台设计的创新点和突破口.具体来说,主要概述了神经网络的发展,讨论各类通用芯片为支持神经网络所作的改进,其中包括支持低精度运算和增加一个加速神经网络处理的计算模块.然后从运算结构和存储结构的角度出发,归纳专用芯片在体系结构上所作的定制设计,另外根据神经网络中各类数据的重用总结了各个神经网络加速器所采用的数据流.最后通过对已有加速芯片的优缺点分析,给出了神经网络加速器未来的设计趋势和挑战.     

加密网卡硬件架构研究

研究了加密网卡的一般硬件构架,针对流水型构架控制模块功能复杂、设计难度大的问题,提出了一种复合型硬件构架,能有效降低加密网卡的设计难度和控制复杂度,并基于该构架设计了加密网卡原型卡。经大量数据测试表明,该构架加密网卡在性能与效率之间取得了良好的均衡。