概率计算神经网络硬件架构

概率计算(逻辑)是一种将二进制转换为概率编码的数字脉冲码流的逻辑计算,以计算精度与时延为代价,具有低功耗、高能效的计算优势.阐释了概率计算的基本概念,设计了单通道与多通道的概率计算电路,有效提高了概率计算的速度与精度.基于所提出概率计算电路,设计了概率脉冲神经元,从而实现了神经网络的可重构计算架构——北航筹算.该设计采用KINTEX-7(FPGA)实现,相较于传统二进制阵列乘法器构成的乘加器计算单元,概率计算的逻辑资源开销(LUT)降低80％.在SCNN网络计算实验中,测试运行了LeNet与AlexNet,时钟频率350 MHz条件下,均值能效可达0.536 TSOPS/W,PE利用率可达90％以上.     

类脑处理器异步片上网络架构

类脑处理器较深度学习处理器具有能效优势.类脑处理器的片上互连一般采用具有可扩展性高、吞吐量高和通用性高等特点的片上网络.为了解决采用同步片上网络面临的全局时钟树时序难以收敛的问题以及采用异步片上网络面临的链路延迟匹配、缺乏电子设计自动化工具实现和验证的问题,提出了一种异步片上网络架构——NosralC,用于构建全局异步局部同步（global asynchronous local synchronous,GALS）的多核类脑处理器. NosralC采用异步链路和同步路由器实现.实验表明,NosralC较同步基线,在4个类脑应用数据集下展现出37.5%～38.9%的功耗降低、5.5%～8.0%的平均延迟降低和36.7%～47.6%的能效提升,同时增加不多于6%的额外资源以及带来较小的性能开销（吞吐量降低0.8%～2.4%）. NosralC在现场可编程门阵列（FPGA）上得到了验证,证明了该架构的可实现性.     

基于网格的神经网络计算平台的架构

介绍了神经网络计算平台在网格上的架构。由于神经网络应用环境的复杂性及要求处理大量数据的问题,从而神经网络计算需要超强的计算能力,因此在神经网络计算平台中引入了网格的思想,力图建立一个基于网格的神经网络计算平台。平台使用Globus工具,采用了统一控制和完全托管的思想。鉴于神经网络算法的复杂性和大数据量,神经计算算法在网格上进行适合各自特性的分解。     

脉冲神经网络研究进展综述

近年来,起源于计算神经科学的脉冲神经网络因其具有丰富的时空动力学特征、多样的编码机制、契合硬件的事件驱动特性等优势,在神经形态工程和类脑计算领域已得到广泛的关注.脉冲神经网络与当前计算机科学导向的以深度卷积网络为代表的人工神经网络的交叉融合被认为是发展人工通用智能的有力途径.对此,回顾了脉冲神经网络的发展历程,将其划分为神经元模型、训练算法、编程框架、数据集以及硬件芯片等5个重点方向,全方位介绍脉冲神经网络的最新进展和内涵,讨论并分析了脉冲神经网络领域各个重点方向的发展机遇和挑战.希望本综述能够吸引不同学科的研究者,通过跨学科的思想交流与合作研究,推动脉冲神经网络领域的发展.     

基于卷积计算的多层脉冲神经网络的监督学习

针对脉冲神经元基于精确定时的多脉冲编码信息的特点,提出了一种基于卷积计算的多层脉冲神经网络监督学习的新算法。该算法应用核函数的卷积计算将离散的脉冲序列转换为连续函数,在多层前馈脉冲神经网络结构中,使用梯度下降的方法得到基于核函数卷积表示的学习规则,并用来调整神经元连接的突触权值。在实验部分,首先验证了该算法学习脉冲序列的效果,然后应用该算法对Iris数据集进行分类。结果显示,该算法能够实现脉冲序列复杂时空模式的学习,对非线性模式分类问题具有较高的分类正确率。     

改进脉冲耦合神经网络的语音识别研究

提出了一种改进脉冲耦合神经网络(IPCNN)实现语音识别的方法。首先利用IPCNN来快速提取语音的语谱图图像特征,然后由概率神经网络(PNN)辅助来识别语音。通过训练语音样本来构成语音识别库并建立综合识别系统。实验结果表明,本方法相对于单独使用PCNN和PNN识别率分别提高了22.7%和39.4%,达到92%的识别率。     

面向类脑计算的脉冲神经网络研究

随着深度学习在训练成本、泛化能力、可解释性以及可靠性等方面的不足日益突出,类脑计算已成为下一代人工智能的研究热点。脉冲神经网络能更好地模拟生物神经元的信息传递方式,且具有计算能力强、功耗低等特点,在模拟人脑学习、记忆、推理、判断和决策等复杂信息方面具有重要的潜力。本文对脉冲神经网络从以下几个方面进行总结:首先阐述脉冲神经网络的基本结构和工作原理;在结构优化方面,从脉冲神经网络的编码方式、脉冲神经元改进、拓扑结构、训练算法以及结合其他算法这5个方面进行总结;在训练算法方面,从基于反向传播方法、基于脉冲时序依赖可塑性规则方法、人工神经网络转脉冲神经网络和其他学习算法这4个方面进行总结;针对脉冲神经网络的不足与发展,从监督学习和无监督学习两方面剖析;最后,将脉冲神经网络应用到类脑计算和仿生任务中。本文对脉冲神经网络的基本原理、编码方式、网络结构和训练算法进行了系统归纳,对脉冲神经网络的研究发展具有一定的积极意义。     

基于脉冲神经网络与移动GPU计算的图像分类算法研究与实现

计算机视觉旨在通过计算机模拟人的视觉系统,让计算机学会"看",是人工智能、神经科学研究的一个热点。作为计算机视觉的经典任务,图像分类吸引了越来越多的研究,尤其是基于神经网络的算法在各种分类任务上表现优异。然而,传统浅层人工神经网络特征学习能力不强、生物可解释性不足,而深层神经网络存在过拟合、高功耗的缺点,因此在低功耗环境下具有生物可解释性的图像分类算法研究仍然是一个具有挑战性的任务。为了解决上述问题,结合脉冲神经网络,设计并实现了一种基于Jetson TK1和脉冲神经网络的图像分类算法。研究的主要创新点有:(1)设计了深度脉冲卷积神经网络算法,用于图像分类;(2)实现了基于CUDA改进的脉冲神经网络模型,并部署在Jetson TK1开发环境上。     

不同重连概率的小世界脉冲神经网络抗扰功能研究

现今各种电磁干扰对电子系统造成的不良影响越来越严重,传统防护方式的局限性日益凸显。电磁仿生学由此被提出,目的是通过借鉴生物体的自适应抗扰的优良特性,以期建立新的防护模式。构建了以Izhikevich神经元模型为节点,兴奋性和抑制性突触可塑性模型共同调节基于小世界网络拓扑的小世界脉冲神经网络;基于复杂网络理论对比分析了不同重连概率的小世界网络的拓扑特性;对比分析了不同重连概率的小世界脉冲神经网络在高斯白噪声刺激下的抗扰功能。实验结果表明:小世界网络的平均路径长度和全局效率值受重连概率的影响较小,平均聚类系数和小世界属性受重连概率的影响较大;构建的不同重连概率的脉冲神经网络均具有一定抗扰功能且高聚类系数和低平均路径长度显著的小世界脉冲神经网络抗扰功能最优。     

跨脉冲传播的深度脉冲神经网络训练方法

基于反向传播的脉冲神经网络（SNNs）的训练方法仍面临着诸多问题与挑战,包括脉冲发放过程不可微分、脉冲神经元具有复杂的时空动力过程等。此外,SNNs反向传播训练方法往往没有考虑误差信号在相邻脉冲间的关系,大大降低了网络模型的准确性。为此,提出一种跨脉冲误差传播的深度脉冲神经网络训练方法（cross-spike error backpropagation,CSBP）,将神经元的误差反向传播分成脉冲发放时间随突触后膜电位变化关系和相邻脉冲发放时刻点间的依赖关系两种依赖关系。其中,通过前者解决了脉冲不可微分的问题,通过后者明确了脉冲间的依赖关系,使得误差信号能跨脉冲传播,提升了生物合理性。此外,并对早期脉冲残差网络架构存在的模型表示能力不足问题进行研究,通过修改脉冲残余块的结构顺序,进一步提高了网络性能。实验结果表明,所提方法比基于脉冲时间的最优训练算法有着明显的提升,相同架构下,在CIFAR10数据集上提升2.98%,在DVS-CIFAR10数据集上提升2.26%。     

Stochastic Resonance in Continuous and Spiking Neuron Models With Levy Noise

Levy noise can help neurons detect faint or subthreshold signals. Levy noise extends standard Brownian noise to many types of impulsive jump-noise processes found in real and model neurons as well as in models of finance and other random phenomena. Two new theorems and the ItÔ calculus show that white Levy noise will benefit subthreshold neuronal signal detection if the noise process's scaled drift velocity falls inside an interval that depends on the threshold values. These results generalize earlier “forbidden interval” theorems of neuronal “stochastic resonance” (SR) or noise-injection benefits. Global and local Lipschitz conditions imply that additive white Levy noise can increase the mutual information or bit count of several feedback neuron models that obey a general stochastic differential equation (SDE). Simulation results show that the same noise benefits still occur for some infinite-variance stable Levy noise processes even though the theorems themselves apply only to finite-variance Levy noise. The Appendix proves the two ItÔ-theoretic lemmas that underlie the new Levy noise-benefit theorems.      

基于脉冲神经网络的迁移学习算法与软件框架

使用脉冲序列进行数据处理的脉冲神经网络具有优异的低功耗特性,但由于学习算法不成熟,多层网络训练存在收敛困难的问题。利用反向传播网络具有学习算法成熟和训练速度快的特点,设计一种迁移学习算法。基于反向传播网络完成训练过程,并通过脉冲编码规则和自适应的权值映射关系,将训练结果迁移至脉冲神经网络。实验结果表明,在多层脉冲神经网络中,迁移学习算法能够有效解决训练过程中收敛困难的问题,在MNIST数据集和CIFAR-10数据集上的识别准确率分别达到98.56%和56.00%,且具有微瓦级别的低功耗特性。     

基于脉冲序列合成核的脉冲神经元在线监督学习算法

脉冲神经网络使用时间编码的方式进行数据处理,是进行复杂时空信息处理的有效工具。为此,将多脉冲序列合成核引入脉冲序列处理过程,提出一种在线监督学习算法,采用累加和累积合成核机制进行实验学习,并与基于单一核函数的在线PSD算法进行比较。实验结果表明,该算法具有较好的学习性能,特别在数据样本较大时优势更为突出。同时结果也表明,通过多个核函数的组合可以获得更稳定高效的脉冲序列合成核表示。     

基于节点机计算能力的网络计算体系

文章提出一种在网络环境下充分利用节点机计算能力的网络计算体系,该体系由应用任务请求分配器、节点机、分布式应用服务器、数据库服务器等组成。文章定义了该体系各个组成部分的功能,给出了具体的实现框架,设计并实现了高效的请求分配算法LATI。文章给出了这种网络计算体系的应用实例,经过测试和比较,证明此计算结构实现简单,具有良好的实用性、高效性和可扩展性。     

孪生网络跟踪算法并行计算结构研究

基于嵌入式平台的复杂背景目标跟踪技术在智能视频监控设备、无人机跟踪等领域有重要作用.卷积神经网络在跟踪问题上有准确率高、鲁棒性强的优点,但基于卷积特征的算法计算复杂度高,受嵌入式平台面积和功耗的限制,实时性难以满足嵌入式平台应用场景的需求.针对基于卷积特征的跟踪算法计算复杂度高、存储参数量大的难题,率先提出一种利用FP...     

Modular Neural Tile Architecture for Compact Embedded Hardware Spiking Neural Network

Biologically-inspired packet switched network on chip (NoC) based hardware spiking neural network (SNN) architectures have been proposed as an embedded computing platform for classification, estimation and control applications. Storage of large synaptic connectivity (SNN topology) information in SNNs require large distributed on-chip memory, which poses serious challenges for compact hardware implementation of such architectures. Based on the structured neural organisation observed in human brain, a modular neural networks (MNN) design strategy partitions complex application tasks into smaller subtasks executing on distinct neural network modules, and integrates intermediate outputs in higher level functions. This paper proposes a hardware modular neural tile (MNT) architecture that reduces the SNN topology memory requirement of NoC-based hardware SNNs by using a combination of fixed and configurable synaptic connections. The proposed MNT contains a 16:16 fully-connected feed-forward SNN structure and integrates in a mesh topology NoC communication infrastructure. The SNN topology memory requirement is 50 % of the monolithic NoC-based hardware SNN implementation. The paper also presents a lookup table based SNN topology memory allocation technique, which further increases the memory utilisation efficiency. Overall the area requirement of the architecture is reduced by an average of 66 % for practical SNN application topologies. The paper presents micro-architecture details of the proposed MNT and digital neuron circuit. The proposed architecture has been validated on a Xilinx Virtex-6 FPGA and synthesised using 65 nm low-power CMOS technology. The evolvable capability of the proposed MNT and its suitability for executing subtasks within a MNN execution architecture is demonstrated by successfully evolving benchmark SNN application tasks representing classification and non-linear control functions. The paper addresses hardware modular SNN design and implementation challenges and contributes to the development of a compact hardware modular SNN architecture suitable for embedded applications     

一种面向边缘计算的高效异步联邦学习机制

随着物联网和移动设备性能的不断提高,一种新型计算架构——边缘计算——应运而生.边缘计算的出现改变了数据需要集中上传到云端进行处理的局面,最大化利用边缘物联网设备的计算和存储能力.边缘计算节点对本地数据进行处理,不再需要把大量的本地数据上传到云端进行处理,减少了数据传输的延时.在边缘网络设备上进行人工智能运算的需求也在逐日增大,因为联邦学习机制不需要把数据集中后进行模型训练,所以更适合于节点平均数据量有限的边缘网络机器学习的场景.针对以上挑战,提出了一种面向边缘网络计算的高效异步联邦学习机制(efficient asynchronous federated learning mechanism for edge network computing, EAFLM),根据自适应的阈值对训练过程中节点与参数服务器之间的冗余通信进行压缩.其中,双重权重修正的梯度更新算法,允许节点在学习的任何过程中加入或退出联邦学习.实验显示提出的方法将梯度通信压缩至原通信次数的8.77%时,准确率仅降低0.03%.