类脑神经网络与神经形态器件及其电路综述

为了系统地了解类脑神经网络电路,在对类脑神经网络进行简要介绍的基础之上,重点阐述两种类别的神经形态器件及功能,包括不同类型的浮栅管和不同工艺材料的忆阻器来模拟单个神经元和突触可塑性功能;然后,以神经形态器件为基础,分别介绍了基于浮栅管和忆阻器实现神经网络电路;最后总结当前神经形态器件及类脑神经网络芯片存在的问题,并对有关类脑计算研究方向进行了展望.     

类脑机的思想与体系结构综述

经典计算机的理论边界在1936年就由图灵确定了,冯·诺依曼体系结构计算机也受限于图灵机模型.囿于神经形态器件的缺失,神经网络模型一直在经典计算机上运行.然而,冯·诺依曼体系结构与神经网络的异步并行结构及通信机制并不匹配,表现之一是功耗巨大,发展面向神经网络的体系结构,对于人工智能乃至一般意义上的信息处理都是重要方向.类脑机是仿照生物神经网络、采用神经形态器件构造的、以时空信息处理为特征的智能机器.类脑机的思想在计算机发明之前就提出了,研究开发实践也已经进行了30多年,多台类脑系统已经上线运行,其中SpiNNaker专注于类脑系统的体系结构研究,提出了一种行之有效的类脑方案.未来20年左右,预计模式动物大脑和人脑的精细解析将逐步完成,模拟生物神经元和神经突触信息处理功能的神经形态器件及集成工艺将逐步成熟,结构逼近大脑、性能远超大脑的类脑机有望实现.类脑机像生物大脑一样都是脉冲神经网络,神经形态器件具有真正的随机性,因此类脑机具备丰富的非线性动力学行为.已证明任何图灵机均可由脉冲神经网络构造出来,类脑机在理论上是否能够超越图灵机,是需要突破的一个重大问题.     

大规模类脑计算系统BiCoSS: 架构、实现及应用

人脑具有协同多种认知功能的能力与极强的自主学习能力, 随着脑与神经科学的快速发展, 亟需计算结构模拟人脑的、性能更强大的计算平台进行人脑智能与认知行为机制的进一步探索. 受人脑神经机制的启发, 本文提出了基于神经认知计算架构的众核类脑计算系统BiCoSS, 该系统以并行计算的现场可编程门阵列(Field-programmable gate array, FPGA)为核心处理器, 以地址事件表达的神经放电作为信息传递载体, 以具有认知计算功能的神经元作为信息处理单元, 实现了四百万神经元数量级大规模神经元网络认知行为的实时计算, 填补了从细胞动力学层面理解人脑认知功能的鸿沟. 实验结果从计算能力、计算效率、功耗、通信效率、可扩展性等方面显示了BiCoSS系统的优越性能. BiCoSS通过人脑信息处理的计算架构以更贴近神经科学本质的模式实现了类脑智能; 同时, BiCoSS为神经认知和类脑计算的研究和应用提供了新的有效手段.     

脉冲神经网络研究进展综述

近年来,起源于计算神经科学的脉冲神经网络因其具有丰富的时空动力学特征、多样的编码机制、契合硬件的事件驱动特性等优势,在神经形态工程和类脑计算领域已得到广泛的关注.脉冲神经网络与当前计算机科学导向的以深度卷积网络为代表的人工神经网络的交叉融合被认为是发展人工通用智能的有力途径.对此,回顾了脉冲神经网络的发展历程,将其划分为神经元模型、训练算法、编程框架、数据集以及硬件芯片等5个重点方向,全方位介绍脉冲神经网络的最新进展和内涵,讨论并分析了脉冲神经网络领域各个重点方向的发展机遇和挑战.希望本综述能够吸引不同学科的研究者,通过跨学科的思想交流与合作研究,推动脉冲神经网络领域的发展.     

脉冲神经网络:模型、学习算法与应用

脉冲神经网络是目前最具有生物解释性的人工神经网络,是类脑智能领域的核心组成部分.首先介绍各类常用的脉冲神经元模型以及前馈和循环型脉冲神经网络结构;然后介绍脉冲神经网络的时间编码方式,在此基础上,系统地介绍脉冲神经网络的学习算法,包括无监督学习和监督学习算法,其中监督学习算法按照梯度下降算法、结合STDP规则的算法和基于脉冲序列卷积核的算法3大类别分别展开详细介绍和总结;接着列举脉冲神经网络在控制领域、模式识别领域和类脑智能研究领域的应用,并在此基础上介绍各国脑计划中,脉冲神经网络与神经形态处理器相结合的案例;最后分析脉冲神经网络目前所存在的困难和挑战.     

类脑心智计算的科学技术和工程应用的研究与思考

发展新一代的类脑智能，需要综合考虑形成自然智能的结构、功能和行为等研究，偏颇任一方向都是不全面的，难以完全触及智能的本质。文中基于神经系统的结构仿真、认知系统的功能模仿和自然智能的行为模拟，定义了类脑心智计算(BMC)的基本概念，提出了BMC的假设、模型和框架，研究了BMC的前沿理论。在大脑机制、心智模式和行为控制上，分析了当前BMC研究的技术路线、核心算法和关键技术，综述了BMC的复杂系统和工程应用现状。结合智能科学、神经科学、认知科学、信息科学和计算数学等多学科的交叉融合特征，进一步讨论了BMC的科研范式和跨学科建设问题。BMC研究将有望在新一代类脑智能的科学理论、技术创新和工程系统上取得重大突破。     

用于超高速神经形态计算的光子突触

基于非冯·诺依曼体系结构的神经形态计算是有望实现高效人工智能的一种方式。神经态计算系统主要由突触和神经元组成。目前已有不同的技术路线开发出多种电子神经形态设备的研究。神经形态光子技术结合了神经网络的高效率和光子的高速度来构建计算系统,通过光学手段进行计算,具有超快的操作速度,大的带宽和无电互连功率损耗等潜在固有优势,因而受到越来越多的关注。本文回顾了光子突触研究的最新进展。     

类脑计算新发展——“TrueNorth”神经元芯片

类脑计算是一种基于神经网络的全新数据存储和计算技术,通过模拟大脑的工作机理,可以突破传统计算机处理大型问题时遇到的冯·诺依曼瓶颈,在显著提高信息处理速度的同时大幅降低功耗,并且具有自我学习和自适应能力。介绍了IBM最新研究的TrueNorth神经元芯片技术,包括其基本架构、工作原理、芯片性能、应用成果等,并展望了类脑计算技术的未来发展前景。     

基于FPGA的类脑计算平台通用系统架构设计

目前,类脑计算所面临的最具挑战性的问题之一是如何高性能且低功耗地进行大规模类脑仿真。本文选用应用生态完整、支持大规模仿真的NEST类脑仿真器,针对NEST类脑仿真器可移植性差、仿真速度慢等问题,设计了一种ARM+FPGA的类脑计算平台的通用性系统架构。本设计采用硬件加速神经元计算模块、通用数据传输接口设计、软硬件协同设计等方法提升了NEST类脑仿真器的性能。在3款类脑计算平台上证明了该架构的可行性,为类脑计算平台提供了一种通用解决方案。     

脉冲神经网络研究现状及展望

脉冲神经网络(Spiking Neural Network,SNN)包含具有时序动力学特性的神经元节点、稳态-可塑性平衡的突触结构、功能特异性的网络环路等,高度借鉴了生物启发的局部非监督(如脉冲时序依赖可塑性、短时突触可塑性、局部稳态调节等)、全局弱监督(如多巴胺奖赏学习、基于能量的函数优化等)的生物优化方法,因此具有强大的时空信息表征、异步事件信息处理、网络自组织学习等能力.SNN的研究属于交叉学科,将深入融合脑科学和计算机科学,因此对其研究也可以主要分为两大类:一类是以更好地理解生物系统为最终目的 ;另一类是以追求卓越计算性能为优化目标.本文首先对当前这两大类SNN的研究进展、研究特点等进行分析,重点介绍基于Spike的多类异步信息编码、基于Motif分布的多亚型复杂网络结构、多层时钟网络自组织计算、神经形态计算芯片的软硬结合等.同时,介绍一种融合生物多尺度、多类型神经可塑性的高效SNN优化策略,使得SNN中的信度分配可以从宏观尺度有效覆盖到微观尺度,如全部的网络输出、网络隐层状态、局部的各个神经节点等,并部分解答生物系统是如何通过局部参数的调优而实现全局网络优化的问题.这将不仅为现有人工智能模型提高其认知能力指明一种可能的生物类优化方向,还为反向促进生命科学中生物神经网络的可塑性研究新发现提供启发.本文认为,脉冲神经网络的发展目标不是构建人工神经网络的生物版本替代品,而是通过突破生物启发的多尺度可塑性优化理论,去粗取精,最终实现具有生物认知计算特色的新一代高效脉冲神经网络模型,使其有望获得更快的学习速度、更小的能量消耗、更强的适应性和更好的可解释性等.     

一种类脑处理器片上网络的验证框架

近年来,随着摩尔定律的放缓,传统体系结构逐渐面临“存储墙”和“功耗墙”问题。如今新型计算模式和体系结构层出不穷,其中就包含了类脑计算。由于其存算一体的特点,类脑计算已逐步打破了冯·诺依曼体系结构带来的“存储墙”和“功耗墙”限制,在类脑处理器上相关类脑算法得到了高效的应用。现阶段在大规模生物神经网络的应用场景下,需要提升多核类脑处理器的规模可扩展性,保持其高数据吞吐量和低传输延时。现今,大多数多核类脑处理器的设计采用片上网络作为互连结构。然而目前关于这类片上网络的验证研究还相对较少。鉴于片上网络对多核类脑处理器的重要性,建立一套完整而鲁棒的片上网络功能验证框架意义重大。旨在基于随机化方法来生成行为级和FPGA硬件级测试所需的激励文件,通过对日志文件进行高效处理实现较为全面的功能验证。     

面向类脑计算的脉冲神经网络研究

随着深度学习在训练成本、泛化能力、可解释性以及可靠性等方面的不足日益突出,类脑计算已成为下一代人工智能的研究热点。脉冲神经网络能更好地模拟生物神经元的信息传递方式,且具有计算能力强、功耗低等特点,在模拟人脑学习、记忆、推理、判断和决策等复杂信息方面具有重要的潜力。本文对脉冲神经网络从以下几个方面进行总结:首先阐述脉冲神经网络的基本结构和工作原理;在结构优化方面,从脉冲神经网络的编码方式、脉冲神经元改进、拓扑结构、训练算法以及结合其他算法这5个方面进行总结;在训练算法方面,从基于反向传播方法、基于脉冲时序依赖可塑性规则方法、人工神经网络转脉冲神经网络和其他学习算法这4个方面进行总结;针对脉冲神经网络的不足与发展,从监督学习和无监督学习两方面剖析;最后,将脉冲神经网络应用到类脑计算和仿生任务中。本文对脉冲神经网络的基本原理、编码方式、网络结构和训练算法进行了系统归纳,对脉冲神经网络的研究发展具有一定的积极意义。     

Why build a virtual brain? Large-scale neural simulations as jump start for cognitive computing

Abstract

Despite the impressive amount of financial resources recently invested in carrying out large-scale brain simulations, it is controversial what the pay-offs are of pursuing this project. One idea is that from designing, building, and running a large-scale neural simulation, scientists acquire knowledge about the computational performance of the simulating system, rather than about the neurobiological system represented in the simulation. It has been claimed that this knowledge may usher in a new era of neuromorphic, cognitive computing systems. This study elucidates this claim and argues that the main challenge this era is facing is not the lack of biological realism. The challenge lies in identifying general neurocomputational principles for the design of artificial systems, which could display the robust flexibility characteristic of biological intelligence.     

Flexible memristor based neuromorphic system for implementing multi-layer neural network algorithms

Abstract

This paper describes a memristor-based neuromorphic system that can be used for ex situ training of various multi-layer neural network algorithms. This system is based on an analogue neuron circuit that is capable of performing an accurate dot product calculation. The presented ex situ programming technique can be used to map many key neural algorithms directly onto the grid of resistances in a memristor crossbar. Using this weight-to-crossbar mapping approach along with the memristor based circuit architecture, complex neural algorithms can be easily implemented using this system. Some existing memristor based circuits provide an approximated dot product based on conductance summation, but neuron outputs are not directly correlated to the numerical values obtained in a traditional software approach. To show the effectiveness and versatility of this circuit, two different powerful neural networks were simulated. These include a Restricted Boltzmann Machine for character recognition and a Multilayer Perceptron trained to perform Sobel edge detection. Following these simulations, an analysis was presented that shows how both memristor accuracy and neuron circuit gain relates to output error.     

基于局部平面拟合的神经形态视觉光流估计算法

在新一代人工智能领域中,神经形态视觉是类脑计算的一个重要研究方向。事件相机具有低功耗、低信息冗余以及高动态范围等优点,在智能飞行器、敏捷机器人的自主控制场景中具有重要应用价值。本文根据事件序列的时空特性,研究基于局部平面拟合的光流估计原理,提出一种运用特征值法进行局部平面拟合来估计光流的算法,并采用随机抽样一致方法进一步提高算法的稳健性。实验表明,本文方法能够有效进行神经形态视觉的光流估计,并且对噪声具有一定的稳健性。     

基于ZYNQ集群的神经形态计算加速研究与实现

基于脉冲神经网络（SNN）的神经形态计算由于工作机理更接近于生物大脑,被认为有望克服深度学习的不足而成为解决人工智能问题的更佳途径。但是如何满足高性能、低功耗和适应规模伸缩需求是神经形态计算系统需要解决的挑战性问题。基于FPGA异构计算平台ZYNQ集群,在NEST类脑仿真器上,重点解决了具有脉冲时间依赖可塑性（STDP）突触计算复杂度高、并行度低、硬件资源占用大的问题。实验结果表明,设计的方法在8节点ZYNQ 7030集群上,性能是Xeon E5-2620 CPU的14.7倍。能效比方面,是Xeon E5-2620 CPU的51.6倍,是8节点ARM Cortex-A9的20.6倍。     

基于忆阻器交叉阵列的卷积神经网络电路设计

由于在神经形态计算方面具有优良的性能,忆阻器交叉阵列引起了研究者的广泛关注.利用忆阻器与传统器件提出了1个改进的忆阻器交叉阵列电路,可以准确地存储权重与偏置,结合相应的编码方案后可以运算点积操作,并将其用于卷积神经网络中的卷积核、池化与分类器部分.利用改进的忆阻器交叉阵列和基于卷积神经网络本身拥有的高容错性,还设计了1个忆阻卷积神经网络结构,可以完成1个基本卷积神经网络算法.在卷积操作后直接存储模拟形式的计算结果,使得卷积操作与池化操作之间避免了1次模数-数模转换过程.实验结果表明:设计的面积为0.852 5cm\\+2芯片上的运算性能是1台计算机速度的1 770倍,在面积基本相当的前提下,性能比前人设计的电路提高了7.7倍.设计存在可以接受的微小识别误差开销,与软件运行结果相比,此电路在每个忆阻器存储6b或8b信息的情况下平均识别误差分别只增加了0.039%与0.012%.     

轻量化神经网络卷积设计研究进展

传统神经网络具有过度依赖硬件资源和对应用设备性能要求较高的缺点,因此无法部署于算力有限的边缘设备和移动终端上,人工智能技术的应用发展在一定程度上受到了限制.然而,随着科技时代的到来,受用户需求影响的人工智能迫切需要在便携式设备上能成功进行如计算机视觉应用等方面的操作.为此,以近几年流行的轻量化神经网络中的卷积部分为研究...