精细神经网络仿真方法研究进展

树突对大脑神经元实现不同的信息处理功能有着重要作用。精细神经元模型是一种对神经元树突以及离子通道的信息处理过程进行精细建模的模型,可以帮助科学家在实验条件的限制之外探索树突信息处理的特性。由精细神经元组成的精细神经网络模型可通过仿真对大脑的信息处理过程进行模拟,对于理解树突的信息处理机制、大脑神经网络功能背后的计算机理具有重要作用。然而,精细神经网络仿真需要进行大量计算,如何对精细神经网络进行高效仿真是一个具有挑战的研究问题。本文对精细神经网络仿真方法进行梳理,介绍了现有主流仿真平台与核心仿真算法,以及可进一步提升仿真效率的高效仿真方法。将具有代表性的高效仿真方法按照发展历程以及核心思路分为网络尺度并行方法、神经元尺度并行方法以及基于GPU(graphics processing unit)的并行仿真方法3类。对各类方法的核心思路进行总结,并对各类方法中代表性工作的细节进行分析介绍。随后对各类方法所具有的优劣势进行分析对比,对一些经典方法进行总结。最后根据高效仿真方法的发展趋势,对未来研究工作进行展望。     

pH中和系统辨识中的人工神经网络应用

pH中和作为化工、生物、发电和污水处理中的一个重要过程,具有极强的非线性和不确定性,很难对其进行精确建模,因此,pH值的控制一直是工业过程控制中的一个难题。本文借鉴了计算机领域中神经网络(NN)在非线性系统建模中的显著作用,结合对pH中和过程机理的分析,建立了基于BP神经网络的辨识模型,对典型的pH中和过程系统辨识进行了仿真研究,并进行了相关试验。试验结果表明:神经网络在pH中和过程辨识中具有较高的辨识精度,有着广阔的应用前景。     

多主并行处理加固计算机设计和实现

采用Intel Xeon LV处理器,利用先进的EDA工具和仿真软件进行高速串行总线的合理布局布线,实现了一种支持多主并行处理的加固计算机。根据应用,构建了基于高速互连网络的计算机硬件系统,结合成熟的商用并行软件,对计算机系统并行能力进行了测试;针对抗恶劣环境应用,特别是热设计,通过热分析、建模仿真(Icepak)等手段,实现计算机系统的环境设计。     

基于突触离子通道动力学神经元网络的高效并行仿真算法

在计算神经科学领域,大规模神经元网络的并行仿真对探索和揭示生物大脑中信息传递机制有着重要作用。为加速大规模神经元网络仿真,提出一种模块独立性强、耦合度低的基于突触递质-受体离子通道动力学的神经元网络的并行算法。通过分析化学突触信息传递机理及递质分子、受体离子通道动力学特征,提出了递质-受体计算分离的思想,增强了突触前神经元引起的递质分子浓度计算与突触后绑定状态的受体浓度计算之间的独立性,降低突触电流计算中突触前神经元状态和突触后神经元状态之间的耦合度。基于上述思想,设计并实现了一种生物神经网络并行算法。仿真结果表明了该算法的高效性。     

生物序列模式分析中神经网络的并行训练策略

神经网络作为模式识别、数据挖掘等方面的有效工具,已被广泛应用到生物序列的模式分析中,而生物序列的超大规模、超长同时也给神经网络提出了挑战,即必须解决训练时间过长、效率低下的问题。本文提出了若干适合生物应用的神经网络并行训练策略,并按其神经网络粒度进行分类,同时分析和比较了各种策略的代价。     

基于精细神经元的类脑感知学习模型

大脑如何实现学习以及感知功能对于人工智能和神经科学领域均是一个重要问题.现有人工神经网络由于结构和计算机制与真实大脑相差较大,无法直接用于理解真实大脑学习以及处理感知任务的机理.树突神经元模型是一种对大脑神经元树突信息处理过程进行建模仿真的计算模型,相比人工神经网络更接近生物真实.使用树突神经网络模型处理学习感知任务对理解真实大脑的学习过程有重要作用.然而,现有基于树突神经元网络的学习模型大都局限于简化树突模型,无法完整建模树突的信号处理过程.针对这一问题,提出一种基于精细中型多棘神经元网络的学习模型,使得精细神经网络可以通过学习完成相应感知任务.实验表明,在经典的图像分类任务上,所提模型可以达到很好的分类性能.此外,精细神经网络对于噪声干扰有很强的鲁棒性.对网络特性进行进一步分析,发现学习后网络中的神经元表现出了刺激选择性这种神经科学中的经典现象,表明所提模型具有一定的生物可解释性,同时也表明刺激选择特性可能是大脑通过学习完成感知任务的一种重要特性.     

基于MATLAB的BP神经网络建模及系统仿真

将MATLAB中的神经网络工具箱和Simulink有机结合起来,并充分利用它们各自的优势,实现了神经网络控制系统（NNCS）的计算机仿真。具体仿真实例表明,MATLAB是进行人工神经网络计算机仿真的有效工具。     

自发荧光成像中光子传输蒙卡仿真的并行实现

在生物自发光成像领域,将基于蒙特卡罗方法的光子前向传输仿真进行并行化,提高了仿真的速度。首先介绍了所采用的一系列并行机制和串行加速算法,然后分别对并行仿真结果进行正确性验证和性能验证,并与软件MOSE、triMC3D的结果进行了对比,最后对该并行平台进行了总结和展望。     

类脑机的思想与体系结构综述

经典计算机的理论边界在1936年就由图灵确定了,冯·诺依曼体系结构计算机也受限于图灵机模型.囿于神经形态器件的缺失,神经网络模型一直在经典计算机上运行.然而,冯·诺依曼体系结构与神经网络的异步并行结构及通信机制并不匹配,表现之一是功耗巨大,发展面向神经网络的体系结构,对于人工智能乃至一般意义上的信息处理都是重要方向.类脑机是仿照生物神经网络、采用神经形态器件构造的、以时空信息处理为特征的智能机器.类脑机的思想在计算机发明之前就提出了,研究开发实践也已经进行了30多年,多台类脑系统已经上线运行,其中SpiNNaker专注于类脑系统的体系结构研究,提出了一种行之有效的类脑方案.未来20年左右,预计模式动物大脑和人脑的精细解析将逐步完成,模拟生物神经元和神经突触信息处理功能的神经形态器件及集成工艺将逐步成熟,结构逼近大脑、性能远超大脑的类脑机有望实现.类脑机像生物大脑一样都是脉冲神经网络,神经形态器件具有真正的随机性,因此类脑机具备丰富的非线性动力学行为.已证明任何图灵机均可由脉冲神经网络构造出来,类脑机在理论上是否能够超越图灵机,是需要突破的一个重大问题.     

OPNET网络仿真与建模方法

OPNET是一个功能强大的网络建模和仿真工具,在通信、国防及电脑网络领域已经被广泛认可和采用。本文在对OPNET网络仿真建模机制研究的基础上,探讨了OPNET的网络仿真建模方法,通过一个具体的实例,演示了OPNET仿真建模的具体步骤,并对仿真结果进行了分析,验证了OPNET仿真建模的有效性。     

Lagrange优化神经网络的原理及实现

人工神经网络是指模拟人脑神经系统的结构和功能,运用大量的处理部件,由人工方式建立起来的网络系统.近几年来,人工神经网络的研究工作十分活跃,取得了很大的进展,研究开发出了几十种神经网络的模型,出现了多种新型神经网络.阐述了Lagrange优化神经网络的原理和简单的电路实现,它克服了传统的基于罚函数的神经网络的缺陷,直接对不等式约束进行处理,降低了网络规模和复杂度,是一种新型的优化神经网络,并通过计算机仿真对其可行性进行了验证.     

Advancing the boundaries of high-connectivity network simulation with distributed computing

The availability of efficient and reliable simulation tools is one of the mission-critical technologies in the fast-moving field of computational neuroscience. Research indicates that higher brain functions emerge from large and complex cortical networks and their interactions. The large number of elements (neurons) combined with the high connectivity (synapses) of the biological network and the specific type of interactions impose severe constraints on the explorable system size that previously have been hard to overcome. Here we present a collection of new techniques combined to a coherent simulation tool removing the fundamental obstacle in the computational study of biological neural networks: the enormous number of synaptic contacts per neuron. Distributing an individual simulation over multiple computers enables the investigation of networks orders of magnitude larger than previously possible. The software scales excellently on a wide range of tested hardware, so it can be used in an interactive and iterative fashion for the development of ideas, and results can be produced quickly even for very large networks. In contrast to earlier approaches, a wide class of neuron models and synaptic dynamics can be represented.     

Evolutionary Multi-task Learning for Modular Knowledge Representation in Neural Networks

The brain can be viewed as a complex modular structure with features of information processing through knowledge storage and retrieval. Modularity ensures that the knowledge is stored in a manner where any complications in certain modules do not affect the overall functionality of the brain. Although artificial neural networks have been very promising in prediction and recognition tasks, they are limited in terms of learning algorithms that can provide modularity in knowledge representation that could be helpful in using knowledge modules when needed. Multi-task learning enables learning algorithms to feature knowledge in general representation from several related tasks. There has not been much work done that incorporates multi-task learning for modular knowledge representation in neural networks. In this paper, we present multi-task learning for modular knowledge representation in neural networks via modular network topologies. In the proposed method, each task is defined by the selected regions in a network topology (module). Modular knowledge representation would be effective even if some of the neurons and connections are disrupted or removed from selected modules in the network. We demonstrate the effectiveness of the method using single hidden layer feedforward networks to learn selected n-bit parity problems of varying levels of difficulty. Furthermore, we apply the method to benchmark pattern classification problems. The simulation and experimental results, in general, show that the proposed method retains performance quality although the knowledge is represented as modules.     

基于功能磁共振成像的人脑效应连接网络识别方法综述

人脑效应连接网络刻画了脑区间神经活动的因果效应. 对不同人群的脑效应连接网络进行研究不仅能为神经精神疾病病理机制的理解提供新视角, 而且能为疾病的早期诊断和治疗评价提供新的脑网络影像学标记, 具有十分重要的理论意义和应用价值. 利用计算方法从功能磁共振成像(Functional magnetic resonance imaging, fMRI)数据中识别脑效应连接网络是目前人脑连接组学中一项重要的研究课题. 本文首先概括了从fMRI数据中进行脑效应连接网络识别的主要流程, 说明了其中的主要步骤和方法; 然后, 给出了一种脑效应连接网络识别方法的分类体系, 并对其中一些代表性的识别算法进行了阐述; 最后, 通过对该领域挑战性问题的分析, 预测了脑效应连接网络识别未来的研究方向, 以期对相关研究提供一定的参考.     

基于自适应多任务卷积神经网络的脑网络分类方法

脑网络分类是脑科学研究中的一项重要课题.近年来,基于卷积神经网络的脑网络分类方法已经成为一个前沿热点.然而,目前仍难以对数据维度高、样本量小的脑网络数据进行精准分类.由于不同人群的临床表型与其脑网络差异存在着一定的依存关系,极有可能为脑网络分类提供辅助信息,故提出一种新的基于自适应多任务卷积神经网络的脑网络分类方法.该方法引入临床表型预测作为辅助任务,通过多任务卷积神经网络的共享表示机制来为脑网络分类提供有用信息;同时为了降低实验成本和人工操作带来的误差,提出了一种新的自适应方法来代替人工调整多任务学习中各个子任务的权重.在ABIDE I(autism brain imaging data exchange I)数据集上的实验结果表明：引入临床表型预测任务的多任务卷积神经网络能够获得更好的脑网络分类结果,而且自适应多任务学习方法能够进一步提升脑网络的分类性能.     

前向傅立叶神经网络系统逼近理论及学习算法

定义了傅立叶神经元与傅立叶神经网络,将一组傅立叶基三角函数作为神经网络各隐层单元的激合函数,设计出一类单输入单输出三层前向傅立叶神经网络与双输入单输出四层前向傅立叶神经网络,以及奇、偶傅立叶神经网络,基于三角函数逼近论,讨论了前向傅立叶神经网络的三角插值机理及系统逼近理论,且有严格的数学理论基础,给出了前向傅立叶神经网络学习算法,通过学习,它们分别能逼近于给定的傅立叶函数到预定的精度。仿真实验表明,该学习算法效率高,具有极为重要的理论价值和应用背景。     

基于模糊进化规划和分层方法的神经网络设计方法

本文提出一种模糊进化规划，用于前向神经网络的设计．该方法通过对神经元的部分解群体的进化，缩短了个体的编码长度，显著地减轻了计算量，同时这种方法不但能够在很大程度上简化适应值的计算，更重要的是能够降低适应值空间的复杂性，从而能够加速进化算法收敛到全局最优点．仿真结果显示，本文提出的算法能够有效抑制进化规划算法初期收敛的发生，有效地提高多层前向神经网络收敛精度，并可获得更为简洁的网络结构．     

采用自适应自回归小波神经网络的单步预测控制

针对非线性系统的控制问题,提出一种基于神经网络辨识的单步预测控制算法。算法在自回归小波神经网络的基础上,利用混沌机制消除了神经网络易陷入局部极值的缺点．采用自适应性学习率,提高神经网络的收敛能力和速度．以该神经网络为预测模型,引入输出反馈和偏差校正克服预测误差,以此构造一步加权预测控制性能指标。然后采用Brent一维搜索方法求取控制律,Brent法无需任何相关的导数信息,需调整的参数少,使得Brent法适合实时控制．仿真研究说明了该非线性预测控制器的有效性。     

Computational differences between asymmetrical and symmetrical networks.

Symmetrically connected recurrent networks have recently been used as models of a host of neural computations. However, biological neural networks have asymmetrical connections, at the very least because of the separation between excitatory and inhibitory neurons in the brain. We study characteristic differences between asymmetrical networks and their symmetrical counterparts in cases for which they act as selective amplifiers for particular classes of input patterns. We show that the dramatically different dynamical behaviours to which they have access, often make the asymmetrical networks computationally superior. We illustrate our results in networks that selectively amplify oriented bars and smooth contours in visual inputs.     

基于生物脑网络连接特性的高效神经网络算法

人工神经网络发展至今,已经在计算机视觉、类脑智能等方面得到广泛应用.在过去几十年中,人们对神经网络的研究注重追求更高的准确率,从而忽略了对网络计算成本的控制.而人脑作为高效且节能的网络,其对人工智能的发展起到了重要启示作用.如何仿真生物脑网络的连接特性,建立超低能耗的人工神经网络模型实现基本相同的目标识别正确率成为当前研究的热点.为建立低能耗的人工神经网络模型,本文结合大脑网络的连接特性,通过改变人工神经网络的连接实现网络的高效性.实验结果表明,结合生物脑网络的连接特性,改变网络的连接,很大程度上减少了网络的计算成本,而网络的性能并没有受到明显影响.