基于精细神经元的类脑感知学习模型

大脑如何实现学习以及感知功能对于人工智能和神经科学领域均是一个重要问题.现有人工神经网络由于结构和计算机制与真实大脑相差较大,无法直接用于理解真实大脑学习以及处理感知任务的机理.树突神经元模型是一种对大脑神经元树突信息处理过程进行建模仿真的计算模型,相比人工神经网络更接近生物真实.使用树突神经网络模型处理学习感知任务对理解真实大脑的学习过程有重要作用.然而,现有基于树突神经元网络的学习模型大都局限于简化树突模型,无法完整建模树突的信号处理过程.针对这一问题,提出一种基于精细中型多棘神经元网络的学习模型,使得精细神经网络可以通过学习完成相应感知任务.实验表明,在经典的图像分类任务上,所提模型可以达到很好的分类性能.此外,精细神经网络对于噪声干扰有很强的鲁棒性.对网络特性进行进一步分析,发现学习后网络中的神经元表现出了刺激选择性这种神经科学中的经典现象,表明所提模型具有一定的生物可解释性,同时也表明刺激选择特性可能是大脑通过学习完成感知任务的一种重要特性.     

生物神经网络仿真的方法和工具

大脑作为人体的关键器官,其复杂程度非常高,被了解的也最少。为了研究与大脑相关的疾病和人类智能的机理,出现了新的学科——神经网络的仿真。神经网络仿真是和传统的神经网络算法完全不同的一个领域,属于信息学、生物学、计算机科学、仿真等多个领域相互交叉的学科。本文介绍了神经网络仿真的基本原理以及国外出现的开源工具和支撑项目,并对存在的仿真建模工具进行了全面的比较,以便于用户根据自身建模的需要选择合适的工具。文章对生物神经网络仿真的计算量进行了评估,并结合我国最新研制的天河1-A超级并行计算机讨论了并行生物神经网络仿真的前景。     

基于FR-ResNet的车辆型号精细识别研究

车辆型号精细识别的关键是提取有区分性的细节特征. 以"特征重用"为核心, 以有效提取车辆图像细节特征并进行高效利用为目的, 提出了一种基于残差网络特征重用的深度卷积神经网络模型FR-ResNet (Improved ResNet focusing on feature reuse). 该网络以ResNet残差结构为基础, 分别采用多尺度输入、低层特征在高层中重用和特征图权重学习策略来实现特征重用. 多尺度输入可以防止网络过深导致性能退化以及陷入局部最优; 对各层网络部分加以不同程度的特征重用, 可以加强特征传递, 高效利用特征并降低参数规模; 在中低层网络部分采用特征图权重学习策略, 可以有效抑制冗余特征的比重. 在公开车辆数据集CompCars和StanfordCars上进行实验, 并与其他的网络模型进行比较, 实验结果表明FR-ResNet在车辆型号精细识别任务中对车辆姿态变化和复杂背景干扰等具有鲁棒性, 获得了较高的识别准确率.     

面向图像识别的多层脉冲神经网络学习算法综述

相较于第1代和第2代神经网络,第3代神经网络的脉冲神经网络是一种更加接近于生物神经网络的模型,因此更具有生物可解释性和低功耗性。基于脉冲神经元模型,脉冲神经网络可以通过脉冲信号的形式模拟生物信号在神经网络中的传播,通过脉冲神经元的膜电位变化来发放脉冲序列,脉冲序列通过时空联合表达不仅传递了空间信息还传递了时间信息。当前面向模式识别任务的脉冲神经网络模型性能还不及深度学习,其中一个重要原因在于脉冲神经网络的学习方法不成熟,深度学习中神经网络的人工神经元是基于实数形式的输出,这使得其可以使用全局性的反向传播算法对深度神经网络的参数进行训练,脉冲序列是二值性的离散输出,这直接导致对脉冲神经网络的训练存在一定困难,如何对脉冲神经网络进行高效训练是一个具有挑战的研究问题。本文首先总结了脉冲神经网络研究领域中的相关学习算法,然后对其中主要的方法:直接监督学习、无监督学习的算法以及ANN2SNN的转换算法进行分析介绍,并对其中代表性的工作进行对比分析,最后基于对当前主流方法的总结,对未来更高效、更仿生的脉冲神经网络参数学习方法进行展望。     

空间预警信息处理仿真系统研究

针对空间预警信息处理关键技术研究的需求，以美国SBIRS—High为参照，建立空间预警信息处理仿真系统。该系统为空间预警信息处理技术的研究提供仿真平台，可对预警系统作战过程进行演示和对系统性能以及信息处理算法性能进行评估。文中首先描述了仿真系统的设计与实现思路，重点介绍了系统的软、硬件平台以及系统的仿真流程。然后采用模块化建模的方法将系统模型分为场景生成模型、信息处理模型和性能评估模型，并分别对之作了详细的介绍。     

基于并行演化计算的图像特征提取研究

图像特征提取已成为困扰智能化视觉信息处理的瓶颈。为了解决复杂背景下钢板表面缺陷的机器视觉检测问题,缩短视觉系统的开发周期,提高其实用性,在并行计算环境和视频仿真平台的基础上,探索机器视觉可塑性及形成机制,提出了将并行计算、视频仿真、演化计算相互融合解决钢板表面缺陷特征提取问题的方法,实现了演化计算与并行层次处理的特征选择、特征提取方法,为智能化的视觉信息处理开辟新的思路。实验证明,改进方案不仅具有可行性,而且能提高缺陷检测的准确性、实时性。     

一种基于MATLAB的带噪声字符识别算法实现

MATLAB语言由于具有强大的矩阵运算能力而广泛的应用于各种控制领域。Hopfield神经网络是一种具有联想功能的反馈网络 ,它可以根据一定的规则计算出网络的权值 ,网络演变过程中不断更新各神经元的状态 ,问题之解便是网络演变到稳定时各神经元的状态。该文提出一种采用离散Hopfield神经网络识别带噪声的字符的方法 ,在MATLAB中用M语言进行编程、计算、仿真 ,从而验证这种方法的正确性。     

一种量子神经网络模型学习算法及应用

提出一种量子神经网络模型及学习算法. 首先基于生物神经元信息处理机制和量子计算原理构造出一种量子神经元, 该神经元由加权、聚合、活化、激励四部分组成. 然后由量子神经元构造出三层量子神经网络模型, 其输入和输出为实值向量, 权值和活性值为量子比特. 基于梯度下降法构造了该模型的超线性收敛学习算法. 通过模式识别和函数逼近两种仿真结果表明该模型及算法是有效的.     

用于信息处理的延时混沌神经网络

为了提高混沌神经网络用于信息处理的能力,采用一种参数调节控制方法,通过对一种延时对称全局耦合混沌神经网络的黏合参数的控制研究了网络的动态联想记忆,使被控网络在仅有部分神经元进入周期态的情况下达到输出稳定,并且稳定输出序列只包含与输入模式相关的存储模式及其相反模式。仿真实验说明网络具有良好的容错能力和很高的回忆正确率,适合应用于信息处理和模式识别。     

多核并行脉冲神经网络模拟器的设计

脉冲神经网络属于第三代人工神经网络,它是更具有生物可解释性的神经网络模型。随着人们对脉冲神经网络不断深入地研究,不仅神经元空间结构更为复杂,而且神经网络结构规模也随之增大。以串行计算的方式,难以在个人计算机上实现脉冲神经网络的模拟仿真。为此,设计了一个多核并行的脉冲神经网络模拟器,对神经元进行编码与映射,自定义路由表解决了多核间的网络通信,以时间驱动为策略,实现核与核间的动态同步,在模拟器上进行脉冲神经网络的并行计算。以Izhikevich脉冲神经元为模型,在模拟环境下进行仿真实验,结果表明多核并行计算相比传统的串行计算在效率方面约有两倍的提升,可为类似的脉冲神经网络的模拟并行化设计提供参考。     

基于GPU加速的定向凝固相场模拟计算研究

相场法作为一种极具优势的微观组织数值模拟方法,已经在凝固微观组织演化机制的研究中得到了广泛应用。然而无论是从计算尺度还是微观组织演化时间上考虑,相场模拟计算量均非常大,对计算机有着非常高的要求。相对于传统的中央处理器(CPU)计算,图形处理器(GPU)计算是最近发展的一种高效计算手段。提出了一种基于GPU加速的定向凝固相场模拟计算策略,实现了大尺度条件下的定向凝固界面形态演化的加速计算。计算结果表明,对于单个计算机,GPU计算与CPU计算的加速比可以高达30余倍。GPU加速将为相场模拟的发展及应用带来新的契机。     

Parallel H-Tree Based Data Cubing on Graphics Processors

Graphics processing units (GPUs) have an SIMD architecture and have been widely used recently as powerful general-purpose co-processors for the CPU. In this paper, we investigate efficient GPU-based data cubing because the most frequent operation in data cube computation is aggregation, which is an expensive operation well suited for SIMD parallel processors. H-tree is a hyper-linked tree structure used in both top-k H-cubing and the stream cube. Fast H-tree construction, update and real-time query response are crucial in many OLAP applications. We design highly efficient GPU-based parallel algorithms for these H-tree based data cube operations. This has been made possible by taking effective methods, such as parallel primitives for segmented data and efficient memory access patterns, to achieve load balance on the GPU while hiding memory access latency. As a result, our GPU algorithms can often achieve more than an order of magnitude speedup when compared with their sequential counterparts on a single CPU. To the best of our knowledge, this is the first attempt to develop parallel data cubing algorithms on graphics processors.     

Kernel Polynomial Method on GPU

The simulation of lattice model systems for quantum materials is one of the most important approaches to understand quantum properties of matter in condensed matter physics. The main task in the simulation is to diagonalize a Hamiltonian matrix for the system and evaluate the electronic density of energy states. Kernel polynomial method (KPM) is one of the promising simulation methods. Because KPM contains a fine-grain recursive part in the algorithm, it is hard to parallelize it under the thread level parallelism such as on a supercomputer or a cluster computer. This paper focuses on methods to parallelize KPM on a massively parallel environment of GPU, aiming to achieve high parallelism for more speedups than the recent CPUs. This paper proposes two implementation methods called the full map and the sliding window methods, and evaluates the performances in the recent GPU platform. To enlarge available simulation sizes and at the same time to enhance the performance, this paper also describes additional optimization techniques depending on the GPU architecture.     

并行时空处理模型下的快速N-body算法

图形处理器(graphic processing unit,GPU)的最新发展已经能够以低廉的成本提供高性能的通用计算。基于GPU的CUDA(compute unified device architecture)和OpenCL(open computing language)编程模型为程序员提供了充足的类似于C语言的应用程序接口(application programming interface,API),便于程序员发挥GPU的并行计算能力。采用图形硬件进行加速计算,通过一种新的GPU处理模型——并行时间空间模型,对现有GPU上的N-body实现进行了分析,从而提出了一种新的GPU上快速仿真N-body问题的算法,并在AMD的HD Radeon 5850上进行了实现。实验结果表明,相对于CPU上的实现,获得了400倍左右的加速;相对于已有GPU上的实现,也获得了2至5倍的加速。     

A GPU-Accelerated In-Memory Metadata Management Scheme for Large-Scale Parallel File Systems

Driven by the increasing requirements of high-performance computing applications,supercomputers are prone to containing more and more computing nodes.Applications running on such a large-scale computing system are likely to spawn millions of parallel processes,which usually generate a burst of I/O requests,introducing a great challenge into the metadata management of underlying parallel file systems.The traditional method used to overcome such a challenge is adopting multiple metadata servers in the scale-out manner,which will inevitably confront with serious network and consistence problems.This work instead pursues to enhance the metadata performance in the scale-up manner.Specifically,we propose to improve the performance of each individual metadata server by employing GPU to handle metadata requests in parallel.Our proposal designs a novel metadata server architecture,which employs CPU to interact with file system clients,while offloading the computing tasks about metadata into GPU.To take full advantages of the parallelism existing in GPU,we redesign the in-memory data structure for the name space of file systems.The new data structure can perfectly fit to the memory architecture of GPU,and thus helps to exploit the large number of parallel threads within GPU to serve the bursty metadata requests concurrently.We implement a prototype based on BeeGFS and conduct extensive experiments to evaluate our proposal,and the experimental results demonstrate that our GPU-based solution outperforms the CPU-based scheme by more than 50％under typical metadata operations.The superiority is strengthened further on high concurrent scenarios,e.g.,the high-performance computing systems supporting millions of parallel threads.     

A multi‐GPU algorithm for large‐scale neuronal networks

Large‐scale simulations of parts of the brain using detailed neuronal models to improve our understanding of brain functions are becoming a reality with the usage of supercomputers and large clusters. However, the high acquisition and maintenance cost of these computers, including the physical space, air conditioning, and electrical power, limits the number of simulations of this kind that scientists can perform. Modern commodity graphical cards, based on the CUDA platform, contain graphical processing units (GPUs) composed of hundreds of processors that can simultaneously execute thousands of threads and thus constitute a low‐cost solution for many high‐performance computing applications. In this work, we present a CUDA algorithm that enables the execution, on multiple GPUs, of simulations of large‐scale networks composed of biologically realistic Hodgkin–Huxley neurons. The algorithm represents each neuron as a CUDA thread, which solves the set of coupled differential equations that model each neuron. Communication among neurons located in different GPUs is coordinated by the CPU. We obtained speedups of 40 for the simulation of 200k neurons that received random external input and speedups of 9 for a network with 200k neurons and 20M neuronal connections, in a single computer with two graphic boards with two GPUs each, when compared with a modern quad‐core CPU. Copyright © 2010 John Wiley & Sons, Ltd.     

图形处理器在数据管理领域的应用研究综述

比较了中央处理器和图形处理器体系结构的异同,并简要介绍了最新的图形处理器通用计算平台及不同体系结构间并行算法的异同。详细叙述了图形处理器在空间数据库、关系数据库、数据流和数据挖掘及信息检索等方面应用的技术特点;探讨了基于图形处理器的各种内外存排序算法及性能;描述了基于图形处理器的各种数据结构和索引技术;阐述了图形处理器算法优化方面的工作。最后,展望了图形处理器应用于数据管理的发展前景,并分析了这一领域未来所面临的挑战。     

基于GPU的图像特征并行计算方法

特征提取与描述是众多计算机视觉应用的基础。局部特征提取与描述因像素级处理产生的高维计算而导致其计算复杂、实时性差,影响了算法在实际系统中的应用。研究了局部特征提取与描述中的关键共性计算模块——图像金字塔机制及图像梯度计算。基于NVIDIA GPU/CUDA架构设计并实现了共性模块的并行计算,并通过优化全局存储、纹理存储及共享存储的访问方式进一步实现了其高效计算。实验结果表明,基于GPU的图像金字塔和图像梯度计算比CPU获得了30倍左右的加速,将实现的图像金字塔和图像梯度计算应用于HOG特征提取与描述算法,相比CPU获得了40倍左右的加速。该研究对于基于GPU实现局部特征的高速提取与描述具有现实意义。