基于反卷积特征提取的深度卷积神经网络学习

在深度卷积神经网络的学习过程中,卷积核的初始值通常是随机赋值的.另外,基于梯度下降法的网络参数学习法通常会导致梯度弥散现象.鉴于此,提出一种基于反卷积特征提取的深度卷积神经网络学习方法.首先,采用无监督两层堆叠反卷积神经网络从原始图像中学习得到特征映射矩阵;然后,将该特征映射矩阵作为深度卷积神经网络的卷积核,对原始图像进行逐层卷积和池化操作;最后,采用附加动量系数的小批次随机梯度下降法对深度卷积网络微调以避免梯度弥散问题.在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,所提出方法可有效提高图像分类精度.     

面向图像识别的多层脉冲神经网络学习算法综述

相较于第1代和第2代神经网络,第3代神经网络的脉冲神经网络是一种更加接近于生物神经网络的模型,因此更具有生物可解释性和低功耗性。基于脉冲神经元模型,脉冲神经网络可以通过脉冲信号的形式模拟生物信号在神经网络中的传播,通过脉冲神经元的膜电位变化来发放脉冲序列,脉冲序列通过时空联合表达不仅传递了空间信息还传递了时间信息。当前面向模式识别任务的脉冲神经网络模型性能还不及深度学习,其中一个重要原因在于脉冲神经网络的学习方法不成熟,深度学习中神经网络的人工神经元是基于实数形式的输出,这使得其可以使用全局性的反向传播算法对深度神经网络的参数进行训练,脉冲序列是二值性的离散输出,这直接导致对脉冲神经网络的训练存在一定困难,如何对脉冲神经网络进行高效训练是一个具有挑战的研究问题。本文首先总结了脉冲神经网络研究领域中的相关学习算法,然后对其中主要的方法:直接监督学习、无监督学习的算法以及ANN2SNN的转换算法进行分析介绍,并对其中代表性的工作进行对比分析,最后基于对当前主流方法的总结,对未来更高效、更仿生的脉冲神经网络参数学习方法进行展望。     

基于多尺度特征卷积神经网络的目标定位

针对实际应用中诸多数据集标签部分缺失、无定位标注等问题，提出了基于多尺度特征卷积神经网络的弱监督定位算法。其核心思想是利用神经网络分层的特性，在多层卷积层上使用梯度加权类激活映射，生成梯度金字塔模型，并通过均值滤波计算特征质心位置，利用置信强度映射和阈值梯减模块产生连接的像素段，围绕最大边界标注进行弱监督定位。在标准测试集上的实验结果表明，该算法能够在存在大量类别、多尺度图像的情况下完成目标定位，具有较高的精确度。     

一种基于前向无监督卷积神经网络的人脸表示学习方法

当前基于深度卷积神经网络的人脸表示学习方法需要利用海量的有标注的人脸数据。在实际应用中,精确标注人脸的身份非常困难。因此,提出了一种基于前向无监督卷积神经网络的人脸表示学习方法。其中,基于K-means聚类获取训练样本虚拟标签,再利用线性判别分析进行卷积核学习。提出的网络结构简单有效,训练阶段不需要反向传递,训练速度显著优于有监督的深度卷积神经网络。实验结果表明,提出的方法在真实条件下的人脸数据集LFW和经典的Feret数据集上取得了优于当前主流的无监督特征学习方法和局部特征描述子的性能。     

基于中间层监督卷积神经网络的图像超分辨率重建

目的 基于学习的图像超分辨率重建方法已成为近年来图像超分辨率重建研究的热点。针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法网络层少、感受野小、泛化能力差等缺陷,提出了基于中间层监督卷积神经网络的图像超分辨率重建方法,以进一步提高图像重建的质量。方法 设计了具有中间层监督的卷积神经网络结构,该网络共有16层卷积层,其中第7层为中间监督层;定义了监督层误差函数和重建误差函数,用于改善深层卷积神经网络梯度消失现象。训练网络时包括图像预处理、特征提取和图像重建3个步骤,采用不同尺度因子（2、3、4）模糊的低分辨率图像交叉训练网络,以适应对不同模糊程度的图像重建;使用卷积操作提取图像特征时将参数pad设置为1,提高了对图像和特征图的边缘信息利用;利用残差学习完成高分辨率图像重建。结果 在Set5和Set14数据集上进行了实验,并和双三次插值、A+、SelfEx和SRCNN等方法的结果进行比较。在主观视觉评价方面,本文方法重建图像的清晰度和边缘锐度更好。客观评价方面,本文方法的峰值信噪比（PSNR）平均分别提高了2.26 dB、0.28 dB、0.28 dB和0.15 dB,使用训练好的网络模型重建图像耗用的时间不及SRCNN方法的一半。结论 实验结果表明,本文方法获得了更好的主观视觉评价和客观量化评价,提升了图像超分辨率重建质量,泛化能力好,而且图像重建过程耗时更短,可用于自然场景图像的超分辨率重建。     

基于卷积神经网络的智能冰箱果蔬图像识别的研究

智能冰箱物体识别主要涉及对水果和蔬菜的识别,冰箱中果蔬数量繁多,光照不均,环境复杂,对此提出了一种用于处理该类识别问题的卷积神经网络。网络采用Re LU作为激活函数,它比传统的Sigmoid函数具有更强的稀疏能力和更大的梯度值,能够极大地加速网络收敛。隐含层中引入随机Dropout,使得某些节点不工作,减少节点间的共同适应,降低网络对某一局部特征的过拟合,可减少网络计算复杂度并有效提升识别率。网络采用带动量项的基于梯度下降的反向传播算法,避免网络陷入局部极小值,提高识别率。最后通过用Supermarket Produce Dataset数据集模拟冰箱果蔬图像进行实验,验证了本文方法的有效性。     

基于动量分数阶梯度的卷积神经网络优化方法

针对采用传统梯度下降算法训练卷积神经网络收敛速度慢的问题,提出了动量分数阶梯度下降算法.介绍了分数阶微积分的定义,并依据问题描述,通过算法推导,将整数阶梯度下降算法中的动量思想应用到分数阶梯度下降算法中,设计出动量分数阶梯度下降算法.使用测试函数验证算法的收敛性,并分析不同分数阶阶次和动量项系数对算法收敛性的影响.在三...     

基于卷积神经网络多层特征提取的目标识别

目标识别一直是人工智能领域的热点问题. 为了提高目标识别的效率,提出了基于卷积神经网络多层特征提取的目标识别方法. 该方法将图像输入卷积神经网络进行训练,在网络的每个全连接层分别进行特征提取,将得到的特征依次输入到分类器,对输出结果进行比较. 选取经过修正线性单元relu函数激活的低层全连接层作为特征提取层,比选取高层全连接层特征提取的识别率高. 本文构建了办公用品数据集,实现了基于卷积神经网络多层特征提取的办公用品识别系统. 选择AlexNet卷积神经网络模型的relu6层作为特征选取层,选择最优训练图像数量和最优分类器构建系统,从而证明了该方法的可行性.     

基于LDA和卷积神经网络的半监督图像标注方法

随着智能设备的不断出现,图像数量急速增加,但是很多图像因为没有被标注所以未被充分利用.为了能够使该问题得到较好解决,提出了基于LDA和卷积神经网络的半监督图像标注方法.首先把图像训练集中的所有文字信息放入LDA中,生成图像的文字标注词;然后使用卷积神经网络获得图像的高层视觉特征,同时用加入注意力机制和修改损失函数的方法...     

基于复合卷积神经网络的图像去噪算法*

基于深度学习理论,将图像去噪过程看成神经网络的拟合过程,构造简洁高效的复合卷积神经网络,提出基于复合卷积神经网络的图像去噪算法.算法第1阶段由2个2层的卷积网络构成,分别训练阶段2中的3层卷积网络中的部分初始卷积核,缩短阶段2中网络的训练时间和增强算法的鲁棒性.最后运用阶段2中的卷积网络对新的噪声图像进行有效去噪.实验表明文中算法在峰值信噪比、结构相识度及均方根误差指数上与当前较好的图像去噪算法相当,尤其当噪声加强时效果更佳且训练时间较短.     

基于梯度下降的脉冲神经元精确序列学习算法

基于梯度下降的脉冲神经元有监督学习算法通过计算梯度最小化目标序列和实际输出序列间的误差使得神经元能激发出目标脉冲序列。然而该算法中的误差函数是基于实际输出脉冲序列和相对应的目标输出脉冲序列动态构建而成,导致算法在收敛时可能出现实际输出序列的个数和期望输出个数不相等的情况。针对这一缺陷提出了一种改进的脉冲神经元梯度下降学习算法,算法在学习过程中检测目标序列脉冲个数和实际激发脉冲个数,并引入虚拟实际激发脉冲和期望激发脉冲构建误差函数以分别解决激发个数不足和激发个数多余的问题。实验结果证明该算法能有效地防止学习算法在输出脉冲个数不等的情况下提前结束,使得神经元能够精确地激发出目标脉冲序列。     

Adaptive fuzzy spiking neural P systems for fuzzy inference and learning

Fuzzy spiking neural P systems (in short, FSN P systems) are a novel class of distributed parallel computing models, which can model fuzzy production rules and apply their dynamic firing mechanism to achieve fuzzy reasoning. However, these systems lack adaptive/learning ability. Addressing this problem, a class of FSN P systems are proposed by introducing some new features, called adaptive fuzzy spiking neural P systems (in short, AFSN P systems). AFSN P systems not only can model weighted fuzzy production rules in fuzzy knowledge base but also can perform dynamically fuzzy reasoning. It is important to note that AFSN P systems have learning ability like neural networks. Based on neuron's firing mechanisms, a fuzzy reasoning algorithm and a learning algorithm are developed. Moreover, an example is included to illustrate the learning ability of AFSN P systems.     

面向类脑计算的脉冲神经网络研究

随着深度学习在训练成本、泛化能力、可解释性以及可靠性等方面的不足日益突出,类脑计算已成为下一代人工智能的研究热点。脉冲神经网络能更好地模拟生物神经元的信息传递方式,且具有计算能力强、功耗低等特点,在模拟人脑学习、记忆、推理、判断和决策等复杂信息方面具有重要的潜力。本文对脉冲神经网络从以下几个方面进行总结:首先阐述脉冲神经网络的基本结构和工作原理;在结构优化方面,从脉冲神经网络的编码方式、脉冲神经元改进、拓扑结构、训练算法以及结合其他算法这5个方面进行总结;在训练算法方面,从基于反向传播方法、基于脉冲时序依赖可塑性规则方法、人工神经网络转脉冲神经网络和其他学习算法这4个方面进行总结;针对脉冲神经网络的不足与发展,从监督学习和无监督学习两方面剖析;最后,将脉冲神经网络应用到类脑计算和仿生任务中。本文对脉冲神经网络的基本原理、编码方式、网络结构和训练算法进行了系统归纳,对脉冲神经网络的研究发展具有一定的积极意义。     

异质网中基于图卷积神经网络的链路预测方法

综合考虑异质信息网络具有的复杂性和异质性的特点,提出一种异质网中基于图卷积神经网络(heterogeneous graph convolution neural network embedding,HeGCNE)的链路预测方法.针对经典图卷积神经网络逐层传递规则的不足,提出改进的逐层传递规则,对异质节点进行表征学习,融...     

仿生型脉冲神经网络学习算法和网络模型

为解决脉冲神经网络训练困难的问题,基于仿生学思路,提出脉冲神经网络的权值学习算法和结构学习算法,设计一种含有卷积结构的脉冲神经网络模型,搭建适合脉冲神经网络的软件仿真平台。实验结果表明,权值学习算法训练的网络对MNIST数据集识别准确率能够达到84.12%,具备良好的快速收敛能力和低功耗特点;结构学习算法能够自动生成网络结构,具有高度生物相似性。     

跨脉冲传播的深度脉冲神经网络训练方法

基于反向传播的脉冲神经网络（SNNs）的训练方法仍面临着诸多问题与挑战,包括脉冲发放过程不可微分、脉冲神经元具有复杂的时空动力过程等。此外,SNNs反向传播训练方法往往没有考虑误差信号在相邻脉冲间的关系,大大降低了网络模型的准确性。为此,提出一种跨脉冲误差传播的深度脉冲神经网络训练方法（cross-spike error backpropagation,CSBP）,将神经元的误差反向传播分成脉冲发放时间随突触后膜电位变化关系和相邻脉冲发放时刻点间的依赖关系两种依赖关系。其中,通过前者解决了脉冲不可微分的问题,通过后者明确了脉冲间的依赖关系,使得误差信号能跨脉冲传播,提升了生物合理性。此外,并对早期脉冲残差网络架构存在的模型表示能力不足问题进行研究,通过修改脉冲残余块的结构顺序,进一步提高了网络性能。实验结果表明,所提方法比基于脉冲时间的最优训练算法有着明显的提升,相同架构下,在CIFAR10数据集上提升2.98%,在DVS-CIFAR10数据集上提升2.26%。     

A Cross-layer based mapping for spiking neural network onto network on chip

Abstract

Network-on-Chip provides a packet-based and scalable inter-connected structure for spiking neural networks. However, existing neural mapping methods just distribute all neurons of a population into an on-chip network core or nearby cores sequentially. As there is no connection among population, the population based mapping degrades inter-neuron communicating performance between different cores. This paper presents a Cross-LAyer based neural MaPping method that maps synaptic connected neurons belonging to adjacent layers into the same on-chip network node. In order to adapt to various input patterns, the strategy also takes input spike rate into consideration and remap neurons for improving mapping efficiency. The method helps to reduce inter-core communication cost. The experimental results demonstrate the efficient results of the proposed mapping strategy in the aspect of spike transfer latency as well as dynamic energy cost improvement. In the applications of handwritten digits and edge extraction, in which the type of interconnection among neurons is different, the neural mapping algorithm reduces spike average transfer latency by maximum 42.83%, and reduces dynamic energy by maximum 36.29%.     

基于自适应编码的脉冲神经网络

脉冲神经网络(SNN)采用脉冲序列表征和传递信息,与传统人工神经网络相比更具有生物可解释性,但典型SNN的特征提取能力受到其结构限制,对于图像数据等多分类任务的识别准确率不高,不能与卷积神经网络相媲美。为此提出一种新型的自适应编码脉冲神经网络(SCSNN),将CNN的特征提取能力与SNN的生物可解释性结合起来,采用生物神经元动态脉冲触发特性构建网络结构,并设计了一种新的替代梯度反向传播方法直接训练网络参数。所提出的SCSNN分别在MNIST和Fashion-MNIST数据集进行验证,取得较好的识别结果,在MNIST数据集上准确率达到了99.62%,在Fashion-MNIST数据集上准确率达到了93.52%,验证了其有效性。     

基于遗传算法和梯度下降的RBF神经网络组合训练方法

在使用基于梯度下降的径向基函数（RBF）神经网络学习方法时，由于网络目标函数误差曲面极其复杂，因而产生了网络收敛速度慢，且容易陷入局部极小，网络初始值的设置对网络训练结果影响很大等问题。基于遗传算法的训练方法能够摆脱陷入局部最优的困扰，但遗传算法的局部搜索能力不够，从而影响网络的训练效果。为了解决上述问题，在研究两种算法特点的基础上，提出一种组合训练方法，用提出的训练方法对UCI中的部分数据集进行了仿真实验，并将实验结果与传统方法下的结果进行了比较，实验结果表明新方法是有效的。