面向图像分类的深度模型可解释性研究综述

深度学习目前在计算机视觉、自然语言处理、语音识别等领域得到了深入发展,与传统的机器学习算法相比,深度模型在许多任务上具有较高的准确率.然而,作为端到端的具有高度非线性的复杂模型,深度模型的可解释性没有传统机器学习算法好,这为深度学习在现实生活中的应用带来了一定的阻碍.深度模型的可解释性研究具有重大意义而且是非常必要的,近年来许多学者围绕这一问题提出了不同的算法.针对图像分类任务,将可解释性算法分为全局可解释性和局部可解释性算法.在解释的粒度上,进一步将全局解释性算法分为模型级和神经元级的可解释性算法,将局部可解释性算法划分为像素级特征、概念级特征以及图像级特征可解释性算法.基于上述分类框架,总结了常见的深度模型可解释性算法以及相关的评价指标,同时讨论了可解释性研究面临的挑战和未来的研究方向.认为深度模型的可解释性研究和理论基础研究是打开深度模型黑箱的必要途径,同时可解释性算法存在巨大潜力可以为解决深度模型的公平性、泛化性等其他问题提供帮助.     

面向声呐图像水下目标分类的类脑SNN研究

声呐图像被广泛应用于复杂海况的水下救援和海底探测中,长时的人工搜索极易造成视觉疲劳而错失目标。无人潜航器可大幅降低搜索工作量和主观误差,但这取决于无人自主系统的能效和自动分类性能。卷积神经网络的训练和推理需要比较高的能耗,难以在无人潜航器的移动环境下部署和应用,而且声呐图像训练数据稀少和样本不平衡也增加了模型训练的难度。脉冲神经网络通过二进制离散的时序脉冲信号可以避免卷积神经网络中高昂的乘法计算代价,具有低能耗和高精度的特性。构建了可用于合成孔径声呐图像分类的浅层脉冲神经网络,设计了一种基于脉冲神经网络的小样本水下目标分类算法。采用基于风格迁移的模拟声呐图像生成方法和加权随机采样方法,缓解了声呐图像训练数据稀少和样本不平衡问题。实验表明,在声呐图像样本稀少和不平衡的情况下,算法的分类准确率高于ResNet50、VGG19和MobileNet V2等架构的卷积神经网络,达到91.11%。计算复杂度和能耗分析也表明,脉冲神经网络相比于卷积神经网络具有很大优势。脉冲神经网络是研究和实现类脑计算非常合适的模型,可满足无人水下航行器的移动计算需求,该研究对实现无人自主设备的智能应用具有先进的技术...     

基于自适应编码的脉冲神经网络

脉冲神经网络(SNN)采用脉冲序列表征和传递信息,与传统人工神经网络相比更具有生物可解释性,但典型SNN的特征提取能力受到其结构限制,对于图像数据等多分类任务的识别准确率不高,不能与卷积神经网络相媲美。为此提出一种新型的自适应编码脉冲神经网络(SCSNN),将CNN的特征提取能力与SNN的生物可解释性结合起来,采用生物神经元动态脉冲触发特性构建网络结构,并设计了一种新的替代梯度反向传播方法直接训练网络参数。所提出的SCSNN分别在MNIST和Fashion-MNIST数据集进行验证,取得较好的识别结果,在MNIST数据集上准确率达到了99.62%,在Fashion-MNIST数据集上准确率达到了93.52%,验证了其有效性。     

面向图像识别的多层脉冲神经网络学习算法综述

相较于第1代和第2代神经网络,第3代神经网络的脉冲神经网络是一种更加接近于生物神经网络的模型,因此更具有生物可解释性和低功耗性。基于脉冲神经元模型,脉冲神经网络可以通过脉冲信号的形式模拟生物信号在神经网络中的传播,通过脉冲神经元的膜电位变化来发放脉冲序列,脉冲序列通过时空联合表达不仅传递了空间信息还传递了时间信息。当前面向模式识别任务的脉冲神经网络模型性能还不及深度学习,其中一个重要原因在于脉冲神经网络的学习方法不成熟,深度学习中神经网络的人工神经元是基于实数形式的输出,这使得其可以使用全局性的反向传播算法对深度神经网络的参数进行训练,脉冲序列是二值性的离散输出,这直接导致对脉冲神经网络的训练存在一定困难,如何对脉冲神经网络进行高效训练是一个具有挑战的研究问题。本文首先总结了脉冲神经网络研究领域中的相关学习算法,然后对其中主要的方法:直接监督学习、无监督学习的算法以及ANN2SNN的转换算法进行分析介绍,并对其中代表性的工作进行对比分析,最后基于对当前主流方法的总结,对未来更高效、更仿生的脉冲神经网络参数学习方法进行展望。     

利用Jetson TK1平台的行人运动目标跟踪系统

针对图像检测识别和目标跟踪技术中存在的抗遮挡性弱、无法应对目标丢失、对目标多尺度变化适应不了等问题,设计开发了基于Jetson TK1平台及计算机视觉OpenCV(Open Source Computer Vision Library)的行人运动目标跟踪系统,利用GPU高效图像处理能力,结合改进的KCF(Kerneli...     

基于脉冲卷积神经网络稀疏表征的高分辨率遥感图像场景分类方法

遥感图像场景分类对土地资源管理具有重要意义,然而高分辨率遥感图像中地物分布复杂,图像中存在着与当前场景无关的冗余信息,会对场景的精确分类造成影响.对此,提出一种基于脉冲卷积神经网络(SCNN)稀疏表征的场景分类方法.从稀疏表征出发,利用脉冲神经元的稀疏脉冲输出特性,设计脉冲卷积神经网络,去除遥感图像中与场景无关的冗余信息,实现对图像的稀疏表征;提出基于脉冲输出交叉熵损失函数的反向传播算法,在该算法的基础上利用梯度下降训练脉冲卷积神经网络,优化网络参数,实现遥感图像场景分类;通过实验验证方法的有效性,将所提出方法应用于Google和UCM两个遥感图像数据集,并与传统的卷积神经网络(CNN)进行对比.实验结果表明,所提出方法可以对遥感图像进行稀疏表征,实现场景分类;相对于卷积神经网络,所提出方法在遥感图像场景分类任务上更具有优势.     

卷积神经网络的可解释性研究综述

神经网络模型性能日益强大,被广泛应用于解决各类计算机相关任务,并表现出非常优秀的能力,但人类对神经网络模型的运行机制却并不完全理解.针对神经网络可解释性的研究进行了梳理和汇总,就模型可解释性研究的定义、必要性、分类、评估等方面进行了详细的讨论.从解释算法的关注点出发,提出一种神经网络可解释算法的新型分类方法,为理解神经网络提供一个全新的视角.根据提出的新型分类方法对当前卷积神经网络的可解释方法进行梳理,并对不同类别解释算法的特点进行分析和比较.同时,介绍了常见可解释算法的评估原则和评估方法.对可解释神经网络的研究方向与应用进行概述.就可解释神经网络面临的挑战进行阐述,并针对这些挑战给出可能的解决方向.     

多核并行脉冲神经网络模拟器的设计

脉冲神经网络属于第三代人工神经网络,它是更具有生物可解释性的神经网络模型。随着人们对脉冲神经网络不断深入地研究,不仅神经元空间结构更为复杂,而且神经网络结构规模也随之增大。以串行计算的方式,难以在个人计算机上实现脉冲神经网络的模拟仿真。为此,设计了一个多核并行的脉冲神经网络模拟器,对神经元进行编码与映射,自定义路由表解决了多核间的网络通信,以时间驱动为策略,实现核与核间的动态同步,在模拟器上进行脉冲神经网络的并行计算。以Izhikevich脉冲神经元为模型,在模拟环境下进行仿真实验,结果表明多核并行计算相比传统的串行计算在效率方面约有两倍的提升,可为类似的脉冲神经网络的模拟并行化设计提供参考。     

一种基于注意力机制的视觉位置识别算法

视觉位置识别是指利用视觉信息实现对智能体位置的判断，在回环检测、视觉重定位等任务中发挥了重要作用。由于传统算法受环境变化的影响较大，识别准确率低，基于深度学习的视觉位置识别算法得到广泛研究，然而，基于深度学习的方法存在着可解释性差、计算量大、对环境变化适应性不够强、对图像信息的利用不够充分等问题。结合图像的语义信息和显著性检测设计了图像的全局描述符提取方式，并基于注意力机制和语义信息设计了的空间校验方法。实验表明，该方法在光照变化环境下的准确率和召回率等指标上都能够达到先进水平，同时也满足轻量级的要求。     

基于生物机制脉冲神经网络的特征提取

脉冲神经元可以被用于处理生物刺激并且可以解释大脑复杂的智能行为。脉冲神经网络以非常逼近生物的神经元模型作为处理单元,可以直接用来仿真脑科学中发现的神经网络计算模型,输出的脉冲信号还可与生物神经系统对接。而小波变换是一个非常有利的时频分析工具,它可以有效的压缩图像并且提取图像的特征。本文中将提出一种与人类视觉系统的开/关神经元阵列相结合的脉冲神经网络,来实现针对视觉图像的快速小波变换。仿真结果显示,这个脉冲神经网络可以很好地保留视觉图像的关键特征。     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

一种基于局部扰动的图像对抗样本生成方法

近年来, 随着人工智能的研究和发展, 深度学习被广泛应用。深度学习在自然语言处理、计算机视觉等多个领域表现出良好的效果。特别是计算机视觉方面, 在图像识别和图像分类中, 深度学习具备非常高的准确性。然而越来越多的研究表明, 深度神经网络存在着安全隐患, 其中就包括对抗样本攻击。对抗样本是一种人为加入特定扰动的数据样本, 这种特殊样本在传递给已训练好的模型时, 神经网络模型会输出与预期结果不同的结果。在安全性要求较高的场景下, 对抗样本显然会对采用深度神经网络的应用产生威胁。目前国内外对于对抗样本的研究主要集中在图片领域, 图像对抗样本就是在图片中加入特殊信息的图片数据, 使基于神经网络的图像分类模型做出错误的分类。已有的图像对抗样本方法主要采用全局扰动方法,即将这些扰动信息添加在整张图片上。相比于全局扰动, 局部扰动将生成的扰动信息添加到图片的非重点区域, 从而使得对抗样本隐蔽性更强, 更难被人眼发现。本文提出了一种生成局部扰动的图像对抗样本方法。该方法首先使用 Yolo 目标检测方法识别出图片中的重点位置区域, 然后以 MIFGSM 方法为基础, 结合 Curls 方法中提到的先梯度下降再梯度上升的思想,在非重点区域添加扰动信息, 从而生成局部扰动的对抗样本。实验结果表明, 在对抗扰动区域减小的情况下可以实现与全局扰动相同的攻击成功率。     

基于低时延和高精度脉冲神经网络的目标检测

人工神经网络(artificial neural network, ANN)在众多领域取得了显著进展, 但其对计算资源和能耗的高需求限制了其在硬件端的部署和应用. 脉冲神经网络(spiking neural network, SNN)因其低功耗和快速推理的特性, 在神经形态硬件上表现出色. 然而, SNN的神经元动态和脉冲发放机制导致其训练过程复杂, 目前主要研究集中在图像分类任务上, 本文尝试将SNN应用于更为复杂的计算机视觉任务. 本文以YOLOv3-tiny网络为基础, 提出了Spiking YOLOv3模型, 其符合SNN特性的网络模型, 在检测任务上实现了更高的准确度, 并将平均推理时间减少至约原来工作的1/4. 此外, 我们还分析了ANN-SNN转换过程中产生的转换误差, 并采用量化激活函数对Spiking YOLOv3模型进行了优化以减小转换误差. 优化后的模型平均推理时间减少至约原来的1/2, 并在VOC与UAV数据集上实现在ANN-SNN无损转换, 显著提升了基于该模型的检测效率.     

脉冲视觉研究进展

视频是视觉信息处理的基础概念,传统视频的帧率只有几十Hz,不能记录光的高速变化过程,成为限制机器视觉速度的天花板,其根本原因在于视频概念脱胎于胶片成像,未能发挥电子和数字技术的潜力。脉冲视觉模型通过感光器件捕获光子,累积能量达到约定阈值时产生脉冲,形成脉冲的时间越长,表明收到的光信号越弱,反之光信号越强,据此可估计任意时刻的光强,从而实现连续成像。采用普通器件,研制了比影视视频快千倍的超高速成像芯片和相机,进而基于脉冲神经网络实现了超高速目标检测、跟踪和识别,打破了机器视觉提速依赖算力线性增长的传统范式。本文从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,介绍了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向。脉冲视觉芯片和系统在工业(高铁、电力和轮机等不停机监测,智能制造高速监视等)、民用(高速相机、智能交通、辅助驾驶、司法取证和体育判罚等)以及国防(高速对抗)等领域都具有巨大应用潜力,是未来值得重点关注和研究的一个重要方向。     

深度卷积神经网络在计算机视觉中的应用研究综述

随着大数据时代的到来,含更多 隐含层的深度卷积神经网络(Convolutional neural networks, CNNs)具有更复杂的网络结构,与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的 成绩。本文首先简要介绍深度学习和卷积神经网络的兴起与展,概述卷积神经网络的基本模型结构、卷积特征提取和池化操作。然后综述了基于深度学习的卷积神经网络模型在图像分类、物体检测、姿态估计、图像分割和人脸识别等多个计算机视觉应用领域中的研究现状 和发展趋势,主要从典型的网络结构的构建、训练方法和性能表现3个方面进行介绍。最后对目前研究中存在的一些问题进行简要的总结和讨论,并展望未来发展的新方向。     

基于注意力机制和图卷积的小样本分类网络

深度神经网络在有着大量标注数据的图像识别任务上已经占据了统治地位,但是在只有少量标注数据的数据集上训练一个好的网络仍然是一个据有挑战性的任务.如何从有限的标注数据中学习已经成为了一个有着很多应用场景的热点问题.目前有很多解决小样本分类任务的方法,但是仍然存在识别准确率低的问题,根本原因是在小样本学习中,神经网络只能接收少量有标签的数据,导致神经网络不能获取足够的用来识别的信息.因此,提出了一种基于注意力机制和图卷积网络的小样本分类模型.这个模型不仅能够更好地提取特征,而且能够充分利用提取的特征对目标图像进行分类.通过注意力机制,能够指导神经网络关注更有用的信息,而图卷积使得网络能够利用支撑集中其他类别的信息做出更准确的判断.经过大量的实验,证明了提出的模型在Omniglot数据集和mini-ImageNet数据集上的分类准确率都超过了基于传统神经网络的关系网络.     

基于脉冲神经网络的时空交互图像分类

脉冲神经网络作为人工智能发展的重要方向之一,在神经形态工程和类脑计算领域得到了广泛的关注.为解决脉冲神经网络泛化性差、内存和时间消耗较大等问题,本文提出了一种基于脉冲神经网络的时空交互图像分类方法.首先引入时间有效训练算法弥补梯度下降过程中的动能损失;其次融合空间随时间学习算法,提高网络对信息的高效处理能力;最后添加空间注意力机制,增强网络对空间维度上重要特征的捕捉能力.实验结果表明,改进后的方法在CIFAR10、DVS Gesture、CIFAR10-DVS这3个数据集上的训练内存占用分别减少了46.68%、48.52%、10.46%,训练速度分别提升了2.80倍、1.31倍、2.76倍,在保证精度的情况下,网络性能得到有效提升.     

基于深度学习的垃圾图片处理与识别

针对城市环境卫生提出的对市民生活垃圾进行分类回收的要求,考虑计算机卷积神经网络在图片分类中的强大表现,提出了基于深度学习中卷积神经网络对垃圾图片处理以及输出识别的新模型与方法。针对目前图像局部特征表达存在的复杂性,模糊性等不足,采用特征多层池化以及系统神经网络学习的方式进行优化。同时在ResNet101模型的基础上设计并构建了基于CNN(Convolutional Neural Network)算法的新模型框架,此系统模型也能实现端与端的实时识别。新模型提高了对训练样本图像信息提取的精确度以及图片识别的准确率,实验表明识别准确率平均提高了10%。为未来实现人工智能垃圾分类提供图像识别模型基础。