基于胶囊网络及其权重剪枝的SAR图像变化检测方法

基于深度神经网络的SAR图像变化检测算法由于精确率高等优点,已被广泛应用在农业检测、城市规划以及森林预警等多个领域.设计了基于胶囊网络的SAR图像变化检测算法,针对其模型复杂度高、参数量大等问题,提出了基于权重剪枝的模型压缩方法.该方法对其胶囊网络参数进行逐层分析,针对不同类型的层采取不同的剪枝策略,对网络中冗余的参数进行剪枝,随后对剪枝后的网络进行微调,从而提高了剪枝后模型的检测性能.最后,通过对模型中保留下来的参数进行压缩存储,显著降低了模型所占用的存储空间.在4组真实SAR图像上的实验结果证明了所提出的模型压缩方法的有效性.     

深度学习模型压缩与加速综述

随着训练可用数据量的增长与计算平台处理能力的增强，基于深度学习的智能模型能完成越来越复杂的任务，其在计算机视觉、自然语言处理等人工智能领域已经取得重大突破.然而这些深度模型具有庞大的参数规模，与之伴随着可畏的计算开销与内存需求，使得其在计算能力受限平台（例如移动嵌入式设备）的部署中遇到了巨大的困难与挑战，因此如何在不影响深度学习模型性能的情况下进行模型压缩与加速成为研究热点.本文首先对国内外学者提出的经典深度学习模型压缩与加速方法进行分析，从参数剪枝、参数量化、紧凑网络、知识蒸馏、低秩分解、参数共享和混合方式等7个方面分类总结.其次，总结对比几种主流技术的代表性方法在多个公开模型上的压缩与加速效果.最后，对于模型压缩与加速领域的未来研究方向进行展望.     

基于梯度的深度网络剪枝算法

深度神经网络模型通常存在大量冗余的权重参数,计算深度网络模型需要占用大量的计算资源和存储空间,导致深度网络模型难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝(GDP)算法。GDP算法核心思想是以梯度作为评判权值重要性的依据。首先,通过自适应的方法找出阈值进行权值参数的筛选;然后,剔除那些小于阈值的梯度所对应的权值;最后,重新训练剪枝后的深度网络模型来恢复网络精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高了0.13个百分点,计算量下降了1.1个百分点,具有更优越的深度网络压缩与加速性能。     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法。设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小。使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情况下提取表达性更强的深度特征,从而完成目标跟踪任务并提高模型的跟踪精度。在GOT-10K、OTB100和VOT2016基准上对算法性能进行测试,结果表明,该算法能够将模型大小降为3.8×10⁶,且速度与精度均优于SiamFC、KCF和DAT等跟踪算法。     

分块压缩学习剪枝算法

为压缩网络剪枝过程中较大的搜索空间,从预训练深度神经网络中找到最佳的稀疏网络结构,本文提出一种基于遗传算法和知识蒸馏的分块压缩学习算法(CCLA).首先,在预定义压缩空间中将学生网络初始化为一个稀疏网络结构.然后,将教师网络和学生网络按层划分多个块网络,在教师网络的监督下对学生网络进行逐块压缩.最后,使用遗传算法搜索学生网络中每个块网络的稀疏结构.在CIFAR-10数据集上对VGG-16网络和ResNet-110网络的实验结果表明,本文所提方法性能表现良好,例如,在CIFAR-10数据集上对VGG-16进行压缩,可压缩掉87.82%的参数和70.4%的浮点运算(Floating Point of operations, FLOPs),而精度损失仅为0.37%.     

改进聚类的深度神经网络压缩实现方法

深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K-Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet,AlexNet和VGG-16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能.     

引入概率分布的深度神经网络贪婪剪枝

目的 深度学习在自动驾驶环境感知中的应用,将极大提升感知系统的精度和可靠性,但是现有的深度学习神经网络模型因其计算量和存储资源的需求难以部署在计算资源有限的自动驾驶嵌入式平台上。因此为解决应用深度神经网络所需的庞大计算量与嵌入式平台有限的计算能力之间的矛盾,提出了一种基于权重的概率分布的贪婪网络剪枝方法,旨在减少网络模型中的冗余连接,提高模型的计算效率。方法 引入权重的概率分布,在训练过程中记录权重参数中较小值出现的概率。在剪枝阶段,依据训练过程中统计的权重概率分布进行增量剪枝和网络修复,改善了目前仅以权重大小为依据的剪枝策略。结果 经实验验证,在Cifar10数据集上,在各个剪枝率下本文方法相比动态网络剪枝策略的准确率更高。在ImageNet数据集上,此方法在较小精度损失的情况下,有效地将AlexNet、VGG（visual geometry group）16的参数数量分别压缩了5.9倍和11.4倍,且所需的训练迭代次数相对于动态网络剪枝策略更少。另外对于残差类型网络ResNet34和ResNet50也可以进行有效的压缩,其中对于ResNet50网络,在精度损失增加较小的情况下,相比目前最优的方法HRank实现了更大的压缩率（2.1倍）。结论 基于概率分布的贪婪剪枝策略解决了深度神经网络剪枝的不确定性问题,进一步提高了模型压缩后网络的稳定性,在实现压缩网络模型参数数量的同时保证了模型的准确率。     

一种基于轻量级深度网络的目标识别方法

针对资源受限条件下目标识别任务,提出了一种基于轻量化深度网络的目标识别方法。通过优化卷积操作、模型参数压缩、增强特征表达深度等网络结构的优化方法,设计并实现了针对嵌入式平台应用的轻量化网络模型结构,使得深度网络模型在保证精度的条件下,实现了模型参数和运行所需资源的大幅缩减。实验表明,提出的轻量化深度模型较ILSVRC-15冠军提出的基础模型ResNet,能够实现在ImageNet-67数据集上,网络模型压缩为基础模型10.2%的条件下仍保持93.5%的目标识别准确率。     

基于深度稀疏低秩分解的深度神经网络轻量化方法

基于嵌入式平台对深度神经网络轻量化的需求,结合模块化、逐层处理思想,以主流检测识别深度神经网络Faster RCNN轻量化为目标,设计基于深度稀疏低秩分解的轻量化方法.针对Faster RCNN网络架构特点,首先采用深度可分离卷积和稀疏低秩理论对Faster RCNN网络的特征提取主干网络部分进行初始轻量化;其次采用稀疏低秩裁剪对主干网络进行“逐层通道裁剪,逐层重训练,逐层调优”轻量化,采用张量Tensor-Train分解理论,对区域建议网络进行轻量化处理,尽可能保证低性能损失;再次对识别与分类网络进行稀疏低秩分解和通道裁剪,增加模型压缩倍数,减少所需要和所消耗计算资源;最后,基于感兴趣区域定位感知的RPN网络输入特征知识蒸馏,提升检测识别性能.数值实验表明,所提出方法可以实现模型压缩100倍,检测识别率仅下降5%.     

深度神经网络的压缩研究

深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案：首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用k-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重。实验在MINST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300–240-180-100网络分别压缩了9.5×和12.1×。 基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。     

基于蚁群算法优化回声状态网络的研究

针对输出权值采用最小二乘法的回声状态网络(ESN),在随机选取输入权值和隐层神经元阈值时,存在收敛速度慢、预测精度不稳定等问题,提出了基于蚁群算法优化回声状态网络(ACO-ESN)的算法。该算法将优化回声状态网络的初始输入权值、隐层神经元阈值问题转化为蚁群算法中蚂蚁寻找最佳路径的问题,输出权值采用最小二乘法计算,通过蚁群算法的更新、变异、遗传等操作训练回声状态网络,选择出使回声状态网络预测误差最小的输入权值和阈值,从而提高其预测性能。将ACO-ESN与ELM、I-ELM、OS-ELM、B-ELM等神经网络的仿真结果进行对比,结果验证经过蚁群算法优化的回声状态网络加快了其收敛速度,改善了其预测性能,并增强了隐层神经元的敏感度。     

基于深度残差网络图像分类算法研究综述

近年来,由于计算机技术的飞速迅猛发展,特别是硬件条件的改善,计算能力不断提高,深层神经网络训练的时间大大缩短,深度残差网络也迅速成为一个新的研究热点.深度残差网络作为一种极深的网络架构,在精度和收敛等方面都展现出了很好的特性.研究者们深入研究其本质并在此基础上提出了很多关于深度残差网络的改进,如宽残差网络,金字塔型残差网络,密集型残差网络,注意力残差网络等等.本文从残差网络的设计出发,分析了不同残差单元的构造方式,介绍了深度残差网络不同的变体.从不同的角度比较了不同网络之间的差异以及这些网络架构在常用图像分类数据集上的性能表现.最后我们对于这些网络进行了总结,并讨论了未来深度残差网络在图像分类领域的一些研究方向.     

Multiplicative neuron model artificial neural network based on Gaussian activation function

Multiplicative neuron model-based artificial neural networks are one of the artificial neural network types which have been proposed recently and have produced successful forecasting results. Sigmoid activation function was used in multiplicative neuron model-based artificial neural networks in the previous studies. Although artificial neural networks which involve the use of radial basis activation function produce more successful forecasting results, Gaussian activation function has not been used for multiplicative neuron model yet. In this study, rather than using a sigmoid activation function, Gaussian activation function was used in multiplicative neuron model artificial neural network. The weights of artificial neural network and parameters of activation functions were optimized by guaranteed convergence particle swarm optimization. Two major contributions of this study are as follows: the use of Gaussian activation function in multiplicative neuron model for the first time and the optimizing of central and propagation parameters of activation function with the weights of artificial neural network in a single optimization process. The superior forecasting performance of the proposed Gaussian activation function-based multiplicative neuron model artificial neural network was proved by applying it to real-life time series.     

通道与空间注意力图像超分辨率网络

单幅图像超分辨率（Single Image Super Resolution,SISR）在计算机视觉领域占有重要地位,该技术旨在从低分辨率图像中重建出高分辨率图像。近年来,深度神经网络在SISR领域起到了至关重要的作用,然而,目前利用卷积神经网络平等地对待高频与低频特征,使得高频细节的重建表现不佳,输出过于平滑,缺少纹理信息。另一方面,过于深的网络不容易收敛,并且随着神经网络的深度增长,来自前一层的长期信息很容易在后期层中减弱或丢失,使得重建收益不能正比于网络的深度与计算复杂度。针对以上问题,对用于SISR的卷积神经网络的基本块提出了空间注意力模块与通道注意力模块,在同一通道中,不同位置的信息被空间注意力模块赋予不同的权重,不同通道间的权重由通道注意力模块决定,这使得高频信息在重建任务中获得更高的地位,提高了重建指标。进一步地提出了长期特征调制模块将网络的层深度转化为块深度,大大缩小了网络深度,以解决前层长期信息的丢失问题。在Set5等多个基准数据集上的峰值信噪比（PSNR）均比目前其他基于深度卷积神经网络的方法有所提升,这证明了提出的方法的有效性与先进性。     

深度神经网络FPGA设计进展、实现与展望

近年来,随着人工智能与大数据技术的发展,深度神经网络在语音识别、自然语言处理、图像理解、视频分析等应用领域取得了突破性进展.深度神经网络的模型层数多、参数量大且计算复杂,对硬件的计算能力、内存带宽及数据存储等有较高的要求.FPGA作为一种可编程逻辑器件,具有可编程、高性能、低能耗、高稳定、可并行和安全性的特点.FPGA与深度神经网络的结合成为推动人工智能产业应用的研究热点.本文首先简述了人工神经网络坎坷的七十年发展历程与目前主流的深度神经网络模型,并介绍了支持深度神经网络发展与应用的主流硬件;接下来,在介绍FPGA的发展历程、开发方式、开发流程及型号选取的基础上,从六个方向分析了FPGA与深度神经网络结合的产业应用研究热点;然后,基于FPGA的硬件结构与深度神经网络的模型特点,总结了基于FPGA的深度神经网络的设计思路、优化方向和学习策略;接下来,归纳了FPGA型号选择以及相关研究的评价指标与度量分析原则;最后,我们总结了影响FPGA应用于深度神经网络的五个主要因素并进行了概要分析.     

Human activity recognition via wearable devices using enhanced ternary weight convolutional neural network

Human activity recognition (HAR) has been known as an active area for more than a decade, and there are still crucial aspects that are intended as challenging problems. Providing detailed and appropriate information about the activities and behaviors of people is one of the most important fields in ubiquitous computing. There are numerous applications in this field, among which healthcare, security, and entertainment scenarios can be listed. Human activity recognition can be carried out with the assistance of smartphone sensors such as accelerometers and gyroscopes or images captured from webcams. Today, the application of deep neural networks in this domain has received much attention and has led to more accurate and effective results compared to traditional techniques. The deep neural network performs arithmetic operations on a various number of hidden layers. In this article, a new approach called HAR-CT is proposed to enhance the accuracy of human activity recognition in various classes by adopting a convolutional neural network (CNN). Subsequently, an optimization technique using the TWN model is also suggested to reduce the complexity of the deep neural network approach that decreases the energy consumption of mobile devices. To this end, the float precision weights of the convolutional neural network are quantized and converted into ternary weights, while the decline in the accuracy is very low compared to the initial deep neural network. The evaluation results of both networks demonstrate that the proposed methods outperform the recently published approaches in human activity recognition.     

Sensitivity of feedforward neural networks to weight errors

An analysis is made of the sensitivity of feedforward layered networks of Adaline elements (threshold logic units) to weight errors. An approximation is derived which expresses the probability of error for an output neuron of a large network (a network with many neurons per layer) as a function of the percentage change in the weights. As would be expected, the probability of error increases with the number of layers in the network and with the percentage change in the weights. The probability of error is essentially independent of the number of weights per neuron and of the number of neurons per layer, as long as these numbers are large (on the order of 100 or more).     

基于遗传规划实现泛函网络神经元函数类型优化

泛函网络是最近提出的一种对神经网络的有效推广。与神经网络不同，它处理的是一般的泛函模型，其神经元函数不固定，而是可学习的，且在各个处理单元之间没有权值。同神经网络一样，至今还没有系统设计方法能够对给定问题设计出近似最优的结构。鉴于此，将整个泛函网络的设计分解为单个神经元的逐个设计；然后，在此框架下提出了基于遗传规划的单个神经元的设计方法，该方法可实现对神经元函数类型的优化。仿真实验表明，本方法是有效可行的，能用较小的网络规模获得更满意的泛化特性。     

深度知识追踪模型综述和性能比较

知识追踪是一种重要的认知诊断方法,往往被用于在线学习平台、智能辅导系统等信息化教学平台中.知识追踪模型通过分析学生与课程作业的交互数据,即时模拟学生对课程知识点的掌握水平,模拟的结果可以用来预测学生未来的学习表现,并帮助他们规划个性化的学习路径.在过去20多年中,知识追踪模型的构建通常基于统计学和认知科学的相关理论.随着教育大数据的开放和应用,基于深度神经网络的模型(以下简称“深度知识追踪模型”)以其简单的理论基础和优越的预测性能,逐渐取代了传统模型,成为知识追踪领域新的研究热点.根据所使用的神经网络结构,阐述近年来代表性深度知识追踪模型的算法细节,并在5个公开数据集上对这些模型的性能进行全面比较.最后讨论了深度知识追踪的应用案例和若干未来研究方向.     

基于改进GA-Elman的无线智能传播损耗预测方法

在5G移动通信系统商用落地的背景下,设计准确、高效的信道估计方法对无线网络性能优化具有重要意义。基于改进GA-Elman算法,提出一种新的无线智能传播损耗预测方法。对Elman神经网络中的连接权值、阈值和隐藏神经元进行实数编码,在隐藏神经元编码中加入二进制控制基因,同时利用自适应遗传算法对权值、阈值和隐藏神经元数量进行优化,解决网络易陷入局部极小值和神经元数目难以确定的问题,从而提高预测性能。仿真结果表明,与仅优化连接权值及阈值的GA-Elman神经网络和标准Elman神经网络相比,该方法具有较高的预测精度。