深度学习的轻量化神经网络结构研究综述

随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度.阐述深度学习的轻量化网络结构设计方法,对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势,总结与...     

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

面向轻量化医学图像分割网络的神经结构搜索

现有的性能优异的医学图像分割模型大都由领域专家手动设计,设计过程往往需要大量专业知识和反复实验。此外,过度复杂的分割模型不仅对硬件资源有较高要求,且分割效率较低。为此,提出了用于自动构建轻量化医学图像分割网络的神经结构搜索方法Auto-LW-MISN(Automatically Light-Weight Medical Image Segmentation Network)。通过构建轻量级搜索空间、设计适用于医学图像分割的搜索超网络、设计添加复杂性约束的可微分搜索策略,建立用于自动搜索轻量化医学图像分割网络的神经结构搜索框架。在显微镜细胞图像、肝脏CT图像和前列腺MR图像等数据集上进行实验,结果表明,Auto-LW-MISN能够针对不同模态的医学图像自动构建轻量化的分割模型,其分割精度相比U-net, Attention U-net, Unet++和NAS-Unet等方法均有提高。     

神经网络结构搜索方法综述

如今,深度学习广泛地应用于生活、工作中的各个方面,给我们带来了极大的便利.在此背景下,需要设计针对不同任务的神经网络结构,满足不同的需求.但是,人工设计神经网络结构需要专业的知识,进行大量的实验.因此,神经网络结构搜索算法的研究显得极为重要.神经网络结构搜索(NAS)是自动深度学习(AutoDL)过程中的一个基本步骤,对深度学习的发展与应用有着重要的影响.早期,一些神经网络结构搜索算法虽然搜索到了性能优越的神经网络结构,但是需要大量的计算资源且搜索效率低下.因此,研究人员探索了多种设计神经网络结构的算法,也提出了许多减少计算资源、提高搜索效率的方法.本文首先简要介绍了神经网络结构的搜索空间,其次对神经网络结构搜索算法进行了全面的分类汇总、分析,主要包括随机搜索算法、进化算法、强化学习、基于梯度下降的方法、基于顺序模型的优化算法,再其次探索并总结了提高神经网络结构搜索效率的方法,最后探讨了目前神经网络结构搜索工作中存在的问题以及未来的研究方向.     

单次神经网络结构搜索研究综述

深度学习技术的快速发展与神经网络结构的创新关系密切。为提升网络结构设计效率,自动化网络结构设计算法—神经网络结构搜索NAS成为近年的研究热点。早期NAS算法通常要对大量候选网络进行训练和评估,带来了巨大的计算开销。通过迁移学习技术,可以加速候选网络的收敛,从而提升网络结构搜索效率。基于权重迁移技术的单次神经网络结构搜索(One-shot NAS)算法以超图为基础,子图之间进行权重共享,提高了搜索效率,但是也面临着协同适应、排序相关性差等挑战性问题。首先介绍了基于权重共享的One-shot NAS算法的相关研究,然后从采样策略、过程解耦和阶段性3个方面对关键技术进行分析梳理,比较分析了典型算法的搜索效果,并对未来的研究方向进行了展望。     

神经网络结构搜索前沿综述

深度学习已经在多个领域得到了广泛的使用,并取得了令人瞩目的成绩。然而优秀的网络结构设计在很大程度上仍然依赖于研究者的先验知识和大量的实验验证,整个过程对于人力、算力等资源消耗巨大。因此,能否让计算机自动地找到最适用于当前任务的神经网络结构成为了当前研究的热点。近年来,研究人员对神经网络结构搜索(Neural Architecture Search, NAS)进行了各种改进,相关研究工作复杂且丰富。为了让读者对神经网络结构搜索方法有更清晰的了解,该文从神经网络结构搜索的三个维度：搜索空间、搜索策略和性能评估策略对现有方法进行了分析,并提出了未来可能的研究方向。     

神经网络结构搜索在脑数据分析领域的研究进展

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望.     

深度神经网络结构搜索综述

深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计。神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错。为此,自动化的神经网络结构搜索成为研究热点。神经网络结构搜索（neural architecture search,NAS）主要由搜索空间、搜索策略与性能评估方法3部分组成。在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构。根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构。在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等。在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间。与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能。在ImageNet分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30%的计算量,并且top-1分类精度提升了3.2%;在Cityscapes语义分割任务上,与手工设计的DeepLabv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有ImageNet预训练的情况下,达到比DeepLabv3+更高的平均交并比（mean intersection over union,mIOU）,同时减小一半以上的计算量。神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势。     

面向移动端的轻量化卷积神经网络结构

随着移动设备的大量普及,将卷积神经网络应用于移动设备具有极大的实用价值。虽然随着技术的发展,目前移动设备的计算能力和存储资源都有了极大的提高,但是在移动设备上运行卷积神经网络仍然具有很大的挑战。为了解决这个问题,提出了一种轻量化的卷积神经网络结构S-MobileNet。该结构可以显著地减少网络模型的参数量以及降低模型的计算复杂度。为了全面评测S-MobileNet的性能,在CIFAR-10、CIFAR-100和ImageNet等图像分类数据集上进行了相关实验。实验结果表明,所提出的网络结构在保持MobileNetV2同等准确度的前提下,网络模型的参数量较MobileNetV2减少了近1/3,计算复杂度较MobileNetV2降低了近40%。     

基于网络结构搜索的工业过程自动故障诊断方法

针对现有基于深度神经网络的工业过程故障诊断方法存在网络结构设计烦琐及参数寻优耗时等问题,提出了一种基于网络结构搜索的工业过程自动故障诊断方法(automatic fault diagnosis, AutoFD),该方法采用AutoFD网络结构搜索算法,来自动完成卷积神经网络的网络结构设计和网络参数寻优。在此基础上,首先通过在原始数据上施加操作生成新通道;接着利用表现预测加速获取通道适应性排序的过程;然后依据通道适应性排序,通过表现预测来快速选取最优卷积通道数;最终根据最优卷积通道来搜索表现最优的多通道卷积神经网络模型用于工业过程自动故障诊断。采用田纳西—伊斯曼(Tennessee Eastman, TE)工业过程和数值系统对提出方法进行验证,结果表明该方法可以实现网络结构自动设计及网络参数的自动寻优,并且具有优良的故障诊断性能。     

基于特征图切分的轻量级卷积神经网络

卷积神经网络模型所需的存储容量和计算资源远超出移动和嵌入式设备的承载量,因此文中提出轻量级卷积神经网络架构(SFNet).SFNet架构引入切分模块的概念,通过将网络的输出特征图进行\"切分\"处理,每个特征图片段分别输送给不同大小的卷积核进行卷积运算,将运算得到的特征图拼接后由大小为1×1的卷积核进行通道融合.实验表明,相比目前通用的轻量级卷积神经网络,在卷积核数目及输入特征图通道数相同时,SFNet的参数和计算量更少,分类正确率更高.相比标准卷积,在网络复杂度大幅降低的情况下,切分模块的分类正确率持平甚至更高.     

基于自动修补策略的网络剪枝

为有效缓解深度神经网络因其庞大的计算资源消耗而产生的实际应用受限的问题,研究人员设计包括剪枝在内的多种压缩策略.基于贪心思想的网络剪枝算法大都包含训练、剪枝、微调三部分,无法求得最优的剪枝结构.因此,文中结合人工规则和自动搜索方法,提出基于自动修补策略的网络剪枝.整体剪枝流程包括训练、预剪枝、修补和微调四个阶段,增加的...     

基于强化学习的无标签网络剪枝

为了消除深度神经网络中的冗余结构,找到具备较好性能和复杂度之间平衡性的网络结构,提出基于无标签的全局学习方法(LFGCL).LFGCL学习基于网络体系结构表示的全局剪枝策略,可有效避免以逐层方式修剪网络而导致的次优压缩率.在剪枝过程中不依赖数据标签,输出与基线网络相似的特征,优化网络体系结构.通过强化学习推断所有层的压...     

一种基于BP神经网络的新浪微博实时搜索排序算法

新浪微博是一个热门的社交平台,2012年底注册用户已经超过5亿。因此它和一般的网络应用一样存在信息爆炸的问题。提出一种基于神经网络的算法来将用户的实时搜索结果进行排序,以达到给出用户最感兴趣的信息。一系列实验结果证明该方法在一定范围内是有效的。     

面向时空图建模的图小波卷积神经网络模型

时空图建模是分析图形结构系统中各要素空间关系与时间趋势的一个基础工作.传统的时空图建模方法,主要基于图中节点与节点关系固定的显式结构进行空间关系挖掘,这严重限制了模型的灵活性.此外,未考虑节点间的时空依赖关系的传统建模方法不能捕获节点间的长时时空趋势.为了克服这些缺陷,研究并提出了一种新的用于时空图建模的图神经网络模型,即面向时空图建模的图小波卷积神经网络模型（Graph Wavelet Convolutional Neural Network for Spatiotemporal Graph Modeling,GWNN-STGM）,称为GWNN-STGM.在GWNN-STGM中设计了一个图小波卷积神经网络层,并在该网络层中设计并引入了自适应邻接矩阵进行节点嵌入学习,使得模型能够在不需要结构先验知识的情况下,从数据集中自动发现隐藏的结构信息.此外,GWNN-STGM还包含了一个堆叠的扩张因果卷积网络层,使模型的感受野能够随着卷积网络层数的增加呈指数增长,从而能够处理长时序列.GWNN-STGM成功将图小波卷积神经网络层和扩张因果卷积网络层两个模块进行有效集成.通过在公共交通网络数据集上试验发现,提出的GWNN-STGM的性能优于其他的基准模型,这表明设计的图小波卷积神经网络模型在从输入数据集中探索时空结构方面具有很大的潜力.     

基于渐进式神经网络架构搜索的人体运动识别

为了解决基于传感器数据的运动识别问题,利用深度卷积神经网络（CNN）在公开的OPPORTUNITY传感器数据集上进行运动识别,提出了一种改进的渐进式神经网络架构搜索（PNAS）算法。首先,神经网络模型设计过程中不再依赖于合适拓扑结构的手动选择,而是通过PNAS算法来设计最优拓扑结构以最大化F1分数;其次,使用基于序列模型的优化（SMBO）策略,在该策略中将按照复杂度从低到高的顺序搜索结构空间,同时学习一个代理函数以引导对结构空间的搜索;最后,将搜索过程中表现最好的20个模型在OPPORTUNIT数据集上进行完全训练,并从中选出表现最好的模型作为搜索到的最优架构。通过这种方式搜索到的最优架构在OPPORTUNITY数据集上的F1分数达到了93.08%,与进化算法搜索到的最优架构及DeepConvLSTM相比分别提升了1.34%和1.73%,证明该方法能够改进以前手工设计的模型结构,且是可行有效的。     

基于平衡搜索策略的多目标粒子群优化算法*

鉴于平衡全局和局部搜索在多目标粒子群优化算法获取完整均匀Pareto最优前沿方面的重要性,设计平衡全局和局部搜索策略,进而提出改进的多目标粒子群优化算法(bsMOPSO).文中策略在局部搜索方面设计归档集自挖掘子策略,通过对归档集中均匀分布的部分粒子进行柯西扰动,使归档集涵盖整个前沿面的局部搜索.在全局搜索方面设计边界最优粒子引导搜索子策略,以边界最优粒子替换部分粒子的全局最优解,引导粒子向各维目标的边界区域搜索.选取4种对比算法在ZDT和DTLZ系列的部分测试函数上进行实验,结果表明bsMOPSO具有更快的Pareto最优前沿收敛效率和更好的分布性.     

基于增强卷积神经网络的路面裂纹检测

为了提高路面裂纹检测的效率以及精度,将增强卷积神经网络引入路面裂纹图像识别中。首先,采用线性灰度变换对原始图像进行预处理,减少噪声对识别的影响。接着经过结构设计,算法训练以及实验样本测试几个步骤后,建立了路面裂纹识别模型。最终通过在Matlab实验显示,建立的识别模型能够有效地对路面裂纹进行识别,识别率可达92.8%。实验结果表明相比于其他算法,本算法具有效率高、结果准确等优势,能够满足工程需求。     

基于DeepLab的物体部件分割网络

针对现有部件分割精度较低、泛化性和精度无法兼顾等问题,文中提出基于DeepLab的物体部件分割网络(DeepLab-MAFE-DSC).网络的编码器部分提出多尺度自适应形态特征提取模块(MAFE),利用可形变卷积增强模型对不规则轮廓的处理能力,并采取先级联再并行相加的采样模式,兼顾全局和局部信息.解码器部分设计基于跳跃式架构的解码器模块(DSC),同时连接深层的语义信息和浅层的表征信息.在数据集上的实验表明,DeepLab-MAFE-DSC具有简单、分割精度较高、泛化性较强的优点.     

混沌神经网络在求解优化问题中的应用

本文运用GCM混沌神经网络对Hopfield神经网络在求解优化方面的问题进行了改进。通过混沌遍历,可使Hopfield网络在整个相空间进行搜索,从而避免网络在运行过程中陷入局部极小值。通过对一个对弈的实例进行实验,结果显示Hopfield网络的寻优特性获得了较大改进。