深度神经网络结构搜索综述

深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计。神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错。为此,自动化的神经网络结构搜索成为研究热点。神经网络结构搜索（neural architecture search,NAS）主要由搜索空间、搜索策略与性能评估方法3部分组成。在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构。根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构。在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等。在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间。与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能。在ImageNet分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30%的计算量,并且top-1分类精度提升了3.2%;在Cityscapes语义分割任务上,与手工设计的DeepLabv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有ImageNet预训练的情况下,达到比DeepLabv3+更高的平均交并比（mean intersection over union,mIOU）,同时减小一半以上的计算量。神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势。     

神经网络结构搜索方法综述

如今,深度学习广泛地应用于生活、工作中的各个方面,给我们带来了极大的便利.在此背景下,需要设计针对不同任务的神经网络结构,满足不同的需求.但是,人工设计神经网络结构需要专业的知识,进行大量的实验.因此,神经网络结构搜索算法的研究显得极为重要.神经网络结构搜索(NAS)是自动深度学习(AutoDL)过程中的一个基本步骤,对深度学习的发展与应用有着重要的影响.早期,一些神经网络结构搜索算法虽然搜索到了性能优越的神经网络结构,但是需要大量的计算资源且搜索效率低下.因此,研究人员探索了多种设计神经网络结构的算法,也提出了许多减少计算资源、提高搜索效率的方法.本文首先简要介绍了神经网络结构的搜索空间,其次对神经网络结构搜索算法进行了全面的分类汇总、分析,主要包括随机搜索算法、进化算法、强化学习、基于梯度下降的方法、基于顺序模型的优化算法,再其次探索并总结了提高神经网络结构搜索效率的方法,最后探讨了目前神经网络结构搜索工作中存在的问题以及未来的研究方向.     

神经网络结构搜索在脑数据分析领域的研究进展

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望.     

单次神经网络结构搜索研究综述

深度学习技术的快速发展与神经网络结构的创新关系密切。为提升网络结构设计效率,自动化网络结构设计算法—神经网络结构搜索NAS成为近年的研究热点。早期NAS算法通常要对大量候选网络进行训练和评估,带来了巨大的计算开销。通过迁移学习技术,可以加速候选网络的收敛,从而提升网络结构搜索效率。基于权重迁移技术的单次神经网络结构搜索(One-shot NAS)算法以超图为基础,子图之间进行权重共享,提高了搜索效率,但是也面临着协同适应、排序相关性差等挑战性问题。首先介绍了基于权重共享的One-shot NAS算法的相关研究,然后从采样策略、过程解耦和阶段性3个方面对关键技术进行分析梳理,比较分析了典型算法的搜索效果,并对未来的研究方向进行了展望。     

深度神经架构搜索综述

深度学习在图像、语音、文本等多种模态的数据任务上取得了优异的效果.然而,针对特定任务,人工设计网络需要花费大量的时间,并且需要设计者具有一定水平的专业知识和设计经验.面对如今日趋复杂的网络架构,仅依靠人工进行设计变得越来越复杂.基于此,借助算法自动地对神经网络进行架构的搜索成为了研究热点.神经架构搜索的方法涉及3个方面：搜索空间、搜索策略、性能评估策略.通过搜索策略在搜索空间中选择一个网络架构,借助性能评估策略对该网络架构进行评估,并将结果反馈给搜索策略指导搜索策略选择更好的网络架构,通过不断迭代得到最优的网络架构.为了更好地为读者提供一个快速了解神经网络架构搜索方法的导航地图,从搜索空间、搜索策略和性能评估策略3个方面对现有典型的神经架构搜索方法进行了梳理,总结讨论了近年来常见的架构搜索方法,并分析了各种方法的优势和不足.     

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

硬件感知的神经架构搜索

深度神经网络(deep neural networks, DNNs)能否取得令人满意的性能很大程度上依赖于其神经网络架构.研究人员提出神经网络架构搜索(neural architecture search, NAS)来自动搜索神经网络的最优架构,现有的工作大多使用每秒浮点运算次数(floating point operations per second, FLOPs)来评价神经网络架构的实际效率,但是FLOPs和实际延迟并不是完全一致的.随着任务变得越来越复杂以及越来越多的硬件平台开始运行基于深度神经网络的算法,为硬件平台搜索高效的神经网络架构已成为亟待解决的难题.为了解决这一问题,本文提出了硬件感知的搜索空间构造方法,并借助考虑架构推断延迟的搜索策略,来搜索最优的神经网络架构.本文在可变换神经网络架构搜索方法(transformable architecture search, TAS)和图神经网络架构搜索方法 (graph neural architecture search, GraphNAS)上应用了该方法,提出了硬件可感知的可变换神经网络架构搜索方法 (hardwareawa...     

深度学习的轻量化神经网络结构研究综述

随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度.阐述深度学习的轻量化网络结构设计方法,对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势,总结与...     

神经网络结构搜索前沿综述

深度学习已经在多个领域得到了广泛的使用,并取得了令人瞩目的成绩。然而优秀的网络结构设计在很大程度上仍然依赖于研究者的先验知识和大量的实验验证,整个过程对于人力、算力等资源消耗巨大。因此,能否让计算机自动地找到最适用于当前任务的神经网络结构成为了当前研究的热点。近年来,研究人员对神经网络结构搜索(Neural Architecture Search, NAS)进行了各种改进,相关研究工作复杂且丰富。为了让读者对神经网络结构搜索方法有更清晰的了解,该文从神经网络结构搜索的三个维度：搜索空间、搜索策略和性能评估策略对现有方法进行了分析,并提出了未来可能的研究方向。     

融合Informer和深度哈希的时序数据相似性搜索研究

针对工业大数据相似性搜索的效率和准确率不高的问题,提出了一种融合Informer和深度哈希算法的时序数据相似性搜索方法。首先,基于Informer搭建深度哈希数据特征提取模型;然后,通过贪婪哈希函数和层归一化构建深度哈希函数,通过对损失函数进行优化提高深度哈希算法的性能;最后,对M树(M-tree)进行改进,提高时序数据相似性搜索的效率。基于不同数据集的实验结果表明,该方法在保证较高准确性的前提下,可以有效提高时序数据相似性搜索的速度。     

神经结构搜索的研究进展综述

近年来,深度神经网络(DNNs)在许多人工智能任务中取得卓越表现,例如计算机视觉(CV)、自然语言处理(NLP).然而,网络设计严重依赖专家知识,这是一个耗时且易出错的工作.于是,作为自动化机器学习(AutoML)的重要子领域之一,神经结构搜索(NAS)受到越来越多的关注,旨在以自动化的方式设计表现优异的深度神经网络模...     

一种快速渐进式卷积神经网络结构搜索算法

手动设计卷积神经网络结构对专业性要求高、难度大。基于梯度可微的搜索快速高效,但这类方法存在深度鸿沟和稳定性较差的问题。提出一种结合渐进式搜索和贪心指标的快速渐进式结构搜索算法(FPNAS),通过渐进式扩展搜索阶段的结构,使得搜索阶段的网络结构逐渐接近评估阶段,避免深度鸿沟造成的影响。同时,通过运用贪心指标作为选边准则,增加搜索评估的相关性并提高搜索的稳定性。针对网络结构搜索算法消耗计算资源多的问题,提出渐进式划分数据集方法,通过分阶段不同比例的数据集划分来减少结构搜索的计算资源消耗。以准确率和搜索时间作为评价指标,将FPNAS与渐进式可微结构搜索算法和贪心搜索算法进行对比,实验结果表明,FPNAS搜索出的网络结构稳定性得到改进,搜索时间分别缩短0.19和0.14个GPU Days,在CIFAR-10数据集上精度最高达到97.7%。     

面向文献评价的引文网络结构多样性研究

鉴于从海量文献中寻找高质量文献的重要性,提出了文献评价指标——引文网络结构多样性。大规模数据集上的数据分析实验分析了该模型作为文献评价指标的可行性,并针对数据集引用关系存在缺失的情况提出改进模型,使之更加适用于引文网络分析。数据分析实验结果显示文献引文网络结构多样性与引用量显著线性相关,且引文网络结构多样性是影响文献发表后引用量变化趋势的重要因素。在引用量预测实验中,各结构多样性在85.8%的实验中提升了模型的预测性能,其中组合结构多样性在长期引用量预测实验中效果突出,对决定系数R2最高提升22.19%,平均提升14.55%,对均方误差MSE最高提升22.76%,平均提升17.34%。     

基于卷积神经网络的微博话题内容搜索方法

针对由于微博文本的数据特性造成的传统信息搜索方法无法直接实现微博话题内容搜索的问题,提出了一种基于卷积神经网络的微博话题内容搜索方法,对微博安全话题内容进行搜索和匹配排序。该方法包括基于深度卷积神经网络的微博内容筛选和微博内容匹配两部分。微博内容筛选依据深度卷积特征表示进行微博内容筛选,微博内容匹配通过卷积特征非线性变换对筛选结果进行匹配排序。微博内容筛选和微博内容匹配对国民安全话题相关的微博文本内容局部特征进行处理,对筛选结果进行相似度计算从而实现相似度匹配。实验结果表明该方法在微博搜索性能上优于现有同类方法,并验证了所提出方法针对安全话题的微博文本内容搜索的有效性。     

基于神经网络结构搜索的轻量化网络构建

轻量化网络可解决深度神经网络参数较多、计算量较高、难以部署在计算能力有限的边缘设备上等问题.针对轻量化网络中常用的分组卷积的分组结构问题,文中提出基于神经网络结构搜索的轻量化网络.将不同分组的卷积单元作为搜索空间,使用神经网络结构搜索,得到网络的分组结构和整体架构.同时为了兼顾准确率与计算量,提出循环退火搜索策略,用于解决神经网络结构搜索的多目标优化问题.在数据集上的实验表明,文中网络识别准确率较高,时间复杂度和空间复杂度较低.     

基于演化序搜索的混合贝叶斯网络结构学习方法

贝叶斯网络是一种不确定性知识表示与推理的有效工具,学习其结构是利用这一工具进行推理的基础。现有的贝叶斯网络结构学习算法,在智能教育等应用场景中往往面临着难以权衡有效性与高效性的问题。一方面,评分搜索类方法能搜索到高质量的解,但面临着算法复杂度高的挑战。另一方面,混合类方法效率高,但所找到的解的质量不尽如人意。针对上述问题,提出了一种基于演化序搜索的混合贝叶斯网络结构学习方法(EvOS)。该方法首先通过约束类算法构建无向图骨架,然后利用演化算法搜索最优节点序,最后使用该节点序指导贪婪搜索得到贝叶斯网络结构。基于常用基准数据集以及教育知识结构发现任务,验证了所提方法的有效性与高效性。实验结果表明,所提方法相较于评分搜索类方法,能够在保持相仿精度的情况下最高加速百倍,且有效性显著高于混合类方法。     

神经网络结构自适应研究综述

网络结构自适应旨在根据特定学习任务和数据对神经网络结构进行自动设计和模型优化,以适应开放环境智能感知学习任务的综合需求.文中旨在全面综述网络结构自适应方法.首先,阐述并分析神经架构搜索的主要方法.然后,分别从轻量化神经架构搜索、智能感知任务、连续学习三个方面呈现网络结构自适应的研究进展.在此基础上,建立一套面向开放环境应用的深度神经网络组件与结构的自适应评价指标体系,提出一种网络结构自适应方法,通过注意力引导的微观架构自适应机制和渐进式离散策略,在优化过程中实现网络结构的自适应调整优化和逐步离散化,并与现有方法进行对比分析.最后,探讨当前方法存在的问题与挑战,展望未来的研究方向.     

基于深度神经网络结构的互联网金融市场动态预测

近些年,互联网金融市场在国内外迅速发展;同时,针对互联网金融市场的研究也成为了学术界的热点.相比于传统金融市场,互联网金融市场具有更高的流动性和易变性.针对互联网金融市场的动态(日交易量和日交易次数)进行研究,提出了基于深度神经网络结构的融合层次时间序列学习的预测模型.首先,该模型可以实现对多序列(市场宏观动态序列和多种子序列)特征变量输入的处理,并且在时间和序列特征2个维度上利用注意力机制来融合输入变量.其次,模型设计了基于预测序列平稳性约束的优化函数,使得模型具有更好的稳健性.最后,在真实的大规模数据集上进行了大量的实验,结果充分证明了所提出的模型在互联网金融市场动态预测问题上的有效性与稳健性.     

基于网络结构搜索的工业过程自动故障诊断方法

针对现有基于深度神经网络的工业过程故障诊断方法存在网络结构设计烦琐及参数寻优耗时等问题,提出了一种基于网络结构搜索的工业过程自动故障诊断方法(automatic fault diagnosis, AutoFD),该方法采用AutoFD网络结构搜索算法,来自动完成卷积神经网络的网络结构设计和网络参数寻优。在此基础上,首先通过在原始数据上施加操作生成新通道;接着利用表现预测加速获取通道适应性排序的过程;然后依据通道适应性排序,通过表现预测来快速选取最优卷积通道数;最终根据最优卷积通道来搜索表现最优的多通道卷积神经网络模型用于工业过程自动故障诊断。采用田纳西—伊斯曼(Tennessee Eastman, TE)工业过程和数值系统对提出方法进行验证,结果表明该方法可以实现网络结构自动设计及网络参数的自动寻优,并且具有优良的故障诊断性能。