优化搜索空间下带约束的可微分神经网络架构搜索

可微分架构搜索(DARTS)可高效、自动地设计神经网络架构,但其超网络的构建方式与派生策略的设计之间存在性能"鸿沟".针对上述问题,提出了优化搜索空间下带约束的可微分神经网络架构搜索算法.首先,以候选操作关联的架构参数为量化指标来分析超网络的训练过程,发现在派生架构中未生效的候选操作none占据了权重最大的架构参数,从...     

深度神经网络结构搜索综述

深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计。神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错。为此,自动化的神经网络结构搜索成为研究热点。神经网络结构搜索（neural architecture search,NAS）主要由搜索空间、搜索策略与性能评估方法3部分组成。在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构。根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构。在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等。在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间。与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能。在ImageNet分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30%的计算量,并且top-1分类精度提升了3.2%;在Cityscapes语义分割任务上,与手工设计的DeepLabv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有ImageNet预训练的情况下,达到比DeepLabv3+更高的平均交并比（mean intersection over union,mIOU）,同时减小一半以上的计算量。神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势。     

一种基于进化算法的BP神经网络优化方法及应用

针对BP网络的不足,分析了一般进化算法在神经网络结构优化过程中存在的问题,根据物种内优生优育原则和物种间相互竞争、相互学习的生物学原理,提出了一种新的基于进化算法的神经网络优化方法。该方法不但有效弥补了BP神经网络在网络结构、权值选择上的随机性缺陷,缩小了神经网络结构的解搜索空间,加快了BP网络的收敛速度,进而提高了搜索效率,而且还起到对网络的结构和权值进行同时进化的作用。实验结果表明该方法取得了良好的效果。     

一种基于进化算法的BP神经网络优化方法及应用

针对BP网络的不足,分析了一般进化算法在神经网络结构优化过程中存在的问题,根据物种内优生优育原则和物种间相互竞争、相互学习的生物学原理,提出了一种新的基于进化算法的神经网络优化方法。该方法不但有效弥补了BP神经网络在网络结构、权值选择上的随机性缺陷,缩小了神经网络结构的解搜索空间,加快了BP网络的收敛速度,进而提高了搜索效率,而且还起到对网络的结构和权值进行同时进化的作用。实验结果表明该方法取得了良好的效果。     

针对图像盲去模糊的可微分神经网络架构搜索方法

为了解决设计图像去模糊神经网络依赖大量手工调参的问题,提出一种面向图像盲去模糊的可微分神经网络架构搜索方法。通过设计U型残差搜索空间,将去模糊网络的搜索过程分为9个搜索单元的搜索过程,降低了搜索的复杂度,并设计出一个基于随机游走和最近邻插值的算法,通过模拟相机运动轨迹的方式生成模糊核,进而生成足够的模糊图像用于训练。实验结果表明,该方法明显减少了人工调参的工作量,在GOPRO和Kohler数据集上搜索得到的网络,峰值信噪比相对于基准网络UNet分别提升3.10 dB和1.17 dB,并接近UNet的推理速度。     

基于神经网络结构搜索的轻量化网络构建

轻量化网络可解决深度神经网络参数较多、计算量较高、难以部署在计算能力有限的边缘设备上等问题.针对轻量化网络中常用的分组卷积的分组结构问题,文中提出基于神经网络结构搜索的轻量化网络.将不同分组的卷积单元作为搜索空间,使用神经网络结构搜索,得到网络的分组结构和整体架构.同时为了兼顾准确率与计算量,提出循环退火搜索策略,用于解决神经网络结构搜索的多目标优化问题.在数据集上的实验表明,文中网络识别准确率较高,时间复杂度和空间复杂度较低.     

基于神经网络注意力架构搜索的光学遥感图像场景分类

针对光学遥感图像场景分类存在类别变化、样本数量变化,场景图像中背景与重要物体变换大、尺度变化多的问题,提出基于神经网络注意力架构搜索的光学遥感图像场景分类方法,由算法自适应在神经网络中搜索卷积、池化、注意力等操作,构建能完成光学遥感图像场景分类任务的神经网络。为保证搜索神经网络过程稳定性,提出两段式贪婪策略网络搜索方法,分阶段丢弃无用操作,减少搜索算法负担、提高搜索速度。最后为了关注各物体与场景关联信息,提出自上而下的网络连接策略,充分复用各阶段多尺度特征图的语义。实验结果证明：该方法相较于手工设计的经典深度学习方法具有更好的性能。在AID、NWPU、PATTERNET 3个遥感图像标准数据集上总体精度均超过经典方法。在AID数据集上准确率达到94.04%;在PATTERNET数据集上准确率达到99.62%;在NWPU数据集上达到95.49%。     

基于渐进式神经网络架构搜索的人体运动识别

为了解决基于传感器数据的运动识别问题，利用深度卷积神经网络（CNN）在公开的OPPORTUNITY传感器数据集上进行运动识别，提出了一种改进的渐进式神经网络架构搜索（PNAS）算法。首先，神经网络模型设计过程中不再依赖于合适拓扑结构的手动选择，而是通过PNAS算法来设计最优拓扑结构以最大化F1分数；其次，使用基于序列模型的优化（SMBO）策略，在该策略中将按照复杂度从低到高的顺序搜索结构空间，同时学习一个代理函数以引导对结构空间的搜索；最后，将搜索过程中表现最好的20个模型在OPPORTUNIT数据集上进行完全训练，并从中选出表现最好的模型作为搜索到的最优架构。通过这种方式搜索到的最优架构在OPPORTUNITY数据集上的F1分数达到了93.08%，与进化算法搜索到的最优架构及DeepConvLSTM相比分别提升了1.34%和1.73%，证明该方法能够改进以前手工设计的模型结构，且是可行有效的。     

基于改进遗传算法的神经网络优化设计

针对前馈式多层神经网络的结构和权值设计方法的缺陷,提出了一种基于改进遗传算法的前馈神经网络自动优化设计方法,用以完成对网络结构和权值空间的搜索,提高神经网络的收敛速度和搜索全局最优解的能力。通过实验表明,该算法的收敛速度较快,过程稳定,而且泛化能力也较好。故此方法在神经网络设计上能够发挥较好的作用。     

基于郭涛算法的演化神经网络

提出了一种新的演化神经网络算法GTEANN,该算法基于高效的郭涛算法,同时完成在网络结构空间和权值空间的搜索,以实现前馈神经网络的自动化设计。本方法采用的编码方案直观有效,基于该编码表示,神经网络的学习过程是一个复杂的混合整实数非线性规划问题,例如杂交操作包括网络的同构和规整处理。初步实验结果表明该方法收敛,能够达到根据训练样本自动优化设计多层前馈神经网络的目的。