基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

基于DMDE算法的前向神经网络设计

针对神经网络结构与参数并行优化问题,提出一种基于动态多群体差分进化算法的前向神经网络设计方法。采用分层递阶结构原理构造算法个体,根据控制基因信息将个体分成不同的动态群体。通过对个体进行重构,实现进化过程中个体信息的充分交换与共享。设计基于群体适应度的控制基因更新方法来优化网络拓扑结构,克服结构优化的盲目与低效问题。将所设计的神经网络应用于大包线飞行控制律参数拟合中。仿真结果表明,该算法能快速有效地确定神经网络的结构和权值,所优化的网络在调参控制中具有较好的泛化能力。     

基于混合搜索的多种群人工蜂群算法

针对经典人工蜂群（ABC）算法搜索策略存在搜索机制单一、群体全局搜索与局部搜索运算耦合性较高的问题,提出一种基于混合搜索的多种群人工蜂群（MPABC） 算法。首先,将种群按照适应度值进行排序,得到一个有序队列,进而将其划分为随机子群、核心子群和平衡子群三类有序子群;其次,针对不同子群结合相应的个体选择机制与搜索策略,构建出不同的差异向量;最后,在群体的搜索过程中,通过三类子群实现对具有不同适应度函数值个体的有效控制,来增强群体全局搜索和局部搜索的平衡能力。通过对16个标准测试函数进行仿真实验并与具有可变搜索策略的人工蜂群（ABCVSS）算法、基于选择概率的改进人工蜂群（MABC）算法、基于粒子群策略的多精英人工蜂群（PS-MEABC）算法、基于符号函数的多搜索策略人工蜂群（MSSABC）算法和优化高维复杂函数的改进人工蜂群（IABC）算法共五种典型的蜂群算法进行了对比,实验结果显示MPABC具有较好的优化效果;与ABC算法相比,MPABC在求解高维（100维）复杂问题上的收敛速度提高了约23%,且求解精度更优。     

基于小生境技术的神经网络进化集成

针对目前神经网络集成方法中生成个体网络差异度小、集成泛化能力较差等缺点,提出一种基于小生境技术的神经网络进化集成方法。利用小生境技术在增加进化群体的多样性、提高进化局部搜索能力方面的良好性能,通过个体间相似程度的共享函数来调整神经网络集成中个体网络的适应度,再依据调整后的新适应度进行选择,以维护群体的多样性,得到多样性的个体网络。理论分析和实验结果表明,该方法能有效生成差异度较大的个体网络,提高神经网络集成系统的泛化能力与计算精度。     

基于等级制度的病毒进化遗传算法

按照适应度将主群体分成高等主子群和低等主子群,病毒也相应地分为小病毒群和大病毒群。高等主子群个体感染小病毒后其显性值产生小尺度变化,低等主子群个体感染大病毒后其显性值产生大尺度变化,使优良个体在自身区域小范围内搜索,而不良个体则远离自身区域进行搜索,从而提高其搜索速度和精度。实例证明,改进算法在性能上优于传统病毒进化遗传算法。     

改进差分进化PID参数优化及在凝絮中的应用

针对标准差分进化（DE）收敛速度慢和操作过程中参数为常数从而导致算法鲁棒性相对较差的缺点,采用以个体适应度值最优的个体为基矢量,沿次优个体方向搜索的变异策略来提高算法的搜索速度;提出根据差分矢量大小和个体收敛情况自适应调整变异参数F和交叉概率CR的自适应参数调整策略来确保搜索初期种群的多样性和后期算法的局部搜索能力。并将基于该改进差分进化算法（MDE）优化后的PID控制器用于水厂加药凝絮过程的控制,仿真结果表明该算法收敛速度快,基于该算法的MDE-PID控制器性能好,是PID控制器参数整定的有效搜索方法,也是实现水厂加药凝絮过程良好控制的有效途径。     

基于混合进化算法的RBF神经网络时间序列预测

提出一种基于梯度下降法的混合进化算法,用于确定径向基函数（RBF）神经网络结构和优化其参数.在进化算法中嵌入梯度下降算子,对每一代中若干个精英个体以一定概率利用梯度下降法进行搜索,以加强算法的局部搜索能力.利用混合进化算法对RBF网络结构和参数同时进行训练和优化,对网络节点数和参数进行混合编码.仿真实验结果表明该RBF网络具有较强的泛化能力.     

硬件感知的神经架构搜索

深度神经网络(deep neural networks, DNNs)能否取得令人满意的性能很大程度上依赖于其神经网络架构.研究人员提出神经网络架构搜索(neural architecture search, NAS)来自动搜索神经网络的最优架构,现有的工作大多使用每秒浮点运算次数(floating point operations per second, FLOPs)来评价神经网络架构的实际效率,但是FLOPs和实际延迟并不是完全一致的.随着任务变得越来越复杂以及越来越多的硬件平台开始运行基于深度神经网络的算法,为硬件平台搜索高效的神经网络架构已成为亟待解决的难题.为了解决这一问题,本文提出了硬件感知的搜索空间构造方法,并借助考虑架构推断延迟的搜索策略,来搜索最优的神经网络架构.本文在可变换神经网络架构搜索方法(transformable architecture search, TAS)和图神经网络架构搜索方法 (graph neural architecture search, GraphNAS)上应用了该方法,提出了硬件可感知的可变换神经网络架构搜索方法 (hardwareawa...     

用蛙跳算法优化RBF神经网络参数的研究

针对径向基函数（Radial Basis Functions,RBF）神经网络结构参数确定问题,提出了一种基于蛙跳算法优化RBF神经网络参数的新方法。将RBF神经网络参数组成一个多维向量,作为蛙跳算法中的参数进行优化。以适应度函数为标准,在可行解空间中搜索最优解,并对蛙跳算法进行了改进。非线性函数逼近实验结果表明,该优化算法相对标准遗传优化算法、粒子群优化算法有较小的均方误差,具有更好的逼近能力。     

求解多目标组合优化的改进Pareto适应度遗传算法

将Pareto适应度遗传算法（PFGA）与局部搜索相结合,提出了一种用于求解多目标组合优化问题的改进算法IPFGA,该算法基于Pareto支配关系对遗传操作产生的每一个个体进行局部搜索,并采取在外部群体中引入拥挤距离的精英选择策略。实验结果表明,与PFGA相比,IPFGA有更快的收敛速度。     

基于网络结构搜索的工业过程自动故障诊断方法

针对现有基于深度神经网络的工业过程故障诊断方法存在网络结构设计烦琐及参数寻优耗时等问题,提出了一种基于网络结构搜索的工业过程自动故障诊断方法(automatic fault diagnosis, AutoFD),该方法采用AutoFD网络结构搜索算法,来自动完成卷积神经网络的网络结构设计和网络参数寻优。在此基础上,首先通过在原始数据上施加操作生成新通道;接着利用表现预测加速获取通道适应性排序的过程;然后依据通道适应性排序,通过表现预测来快速选取最优卷积通道数;最终根据最优卷积通道来搜索表现最优的多通道卷积神经网络模型用于工业过程自动故障诊断。采用田纳西—伊斯曼(Tennessee Eastman, TE)工业过程和数值系统对提出方法进行验证,结果表明该方法可以实现网络结构自动设计及网络参数的自动寻优,并且具有优良的故障诊断性能。     

On Model-Based Evolutionary Computation

 Traditional evolutionary computing techniques use an explicit fitness function – mathematical or simulated – to derive a solution to a problem from a population of individuals, over a number of generations. In this paper an approach which allows such techniques to be used on problems in which evaluations are costly, which cannot be expressed formally, or which are difficult to simulate, is examined. A neural network is trained using example individuals with the explicit fitness and the resulting model of the fitness function is then used by the evolutionary algorithm to find a solution. It is shown that the approach is effective over a small range of function types in comparison to the traditional approach when limited training data is available. An iterative step is then added whereby after a number of generations the current best individual in a population is evaluated directly on the explicit fitness function. The individual and its “real” fitness are then added to the training data and the neural network is re-trained to improve its approximation of the fitness function. It is shown that in this way the performance of the model-based architecture is greatly improved on more rugged/complex landscapes without a large increase in the amount of training data required.     

改进鲸鱼算法及其在浅层神经网络搜索中的权值阈值优化

为设计出简便高效的方法搜索最优神经网络结构,提出一种改进鲸鱼优化算法的浅层神经网络搜索方法.该方法首先通过模拟鲸鱼狩猎的个体偏好行为和鲸鱼群位置移动的非线性权值更新机制对传统鲸鱼优化算法进行改进;然后将改进鲸鱼优化算法作为浅层BP神经网络结构搜索策略,构建基于浅层BP神经网络的最优网络结构的权值阈值搜索优化方法.数值实验结果表明,改进的鲸鱼优化算法不仅在求解不同维复杂函数上具有良好的寻优性能,而且通过改进鲸鱼优化算法搜索得到的最优浅层BP神经网络结构在回归任务中具有更好的预测精度和泛化性能.     

神经结构搜索的研究进展综述

近年来,深度神经网络(DNNs)在许多人工智能任务中取得卓越表现,例如计算机视觉(CV)、自然语言处理(NLP).然而,网络设计严重依赖专家知识,这是一个耗时且易出错的工作.于是,作为自动化机器学习(AutoML)的重要子领域之一,神经结构搜索(NAS)受到越来越多的关注,旨在以自动化的方式设计表现优异的深度神经网络模...     

基于SAA-SSA-BPNN的网络安全态势评估模型

针对目前网络安全态势评估模型准确性和收敛性有待提高的问题,提出一种基于SAA-SSA-BPNN的网络安全态势评估模型。该模型利用模拟退火算法（SAA）可以一定概率接受劣解并有大概率跳出局部极值达到全局最优解的特性来优化麻雀搜索算法,利用优化后的麻雀搜索算法（SSA）具有良好稳定性和收敛速度快且不易陷入局部最优的特点对BP神经网络（BPNN）进行改进,找到最佳适应度个体并获取最优权值和阈值,将其作为初始值赋给BP神经网络,将预处理后的指标数据输入改进后的BP神经网络模型对其进行训练,利用训练好的模型对网络系统所遭受威胁的程度进行评估。对比实验结果表明,该评估模型比其他基于改进BP神经网络的态势评估模型准确性更高,收敛速度更快。     

交互式遗传算法基于NN的个体适应度分阶段估计

针对交互式遗传算法中人的疲劳问题,提出一种基于神经网络(NN)的个体适应度分阶段估计方法,给出了神经网络估计进化个体适应度与人的评价之问的转换策略以及神经网络学习效果的评价指标,并分析了算法的复杂性．实例结果验证了该方法的有效性。     

神经网络结构搜索在脑数据分析领域的研究进展

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望.     

改进灰狼算法在土壤墒情监测预测系统中的应用

针对现有的固定端传感器土壤墒情监测预测系统架设成本高、传感器易损坏、预测精度较低等问题,设计并实现了基于非固定无线传感器组网与改进灰狼算法优化神经网络的土壤墒情监测预测系统。系统使用非固定即插即用式传感器蓝牙组网收集墒情数据,使用高精度多源定位接入融合方法进行广域室外高精度定位。在算法方面,针对灰狼算法在迭代中后期易陷入局部最优等问题,提出一种基于末尾探索者策略的改进灰狼算法。首先,根据种群个体适应度值排名,在原有算法个体类型中增加探索者类型。然后,将种群搜索分为三个时期：活跃探索期、周期探索期和种群回归期。最后,在每个时期使用特有的位置更新策略进行探索者位置调整,使得算法在探索初期更具随机性,在探索中后期依然保持一定的解空间搜索能力,从而增强算法的局部最优回避能力。使用标准函数进行算法性能测试,并将该算法应用于优化土壤墒情神经网络预测模型问题,使用某市2号试验田的数据进行实验。实验结果表明,所提算法与直接神经网络预测模型相比,相对误差下降约4个百分点;与传统灰狼算法、粒子群优化（PSO）算法优化模型比较,相对误差下降约1至2个百分点。所提算法拥有更小的误差,更好的局部最优回避能力,能有效提高墒情的预测质量。