深度学习的轻量化神经网络结构研究综述

随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度.阐述深度学习的轻量化网络结构设计方法,对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势,总结与...     

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

面向轻量化医学图像分割网络的神经结构搜索

现有的性能优异的医学图像分割模型大都由领域专家手动设计,设计过程往往需要大量专业知识和反复实验。此外,过度复杂的分割模型不仅对硬件资源有较高要求,且分割效率较低。为此,提出了用于自动构建轻量化医学图像分割网络的神经结构搜索方法Auto-LW-MISN(Automatically Light-Weight Medical Image Segmentation Network)。通过构建轻量级搜索空间、设计适用于医学图像分割的搜索超网络、设计添加复杂性约束的可微分搜索策略,建立用于自动搜索轻量化医学图像分割网络的神经结构搜索框架。在显微镜细胞图像、肝脏CT图像和前列腺MR图像等数据集上进行实验,结果表明,Auto-LW-MISN能够针对不同模态的医学图像自动构建轻量化的分割模型,其分割精度相比U-net, Attention U-net, Unet++和NAS-Unet等方法均有提高。     

神经网络结构搜索方法综述

如今,深度学习广泛地应用于生活、工作中的各个方面,给我们带来了极大的便利.在此背景下,需要设计针对不同任务的神经网络结构,满足不同的需求.但是,人工设计神经网络结构需要专业的知识,进行大量的实验.因此,神经网络结构搜索算法的研究显得极为重要.神经网络结构搜索(NAS)是自动深度学习(AutoDL)过程中的一个基本步骤,对深度学习的发展与应用有着重要的影响.早期,一些神经网络结构搜索算法虽然搜索到了性能优越的神经网络结构,但是需要大量的计算资源且搜索效率低下.因此,研究人员探索了多种设计神经网络结构的算法,也提出了许多减少计算资源、提高搜索效率的方法.本文首先简要介绍了神经网络结构的搜索空间,其次对神经网络结构搜索算法进行了全面的分类汇总、分析,主要包括随机搜索算法、进化算法、强化学习、基于梯度下降的方法、基于顺序模型的优化算法,再其次探索并总结了提高神经网络结构搜索效率的方法,最后探讨了目前神经网络结构搜索工作中存在的问题以及未来的研究方向.     

单次神经网络结构搜索研究综述

深度学习技术的快速发展与神经网络结构的创新关系密切。为提升网络结构设计效率,自动化网络结构设计算法—神经网络结构搜索NAS成为近年的研究热点。早期NAS算法通常要对大量候选网络进行训练和评估,带来了巨大的计算开销。通过迁移学习技术,可以加速候选网络的收敛,从而提升网络结构搜索效率。基于权重迁移技术的单次神经网络结构搜索(One-shot NAS)算法以超图为基础,子图之间进行权重共享,提高了搜索效率,但是也面临着协同适应、排序相关性差等挑战性问题。首先介绍了基于权重共享的One-shot NAS算法的相关研究,然后从采样策略、过程解耦和阶段性3个方面对关键技术进行分析梳理,比较分析了典型算法的搜索效果,并对未来的研究方向进行了展望。     

神经网络结构搜索前沿综述

深度学习已经在多个领域得到了广泛的使用,并取得了令人瞩目的成绩。然而优秀的网络结构设计在很大程度上仍然依赖于研究者的先验知识和大量的实验验证,整个过程对于人力、算力等资源消耗巨大。因此,能否让计算机自动地找到最适用于当前任务的神经网络结构成为了当前研究的热点。近年来,研究人员对神经网络结构搜索(Neural Architecture Search, NAS)进行了各种改进,相关研究工作复杂且丰富。为了让读者对神经网络结构搜索方法有更清晰的了解,该文从神经网络结构搜索的三个维度：搜索空间、搜索策略和性能评估策略对现有方法进行了分析,并提出了未来可能的研究方向。     

神经网络结构搜索在脑数据分析领域的研究进展

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望.     

深度神经网络结构搜索综述

深度神经网络在图像识别、语言识别和机器翻译等人工智能任务中取得了巨大进展,很大程度上归功于优秀的神经网络结构设计。神经网络大都由手工设计,需要专业的机器学习知识以及大量的试错。为此,自动化的神经网络结构搜索成为研究热点。神经网络结构搜索（neural architecture search,NAS）主要由搜索空间、搜索策略与性能评估方法3部分组成。在搜索空间设计上,出于计算量的考虑,通常不会搜索整个网络结构,而是先将网络分成几块,然后搜索块中的结构。根据实际情况的不同,可以共享不同块中的结构,也可以对每个块单独搜索不同的结构。在搜索策略上,主流的优化方法包含强化学习、进化算法、贝叶斯优化和基于梯度的优化等。在性能评估上,为了节省计算时间,通常不会将每一个网络都充分训练到收敛,而是通过权值共享、早停等方法尽可能减小单个网络的训练时间。与手工设计的网络相比,神经网络结构搜索得到的深度神经网络具有更好的性能。在ImageNet分类任务上,与手工设计的MobileNetV2相比,通过神经网络结构搜索得到的MobileNetV3减少了近30%的计算量,并且top-1分类精度提升了3.2%;在Cityscapes语义分割任务上,与手工设计的DeepLabv3+相比,通过神经网络结构搜索得到的Auto-DeepLab-L可以在没有ImageNet预训练的情况下,达到比DeepLabv3+更高的平均交并比（mean intersection over union,mIOU）,同时减小一半以上的计算量。神经网络结构搜索得到的深度神经网络通常比手工设计的神经网络有着更好的表现,是未来神经网络设计的发展趋势。     

面向移动端的轻量化卷积神经网络结构

随着移动设备的大量普及,将卷积神经网络应用于移动设备具有极大的实用价值。虽然随着技术的发展,目前移动设备的计算能力和存储资源都有了极大的提高,但是在移动设备上运行卷积神经网络仍然具有很大的挑战。为了解决这个问题,提出了一种轻量化的卷积神经网络结构S-MobileNet。该结构可以显著地减少网络模型的参数量以及降低模型的计算复杂度。为了全面评测S-MobileNet的性能,在CIFAR-10、CIFAR-100和ImageNet等图像分类数据集上进行了相关实验。实验结果表明,所提出的网络结构在保持MobileNetV2同等准确度的前提下,网络模型的参数量较MobileNetV2减少了近1/3,计算复杂度较MobileNetV2降低了近40%。     

基于网络结构搜索的工业过程自动故障诊断方法

针对现有基于深度神经网络的工业过程故障诊断方法存在网络结构设计烦琐及参数寻优耗时等问题,提出了一种基于网络结构搜索的工业过程自动故障诊断方法(automatic fault diagnosis, AutoFD),该方法采用AutoFD网络结构搜索算法,来自动完成卷积神经网络的网络结构设计和网络参数寻优。在此基础上,首先通过在原始数据上施加操作生成新通道;接着利用表现预测加速获取通道适应性排序的过程;然后依据通道适应性排序,通过表现预测来快速选取最优卷积通道数;最终根据最优卷积通道来搜索表现最优的多通道卷积神经网络模型用于工业过程自动故障诊断。采用田纳西—伊斯曼(Tennessee Eastman, TE)工业过程和数值系统对提出方法进行验证,结果表明该方法可以实现网络结构自动设计及网络参数的自动寻优,并且具有优良的故障诊断性能。     

基于特征图切分的轻量级卷积神经网络

卷积神经网络模型所需的存储容量和计算资源远超出移动和嵌入式设备的承载量,因此文中提出轻量级卷积神经网络架构(SFNet).SFNet架构引入切分模块的概念,通过将网络的输出特征图进行“切分”处理,每个特征图片段分别输送给不同大小的卷积核进行卷积运算,将运算得到的特征图拼接后由大小为1×1的卷积核进行通道融合.实验表明,相比目前通用的轻量级卷积神经网络,在卷积核数目及输入特征图通道数相同时,SFNet的参数和计算量更少,分类正确率更高.相比标准卷积,在网络复杂度大幅降低的情况下,切分模块的分类正确率持平甚至更高.     

一种基于BP神经网络的新浪微博实时搜索排序算法

新浪微博是一个热门的社交平台,2012年底注册用户已经超过5亿。因此它和一般的网络应用一样存在信息爆炸的问题。提出一种基于神经网络的算法来将用户的实时搜索结果进行排序,以达到给出用户最感兴趣的信息。一系列实验结果证明该方法在一定范围内是有效的。     

基于信任模型的防火墙群安全防范体系

文章的目标是为大型计算中心和信息服务机构提供一个较为全面的局域网安全防护体系。该文结合清华大学计算中心局域网安全防范工作和作者的一些研究工作,分析了主要的网络攻击模式,从防火墙群、IDS/NIDS、基于信任模型的安全系统管理模式以及内网防护这四个方面论述如何构建安全的网络与主机环境。文中所采用的方法和技术有一定的普适性,对于IDC、大型计算中心以及那些拥有大量服务器和微机用户的单位都有借鉴意义。     

分层递阶控制系统体系结构的Hopfield网络模型

在分析了分散控制、分布式控制和分层递阶控制系统体系结构的基础上，提出了分层递阶控制系统体系结构的Hopfield网络模型，指出这一模型可以用常规的DCS系统和现场总线控制系统来实现，并能实现其混合形式。通过比较发现这两种控制系统各有优缺点，DCS适用于大型递阶控制系统，而FCS适用于小型递阶控制系统，当FCS用于大型递阶控制系统时，必须采用物理上的递阶结构形式。     

基于轻量级神经网络的RGB-D人体目标检测

针对现有基于神经网络的人体目标检测算法网络结构复杂,运算量大,不利于实际应用,以及传统方法检测精度较差的问题,提出一种新的轻量级检测算法,使用无锚框机制,并将MobileNetV3作为主干网络。该网络支持多个数据输入方式,可分别以RGB彩色图、深度图或RGB-D作为输入。通过在两个公开数据集和自采集数据集中的试验证明,新算法总体检测精度及运行效率均优于已有算法,获得较为理想的每秒峰值速度（FLOPS）。在英特尔i5-7200 CPU平台下,以RGB-D和Depth为输入的帧率分别可达32f/s和55f/s,以RGB为输入的表现优于同级别轻量级网络YOLOV3-Tiny。     

轻量级神经网络架构综述

深度神经网络已经被证明可以有效地解决图像、自然语言等不同领域的问题.同时,伴随着移动互联网技术的不断发展,便携式设备得到了迅速的普及,用户提出了越来越多的需求.因此,如何设计高效、高性能的轻量级神经网络,是解决问题的关键.详细阐述了3种构建轻量级神经网络的方法,分别是人工设计轻量级神经网络、神经网络模型压缩算法和基于神经网络架构搜索的自动化神经网络架构设计;同时,简要总结和分析了每种方法的特点,并重点介绍了典型的构建轻量级神经网络的算法;最后,总结现有的方法,并给出了未来发展的前景.     

基于神经网络模型的个性化服务研究

由于Web上信息的异构性、多样性和动态性,互联网也带来了所谓的"信息过载"和"信息迷向"的问题,个性化服务系统按照特定的用户群体和个人的需求定制服务的内容和表现,可以预测用户的需求,提供主动服务,其基本原理就是根据对各个用户不同的兴趣描述,通过相应的推荐算法为用户提供符合其兴趣的信息.待用户兴趣特征确定后,就可以建立用于个性化网页推荐的用户神经网络模型,向用户推荐个性化网页.     

基于K-Means聚类算法和神经网络的药物使用模型

采用K-Means聚类算法和神经网络算法,对药物的使用进行建模,通过模型可得到不同临床特征病人更适合服用何种药物的建议结果,正确率高达94.7%,实现用药的合理化。     

基于K—Means聚类算法和神经网络的药物使用模型

采用K—Means聚类算法和神经网络算法,对药物的使用进行建模．通过模型可得到不同临床特征病人更适合服用何种药物的建议结果,正确率高达94．7％,实现用药的合理化。     

基于平衡搜索策略的多目标粒子群优化算法*

鉴于平衡全局和局部搜索在多目标粒子群优化算法获取完整均匀Pareto最优前沿方面的重要性,设计平衡全局和局部搜索策略,进而提出改进的多目标粒子群优化算法(bsMOPSO).文中策略在局部搜索方面设计归档集自挖掘子策略,通过对归档集中均匀分布的部分粒子进行柯西扰动,使归档集涵盖整个前沿面的局部搜索.在全局搜索方面设计边界最优粒子引导搜索子策略,以边界最优粒子替换部分粒子的全局最优解,引导粒子向各维目标的边界区域搜索.选取4种对比算法在ZDT和DTLZ系列的部分测试函数上进行实验,结果表明bsMOPSO具有更快的Pareto最优前沿收敛效率和更好的分布性.