改进的轻量型网络在图像识别上的应用

针对卷积神经网络在图像识别任务上模型复杂度大、参数量多,首先提出了一种轻量化的SepNet网络结构,该结构在分类器模块上采用克罗内克积替换了传统的全连接层.为进一步优化网络结构,在特征提取模块均衡网络深度、宽度,设计了一个利用深度可分离卷积和残差网络的可分离残差模块,最终形成了一个能实现端到端训练的轻量化网络架构,称为...     

利用深度卷积神经网络提高未知噪声下的语音增强性能

为了进一步提高基于深度学习的语音增强方法在未知噪声下的性能,本文从神经网络的结构出发展开研究.基于在时间与频率两个维度上,语音和噪声信号的局部特征都具有强相关性的特点,采用深度卷积神经网络（Deep convolutional neural network,DCNN）建模来表示含噪语音和纯净语音之间的复杂非线性关系.通过设计有效的训练特征和训练目标,并建立合理的网络结构,提出了基于深度卷积神经网络的语音增强方法.实验结果表明,在未知噪声条件下,本文方法相比基于深度神经网络（Deep neural network,DNN）的方法在语音质量和可懂度两种指标上都有明显提高.     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

基于深度学习的文本分类技术研究进展

随着深度学习技术的快速发展,许多研究者尝试利用深度学习来解决文本分类问题,特别是在卷积神经网络和循环神经网络方面,出现了许多新颖且有效的分类方法。对基于深度神经网络的文本分类问题进行分析,介绍卷积神经网络、循环神经网络、注意力机制等方法在文本分类中的应用和发展,分析多种典型分类方法的特点和性能,从准确率和运行时间方面对基础网络结构进行比较,表明深度神经网络较传统机器学习方法在用于文本分类时更具优势,其中卷积神经网络具有优秀的分类性能和泛化能力。在此基础上,指出当前深度文本分类模型存在的不足,并对未来的研究方向进行展望。     

应用空洞卷积的神经网络轻量化方法#br#

为了深度卷积神经网络能够更好地应用于边缘设备,减少深度神经网络的模型参数量,降低网络复杂度,对于轻量化卷积神经网络的研究日益增多。将常用于多尺度融合的卷积——空洞卷积首次应用于神经网络轻量化领域研究。利用空洞卷积采样与扩大感受野的结构特性,实现了模型参数量的减少与计算复杂度的降低。将空洞卷积单纯作用于残差网络结构,达到轻量化目的,并进一步与逐点卷积结合,提高轻量化效果,形成改进型空洞卷积轻量化方法。为减少准确率衰减,将改进型空洞卷积与普通卷积相融合,提出一种融合型空洞卷积轻量化方法。实验结果表明,改进型空洞卷积轻量化方法具有最显著的轻量化效果,融合型空洞卷积轻量化方法使模型参数量减少同时具有最佳速度与精度的权衡。     

基于深度可分离卷积的轻量化人脸识别方法设计

针对传统人脸识别方法识别精度较低的问题,提出基于深度可分离卷积的轻量化人脸识别方法。构建深度可分离卷积的轻量级卷积神经网络模型,采集人脸图像并进行预处理,从而增强数据集,采用多任务卷积神经网络提取人脸特征,完成人脸识别方法的设计。实验结果表明,该方法优于其他方法,人脸识别的准确率保持在90%以上,识别精度较高。     

神经网络结构自适应研究综述

网络结构自适应旨在根据特定学习任务和数据对神经网络结构进行自动设计和模型优化,以适应开放环境智能感知学习任务的综合需求.文中旨在全面综述网络结构自适应方法.首先,阐述并分析神经架构搜索的主要方法.然后,分别从轻量化神经架构搜索、智能感知任务、连续学习三个方面呈现网络结构自适应的研究进展.在此基础上,建立一套面向开放环境应用的深度神经网络组件与结构的自适应评价指标体系,提出一种网络结构自适应方法,通过注意力引导的微观架构自适应机制和渐进式离散策略,在优化过程中实现网络结构的自适应调整优化和逐步离散化,并与现有方法进行对比分析.最后,探讨当前方法存在的问题与挑战,展望未来的研究方向.     

海洋捕捞鱼类BigH神经网络分类模型设计与实现

设计速度快、精度高的轻量化神经网络模型,实现海洋捕捞鱼类的自动分类,是深度学习技术在渔业领域的应用研究方向之一.通过对比研究迁移学习和人工神经网络,在海鲜市场拍摄的1284张包含13个种类的鱼类图像上,使用枚举法的思想设计自动训练算法,来训练迁移学习和人工设计的卷积神经网络.结果显示在VGG16、ResNet、Ince...     

基于深度残差网络的自动调制识别方法研究

自动调制识别是电磁环境特性分析的关键问题,而传统方法多基于人工设计特征进行识别,数据特征表示和判别分析能力有限.为此提出一种新颖的深度神经网络特征表示方法进行调制识别任务.首先,利用递归神经网络结构对电磁信号序列进行表示,建立了基于多层双向GRU网络结构的识别方法.其次,从一维空间卷积表示序列的角度思考,建立了基于深度...     

基于深度卷积神经网络的图像检索算法研究

为解决卷积神经网络在提取图像特征时所造成的特征信息损失,提高图像检索的准确率,提出了一种基于改进卷积神经网络LeNet-L的图像检索算法。首先,改进LeNet-5卷积神经网络结构,增加网络结构深度。然后,对深度卷积神经网络模型LeNet-L进行预训练,得到训练好的网络模型,进而提取出图像高层语义特征。最后,通过距离函数比较待检图像与图像库的相似度,得出相似图像。在Corel数据集上,与原模型以及传统的SVM主动学习图像检索方法相比,该图像检索方法有较高的准确性。经实验结果表明,改进后的卷积神经网络具有更好的检索效果。     

轻量化神经网络卷积设计研究进展

传统神经网络具有过度依赖硬件资源和对应用设备性能要求较高的缺点,因此无法部署于算力有限的边缘设备和移动终端上,人工智能技术的应用发展在一定程度上受到了限制.然而,随着科技时代的到来,受用户需求影响的人工智能迫切需要在便携式设备上能成功进行如计算机视觉应用等方面的操作.为此,以近几年流行的轻量化神经网络中的卷积部分为研究...     

基于轻量型网络的单载波信号调制识别

针对当前应用深度学习实现数字信号调制识别过程中网络复杂、计算量高、硬件平台要求高的问题, 本文提出了在改进的MobileNetV3轻量级神经网络中使用信号星座图调制识别的方法. 首先, 将接收到的MPSK和MQAM信号转换成星座图像, 将其进行灰度图像提取, 灰度图像增强, 构建星座图的图像数据集, 然后将ResNet中的跨层结构引入MobileNetV3网络, 解决了随着网络层数的增加, 权重减小而导致的梯度消失现象. 最后将星座图数据集用于训练MobileNetV3的轻量型神经网络权重, 对星座图像进行识别. MobileNetV3基于深度卷积可分离和神经架构搜索(network architecture search, NAS)技术在保证识别精度的前提下, 大大降低了参数量和训练时间, 将对于简单信号的调制识别, 轻量型神经网络可以有效简化网络结构, 降低对硬件设备的要求. 仿真结果表明, 针对的调制信号(BPSK、QPSK、8PSK、16QAM、64QAM), 能实现识别率为99.76%的调制识别, 相较于传统应用深度学习实现调制识别的网络, 网络参数量和计算量明显减小.     

噪声鲁棒的轻量级深度遥感场景图像分类检索

目的 基于深度神经网络的遥感图像处理方法在训练过程中往往需要大量准确标注的数据,一旦标注数据中存在标签噪声,将导致深度神经网络性能显著降低。为了解决噪声造成的性能下降问题,提出了一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法,能够同时完成分类和哈希检索任务,有效提高深度神经网络在有标签噪声遥感数据上的分类和哈希检索性能。方法 选取轻量级神经网络作为骨干网,而后设计能够同时完成分类和哈希检索任务的双分支结构,最后通过设置损失基准的正则化方法,有效减轻模型对噪声的过拟合,得到噪声鲁棒的分类检索模型。结果 本文在两个公开遥感场景数据集上进行分类测试,并与8种方法进行比较。本文方法在AID（aerial image datasets）数据集上,所有噪声比例下的分类精度比次优方法平均高出7.8%,在NWPU-RESISC45（benchmark created by Northwestern Polytechnical University for remote sensing image scene classification covering 45 scene classes）数据集上,分类精度比次优方法平均高出8.1%。在效率方面,本文方法的推理速度比CLEOT（classification loss with entropic optimal transport）方法提升了2.8倍,而计算量和参数量均不超过CLEOT方法的5%。在遥感图像哈希检索任务中,在AID数据集上,本文方法的平均精度均值（mean average precision,mAP）在3种不同哈希比特下比MiLaN（metric-learning based deep hashing network）方法平均提高了5.9%。结论 本文方法可以同时完成遥感图像分类和哈希检索任务,在保持模型轻量高效的情况下,有效提升了深度神经网络在有标签噪声遥感数据上的鲁棒性。     

轻量级神经网络架构综述

深度神经网络已经被证明可以有效的解决图像、自然语言等不同领域的问题.同时伴随着移动互联网技术的不断发展,便携式设备得到了迅速的普及,用户提出了越来越多的需求.因此,如何设计高效、高性能的轻量级神经网络是解决问题的关键.本文详细阐述了三种构建轻量级神经网络的方法,分别是人工设计轻量级神经网络、神经网络模型压缩算法和基于神经网络架构搜索的自动化神经网络架构设计,同时简要总结和分析了每种方法的特点,并重点介绍了典型的构建轻量级神经网络的算法.最后,总结现有的方法,并给出了未来发展的前景.     

基于轻量级网络的实时人脸识别算法研究

为了在嵌入式和移动设备上实现高精度的实时人脸识别,对常见的网络在人脸识别方面的优缺点进行了分析,提出了一种高效的深度卷积神经网络模型Lightfacenet。在网络中结合深度可分离卷积、逐点卷积、瓶颈结构和挤压与激励结构提出了轻量化神经网络单元,使网络在保证有一定准确率的情况下有效地解决深层的神经网络带来的参数冗余和计算量大的问题,再通过改进的非线性激活函数进一步提高网络的准确性。该神经网络在保留卷积神经网络部分优点的同时也很好地平衡了网络的缺点。在同样的实验环境下,Lightfacenet网络既实现了非常高的识别精度,也在模型推理速度上达到实时的效果。在使用MS-Celeb-1M数据集训练后,该模型在LFW数据集上达到了99.50%的准确率,其效果已经可以与现在的大型卷积神经网络媲美。对于面部识别,Lightfacenet比目前最先进的移动卷积神经网络在保证准确率的情况下提高了效率。     

基于深度学习的SIMON32/64安全性分析

轻量级分组密码的安全性分析越来越倾于向自动化和智能化的方向发展.目前基于深度学习对轻量级分组密码进行安全性分析正在成为一个全新的研究热点.针对由美国国家安全局在2013年发布的一款轻量级分组密码SIMON算法,将深度学习技术应用于SIMON32/64的安全性分析.分别采用前馈神经网络和卷积神经网络模拟多差分密码分析当中...     

基于特征可视化分析深度神经网络的内部表征

基于可视化的方式理解深度神经网络能直观地揭示其工作机理,即提供了黑盒模型做出决策的解释,在医疗诊断、自动驾驶等领域尤其重要。大部分现有工作均基于激活值最大化框架,即选定待观测神经元,通过优化输入值(如隐藏层特征图谱、原始图片),定性地将待观测神经元产生最大激活值时输入值的改变作为一种解释。然而,这种方法缺乏对深度神经网络深入的定量分析。文中提出了结构可视化和基于规则可视化两种可视化的元方法。结构可视化从浅至深依层可视化,发现浅层神经元具有一般性的全局特征,而深层神经元更针对细节特征。基于规则可视化包括交集与差集规则,可以帮助发现共享神经元与抑制神经元的存在,它们分别学习了不同类别的共有特征与抑制不相关的特征。实验针对代表性卷积网络VGG和残差网络ResNet在ImageNet和微软COCO数据集上进行了分析。通过量化分析发现,ResNet和VGG均有很高的稀疏性,通过屏蔽一些低激活值的“噪音”神经元,发现其对深度神经网络分类准确率均没有影响,甚至有一定程度的提高作用。文中通过可视化和量化分析深度神经网络的隐藏层特征,揭示其内部特征表达,从而为高性能深度神经网络的设计提供指导和借鉴。     

生成对抗网络及其文本图像合成综述

随着深度学习的快速发展,基于生成对抗网络的文本图像合成领域成为了当下计算机视觉研究的热点。生成对抗网络同时包含生成器和鉴别器,通过两者的博弈来实现逼真数据的生成。受生成对抗网络的启发,近几年提出了一系列的文本图像合成模型,从图像质量、多样性、语义一致性方面不断取得突破。为推动文本图像合成领域的研究发展,对现有文本图像合成技术进行了全面概述。从文本编码、文本直接合成图像、文本引导图像合成方面对文本图像合成模型进行了分类整理,并详细探讨了各类基于生成对抗网络的代表性模型的模型框架和关键性贡献。分析了现有的评估指标和常用的数据集,提出了现有方法在复杂场景和文本、多模态、轻量化模型、模型评价方法等方面的不足和未来的发展趋势。总结了目前生成对抗网络在各领域的发展,重点关注了在文本图像合成领域的应用,可以作为一个研究人员进行图像合成研究时选择深度学习相关方法的权衡和参考。