基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet。首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化（GN）方法,从而在减少模型参数量以及计算量的同时提升分割精度。针对道路图像CamVid数据集,在1 000轮训练后,MUNet模型分割结果在测试图像裁剪为720×720大小时的平均交并比（MIoU）为61.92%。实验结果表明,和常见的图像语义分割网络如金字塔场景分析网络（PSPNet）、RefineNet、全局卷积网络（GCN）和DeepLabv3+相比较,MUNet的参数量以及计算量更少,同时网络分割性能更好。     

融合深度图像的卷积神经网络语义分割方法

该文提出了一种基于深度学习框架的图像语义分割方法,通过使用由相对深度点对标注训练的网络模型,实现了基于彩色图像的深度图像预测,并将其与原彩色图像共同输入到包含带孔卷积的全卷积神经网络中。考虑到彩色图像与深度图像作为物体不同的属性表征,在特征图上用合并连接操 作而非传统的相加操作对其进行融合,为后续卷积层提供特征图输入时保持了两种表征的差异。在两个数据集上的实验结果表明,该法可以有效提升语义分割的性能。     

室内服务机器人的实时场景分割算法

室内场景下的实时场景分割是开发室内服务机器人的一项关键技术,目前关于语义分割的研究已经取得了重大进展,但是多数方法都倾向于设计复杂的网络结构或者高计算成本的模型来提高精度指标,而忽略了实际的部署成本。针对移动机器人算力成本有限的问题,设计一种轻量化的瓶颈结构,并以此为基本元素构建轻量化场景分割网络。该网络通过与特征提取网络级联获得更深层次的语义特征,并且融合浅层特征与深层语义特征获得更丰富的图像特征,其结合深度可分离卷积与多尺度膨胀卷积提取多尺度图像特征,减少了模型的参数量与计算量,同时利用通道注意力机制提升特征加权时的网络分割精度。以512像素×512像素的图像作为输入进行实验,结果表明,该算法在NYUDv2室内场景分割数据集和CamVid数据集上的MIoU分别达到72.7%和59.9%,模型计算力为4.2 GFLOPs,但参数量仅为8.3 Mb,在移动机器人NVIDIA Jetson XavierNX嵌入式平台帧率可达到42 frame/s,其实时性优于DeepLabV3+、PSPNet、SegNet和UNet算法。     

多尺度坐标注意力金字塔卷积的面部表情识别

针对传统卷积神经网络对人脸面部表情特征提取能力不足、计算速度较慢等问题，提出了一种多尺度融合注意力的金字塔卷积模型。为了减少网络的参数量，提高网络的计算速度，增大模型的感受野，改进了金字塔卷积结构；为了从多尺度表示面部表情特征，提高模型对面部特征的表示能力，提出了SECA坐标注意力模块；为了节省网络的计算量，解决模型冗余的问题，促进通道间的信息融合，提出了深度可分离混洗方法。实验结果表明，该模型在公开数据集FER2013、CK+和JAFFE上的准确率分别为72.89%、98.55%和94.37%，参数量为1.958×107，与其他网络对比，该网络识别效果更好，准确率更高，同时保持较快的计算速度。     

轻量化卷积神经网络在SAR图像语义分割中的应用

针对合成孔径雷达图像的语义分割问题,构建了一个全新的TerraSAR-X语义分割数据集GDUT-Nansha。然后,为解决传统深度学习方法模型体积大,难以在样本数量偏少的合成孔径雷达图像数据集上应用的问题,对轻量化卷积神经网络ENet模型进行了分析和改造。提出了一种改进的轻量化卷积神经网络模型(revised weighted loss eNet,RWL-ENet);针对合成孔径雷达图像数据集样本不平衡问题,使用了带有权重的损失函数。通过和其他经典卷积神经网络语义分割模型的对比实验,验证了新数据集的可靠性;同时,在参数量和模型体积远远小于其他网络模型的前提下,RWL-ENet模型在像素精度、平均像素精度、平均交并比三个定量指标上分别达到了0.884、0.804和0.645。     

融合双重极化注意力的轻量化半监督语义分割

针对目前半监督语义分割方法复杂度高、训练精度低、参数量过大等问题,提出融合双重极化自注意力机制的轻量级半监督语义分割算法。模型使用由位置感知循环卷积构造的Resnet-101残差网络作为分割骨干网络提取深层特征。融合了通道及空间双重极化自注意力机制,在极化通道和空间注意力分支中保持较高内部分辨率。将位置感知循环卷积与通道注意力操作结合起来,提升分割精度并降低计算成本,克服硬件支持等问题。在公开数据集PASCAL VOC 2012上的实验结果显示,该算法其平均交并比可达到76.32%,较基准模型准确率提高了2.52个百分点,参数量减少了9%,模型硬件所占内存减小了61.6%。设计的模型与领域内最新算法相比,该算法在精度、模型复杂度、参数量等方面均展现出了显著的优势。     

LRUNet:轻量级脑肿瘤快速语义分割网络

目的 针对目前基于深度学习的脑肿瘤分割算法参数量大、计算复杂和快速性差的问题,提出了一种超轻量级快速语义分割网络LRUNet （lightweight rapid UNet）,在保证分割精度提升的同时,极大地减少了网络的参数量与计算量,达到快速分割的效果。方法 LRUNet网络结构基于UNet,将3D-UNet的通道数减少为原来的1/4,减少原先3D-UNet过多的参数量;将UNet网络中除最后一层外的所有传统卷积变为深度可分离卷积,深度可分离卷积以牺牲极少精度,大大减少网络参数量,实现网络的轻量级;使用空间—通道压缩和激发模块（spatial and channel squeeze&excitation block,scSE）,该模块能够放大特征图中对模型有利的参数的权重,缩小对模型不利参数的权重,提升网络分割的精度。结果 在BraTS 2018（Brain Tumor Segmentation Challenge 2018）数据集上的在线验证结果显示,该模型在全肿瘤、核心区肿瘤和增强区肿瘤分割的平均Dice系数分别为0.893 6、0.804 6和0.787 2。LRUNet与同为轻量级网络的S3D-UNet相比Dice有所提升,但是,参数量仅为S3D-UNet的1/4,FLOPs （floating point operations per second）仅为1/2。结论 与3D-UNet、S3D-UNet和3D-ESPNet等算法相比,LRUNet算法不仅保证精度得到提升,而且极大地减少网络中计算的参数量与计算成本消耗,同时网络模型的预测速度得到很大提升,使得快速语义分割在3维医学图像领域成为可能。     

融合U-Net及MobileNet-V2的快速语义分割网络

传统U-Net网络模型大,处理图片速度慢,难以适应工业生产中实时的需求。针对该问题,设计并实现了一个轻量级全卷积语义分割网络LU-Net。LU-Net网络以U-Net框架为主体,结合MobileNet-V2的思想,利用深度可分离卷积参数少、计算量小的特点轻量化网络模型。网络综合利用bottleneck模块与普通卷积的优点,并高效利用了高层特征,在保持精度的同时,大幅缩短了分割所需时间。经公开数据集DRIVE及自制凹陷字符数据集上实验的验证,相较于原U-Net网络模型,提出的LU-Net模型参数量缩小至0.59×106,为原模型的1.9%,运行速度提高5倍,处理一张360×270图片的平均耗时为25?ms。LU-Net基本满足工业生产对图像实时处理的要求。     

改进BiSeNetV1实时模型的岩屑图像识别

在图像分割识别领域,现有的深度学习方法大多使用高精度语义分割方法来实现,存在着网络推理速度慢、计算量大、难以实际应用等问题.借助于表现较好的BiSeNetV1实时网络模型,通过扩展的空间路径卷积结构、空间金字塔注意力机制(SPARM)和简化的注意力特征融合模块(S-iAFF)等改进策略,设计一种用于岩屑图像分割领域的BiSeNet＿SPARM＿S-iAFF实时网络.扩展的空间路径卷积结构可以获取更丰富的岩屑图像空间特征,上下文路径使用优化的空间金字塔注意力机制(SPARM)进一步细化高层语义特征提取,在特征融合阶段使用简化注意力特征融合(S-iAFF)加强低层空间与高层语义特征的融合程度.实验结果表明, BiSeNet＿SPARM＿S-iAFF网络在RockCuttings＿Oil岩屑数据集上的平均交并比(mIoU)为64.91%,相较于BiSeNetV1网络提高了2.68%;另外改进后的网络在精度上接近大部分高精度语义分割方法,同时参数量大幅度减少、推理速度有着明显的提升.     

高效率图片语义分割网络的研究与设计

针对目前卷积神经网络在图像语义分割上存在运算效率的不足,考虑实际嵌入式移动设备应用中对网络模型大小、运算速度和能耗的需求,研究和讨论了语义分割网络参数的压缩方法和网络结构的优化方式,并利用深度可分离卷积、多尺寸卷积核融合和金字塔池化的方法,提出快速、准确的小尺寸语义分割网络模型。该网络模型在Cityscapes数据集上进行训练和测试,在模型尺寸、运算时间和分割精度等方面都有良好的表现,能够同时兼顾语义分割任务中对效率和精度的要求,提高了语义分割技术在嵌入式移动设备上的实用性。     

双路径特征融合编解码结构的高速语义分割EI北大核心CSCD

对基于深度学习的高精度图像语义分割模型参数量大、分割速度慢的问题,提出一种基于双路径特征融合编解码结构的语义分割模型.首先,该模型编码器通过对语义路径和空间路径同时进行编码,其能够融合不同的特征信息,弥补了空间信息和语义信息难以两全的弊端,对特征图进行高效的卷积操作;其次,该模型解码器通过融合高层语义信息和低层空间信息,有效地弥补了编码时下采样操作丢失的特征信息.在Cityscapes和Camvid数据集上的实验结果表明,整体模型的参数量仅为3.91×10^(6),在2个数据集上分别取得了67.7%和65.8%的均交并比,分割速度分别为111帧/s和86帧/s.对比其他同类模型,所提模型拥有更少的参数量和更高的精度,其分割速度远远超过实时语义分割的最低要求24帧/s.     

一种改进的室内场景语义分割网络

针对目前室内场景语义分割网络无法很好融合图像的RGB信息和深度信息的问题,提出一种改进的室内场景语义分割网络。为使网络能够有选择性地融合图像的深度特征和RGB特征,引入注意力机制的思想,设计了特征融合模块。该模块能够根据深度特征图和RGB特征图的特点,学习性地调整网络参数,更有效地对深度特征和RGB特征进行融合;同时使用多尺度联合训练,加速网络收敛,提高分割准确率。通过在SUNRGB-D和NYUDV2数据集上验证,相比于包含深度敏感全连接条件随机场的RGB-D全卷积神经网络（DFCN-DCRF）、深度感知卷积神经网络（Depth-aware CNN）、多路径精炼网络（RefineNet）等目前主流的语义分割网络,所提网络具有更高的分割精度,平均交并比（mIoU）分别达到46.6%和48.0%。     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

基于可分离卷积的轻量级恶意域名检测模型

考虑到基于深度学习的恶意域名检测方法计算开销大,难以有效应用于真实网络场景域名检测实际,设计了一种基于可分离卷积的轻量级恶意域名检测算法。该模型使用可分离卷积结构,能够对卷积过程中的每一个输入通道进行深度卷积,然后对所有输出通道进行逐点卷积,在不减少卷积特征提取效果的情况下,有效减少卷积过程的参数量,实现更加快速的卷积过程并不降低模型的准确性。同时,为了减轻模型训练过程中正负样本数量不平衡与样本难易程度不平衡的情况对模型分类准确率的影响,引入了一种聚焦损失函数。所提算法在公开数据集上与 3 种典型的基于深度神经网络的检测模型进行对比,实验结果表明,算法能够达到与目前最优模型接近的检测准确率,同时能够显著提升在CPU上的模型推理速度。     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

时域非填充网络视频行为识别算法研究

视频行为识别是图像和视觉领域的一个基础问题,在基于深度学习的行为识别模型中,2D卷积方法模型参数较少,但是准确率不高;3D卷积方法在一定程度上提高了准确率,但会产生较多的参数和计算量。为了在保持准确率的前提下降低3D卷积神经网络行为识别模型的参数量,减少计算资源消耗,提出了时域零填充卷积网络行为识别算法,对视频进行3D卷积时不在时间维度上填充额外数据,以此来保证时域信息的完整性。为了充分利用有限的时间信息,设计了适合此填充方式的网络结构：先以时域不填充的方式使用3D卷积提取时空信息,然后利网络重组结构将3D卷积变为2D卷积来进一步提取特征。实验表明,该网络的参数量为10.385×106,不使用预训练权重的情况下在UCF101数据集上准确率为60.28%,与其他3D卷积网络行为识别方法相比在资源占用和准确率上都有明显优势。     

基于YOLOv5改进的轻量化目标检测

针对移动端目标检测算法需要模型参数量与计算量更少、推理速度更快和检测效果更好以及目标检测算法对于小目标误检、漏检及特征提取能力不足等问题, 提出一种基于YOLOv5改进的轻量化目标检测算法. 该算法使用轻量级网络MobileNetV2作为目标检测算法的骨干网络降低模型的参数量与计算量, 通过使用深度可分离卷积结合大卷积核的思想降低网络的计算量与参数量, 并提升了小目标的检测精度. 使用GhostConv来替换部分普通卷积, 进一步降低参数量与计算量. 本文算法在VOC竞赛数据集, COCO竞赛数据集两份数据集上均进行了多次对比实验, 结果表明本文算法相比于其他模型参数量更小、计算量更小、推理速度更快以及检测精度更高.     

LRSS-Net:轻量级遥感地物分割网络

针对目前基于深度学习的高分辨率遥感图像分割模型由于参数量大、计算复杂而导致高延迟、低响应的问题,提出了一种轻量级遥感地物分割方法,较好的平衡了速度和精度.该方法使用MobileNetV2进行特征粗提取,通过构建空间信息嵌入分支实现不同尺度的特征细提取,不同层次之间引入密集连接以获取密集的上下文信息.解码端设计特征融合优化策略逐层融合不同尺度的特征增加对细粒度特征的感知,同时以反卷积与双线性插值交替的上采样方式减少图像边缘信息丢失.最后采用交叉熵损失与Dice损失结合的方式加快网络收敛速度.为了验证所提方法的有效性,与几种常用的语义分割方法进行了对比实验.实验结果表明,所提算法的分割准确率为93.7%,MIoU为88.01%,可以实现地物的有效分割.     

L-UNet：轻量化云遮挡道路提取网络

目的 道路提取是常见的遥感应用之一。现有的基于深度卷积网络的道路提取方法往往未考虑云遮挡给道路提取带来的影响，且提取网络模型较大，不利于在移动端部署，同时缺乏用于云遮挡场景下的道路提取数据集。对此，本文提出一种轻量化的UNet网络（lightweight UNet，L-UNet），高效地实现云遮挡下的道路提取。方法 通过柏林噪声模拟云层以扩展现有道路提取数据集，进而训练L-UNet。使用移动翻转瓶颈卷积模块作为特征提取的主要结构，在深度可分离卷积的基础上加入扩展卷积和压缩激励模块，在减少参数量的同时大幅提升了分割效果。结果 在DeepGlobe道路提取扩展数据集的测试中，与D-LinkNet相比，L-UNet的交并比（intersection over union，IoU）提升了1.97%，而参数量仅为D-LinkNet的1/5。在真实云遮挡遥感图像道路提取测试中，L-UNet的性能仍然最优，与D-LinkNet和UNet相比，IoU值分别提高19.47%和31.87%。结论 L-UNet网络具有一定的云遮挡区域下道路标签生成能力，虽然在模拟云遮挡数据集下训练得到，但对于真实云遮挡仍具有较强的鲁棒性。L-UNet模型参数量很小，易于嵌入移动端。     

基于改进深度神经网络的遥感影像语义分割

研究了基于深度学习的遥感图像语义分割问题,将建筑物作为遥感图像中的待分割目标,采用语义分割算法将建筑物提取出来.提出了一种改进的U-net网络,根据分割实际需求,保持网络对目标提取特征能力的前提下,将原U-net网络的卷积核数量适当减少,降低了网络参数数量和计算复杂度;增加了Batch Normalization层抑制过拟合问题;在上采样部分增加特征图的局部信息以优化网络对于细节的分割效果.使用公开的数据集INRIA Aerial Image Dataset来评估改进的U-net网络的实际效果,和原U-net相比,单张图片训练速度提升了8％,分割精度也明显提升,训练中的过拟合情况得到改善.证明了本文改进的U-net网络具有对遥感图像的语义分割任务的有效性和可行性.