室内服务机器人的实时场景分割算法

室内场景下的实时场景分割是开发室内服务机器人的一项关键技术,目前关于语义分割的研究已经取得了重大进展,但是多数方法都倾向于设计复杂的网络结构或者高计算成本的模型来提高精度指标,而忽略了实际的部署成本。针对移动机器人算力成本有限的问题,设计一种轻量化的瓶颈结构,并以此为基本元素构建轻量化场景分割网络。该网络通过与特征提取网络级联获得更深层次的语义特征,并且融合浅层特征与深层语义特征获得更丰富的图像特征,其结合深度可分离卷积与多尺度膨胀卷积提取多尺度图像特征,减少了模型的参数量与计算量,同时利用通道注意力机制提升特征加权时的网络分割精度。以512像素×512像素的图像作为输入进行实验,结果表明,该算法在NYUDv2室内场景分割数据集和CamVid数据集上的MIoU分别达到72.7%和59.9%,模型计算力为4.2 GFLOPs,但参数量仅为8.3 Mb,在移动机器人NVIDIA Jetson XavierNX嵌入式平台帧率可达到42 frame/s,其实时性优于DeepLabV3+、PSPNet、SegNet和UNet算法。     

融合注意力机制的对抗式半监督语义分割

图像语义分割任务是计算机视觉领域重要研究课题之一。当前基于全卷积神经网络的语义分割算法存在像素之间缺乏关联性、卷积核感受野小于理论值、人工标记数据集标签成本大等问题。为了解决上述问题,提出了一种融合注意力机制的对抗式半监督语义分割模型。将生成对抗网络应用到图像语义分割中,增强像素点之间的关联性;提出模型在生成网络中加入自注意力模块和多核池化模块以对长距离语义信息进行融合,扩大了卷积核感受野;在PASCAL VOC2012增强数据集和Cityscapes数据集上进行了大量实验,实验结果证明了该方法在图像语义分割任务中的有效性和可靠性。     

结合上下文注意力的卷积自校正图像语义分割

针对现有图像语义分割中存在小目标对象分割精度不高等问题,提出一种结合上下文注意力的卷积自校正图像语义分割模型.使用上下文注意力机制挖掘局部区域内细粒度特征,结合上下文循环神经网络和残差学习充分挖掘图像的深层隐含语义特征;构建辅助分割模型,在给定图像和边界框注释的情况下生成每像素的标签分布,提出卷积自校正模型,实现分割模...     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

基于轻量语义分割网络的遥感土地覆盖分类

高分辨率遥感图像有丰富的空间特征, 针对遥感土地覆盖方法中模型复杂, 边界模糊和多尺度分割等问题, 提出了一种基于边界与多尺度信息的轻量化语义分割网络. 首先, 使用轻量化的MobileNetV3分类器, 采用深度可分离卷积来减少计算量. 其次, 使用自顶向下和自底向上的特征金字塔结构来进行多尺度分割. 接着, 设计了一个边界增强模块, 为分割任务提供丰富的边界细节信息. 然后, 设计了一个特征融合模块, 融合边界与多尺度语义特征. 最后, 使用交叉熵损失函数和Dice损失函数来处理样本不平衡的问题. 在 WHDLD数据集的平均交并比达到了59.64%, 总体精度达到了87.68%. 在DeepGlobe数据集的平均交并比达到了70.42%, 总体精度达到了88.81%. 实验结果表明, 该模型能快速有效地实现遥感图像土地覆盖分类.     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法.该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征...     

基于U-Net的高分辨率遥感图像语义分割方法

图像分割是遥感解译的重要基础环节,高分辨率遥感图像中包含复杂的地物目标信息,传统分割方法应用受到极大限制,以深度卷积神经网络为代表的分割方法在诸多领域取得了突破进展。针对高分辨遥感图像分割问题,提出一种基于U-Net改进的深度卷积神经网络,实现了端到端的像素级语义分割。对原始数据集做了扩充,对每一类地物目标训练一个二分类模型,随后将各预测子图组合生成最终语义分割图像。采用了集成学习策略来提高分割精度,在“CCF卫星影像的AI分类与识别竞赛”数据集上取得了94%的训练准确率和90%的测试准确率。实验结果表明,该网络在拥有较高分割准确率的同时还具有良好的泛化能力,能够用于实际工程。     

基于多级上下文引导的实时语义分割网络

针对实时语义分割方法中因忽略其本质所导致的分割精度不高的问题,提出了一种多级上下文引导的轻量化网络。首先,将深度可分离卷积及非对称卷积相结合,设计了基于并行非对称卷积的上下文引导模型以学习局部特征及其周围上下文构成的联合特征;其次,将该模型堆叠于网络来实现特征的多级优化;最后,通过通道注意模型筛选出与更高阶段语义一致的浅层特征,从而提高分割效果。实验结果表明,所提网络在Cityscapes数据集上以94.7的帧速率获得了72.4%的平均交并比,并在CamVid数据集上取得显著的性能提升。同当前的其他实时语义分割方法相比,该网络性能更优。     

高效率图片语义分割网络的研究与设计

针对目前卷积神经网络在图像语义分割上存在运算效率的不足,考虑实际嵌入式移动设备应用中对网络模型大小、运算速度和能耗的需求,研究和讨论了语义分割网络参数的压缩方法和网络结构的优化方式,并利用深度可分离卷积、多尺寸卷积核融合和金字塔池化的方法,提出快速、准确的小尺寸语义分割网络模型。该网络模型在Cityscapes数据集上进行训练和测试,在模型尺寸、运算时间和分割精度等方面都有良好的表现,能够同时兼顾语义分割任务中对效率和精度的要求,提高了语义分割技术在嵌入式移动设备上的实用性。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

基于多卷积神经网络融合的SAR舰船分类

针对SAR图像中小型舰船分类准确率较低的问题,提出一种多卷积神经网络加权融合的方法。首先构建高分辨率卷积神经网络对特征图进行多尺度融合,引入微调模型和标签平滑减少训练过拟合的问题;然后利用高分辨网络、MobileNetv2网络和SqueezeNet网络训练3种单分类模型;最后采用加权投票方式对3种分类模型的结果进行融合。采用融合算法对GF-3号舰船数据集进行分类实验,取得94.83%的准确率、95.43%的召回率和0.9513的F1分数的分类性能。实验结果表明,该舰船分类算法模型具有较优的分类能力,验证了其在高分辨率SAR图像舰船分类上的有效性。     

结合Skip-gram和加权损失函数的神经网络推荐模型

针对网络推荐系统中传统的协同过滤技术在实际应用中存在数据稀疏、导致准确率低、推荐单一性等问题,提出一种结合Skip-gram项目嵌入和加权损失函数的深度神经网络的推荐模型DSM。采用了3层ReLU层对输出向量进行回归,在未使用附加信息的前提下提高了推荐精度;利用Skip-gram进行项目嵌入得到更稠密的表示向量,减少了计算量;并且使用加权损失函数训练深度神经网络的参数,平衡了推荐项目的受欢迎程度,保证了新颖性。在APP数据集和Last.fm数据集的实验结果表明,DSM模型在推荐应用程序和歌曲时,准确性和多样性方面相比现有方法均有一定的提高。     

基于多尺度特征卷积神经网络的目标定位

针对实际应用中诸多数据集标签部分缺失、无定位标注等问题，提出了基于多尺度特征卷积神经网络的弱监督定位算法。其核心思想是利用神经网络分层的特性，在多层卷积层上使用梯度加权类激活映射，生成梯度金字塔模型，并通过均值滤波计算特征质心位置，利用置信强度映射和阈值梯减模块产生连接的像素段，围绕最大边界标注进行弱监督定位。在标准测试集上的实验结果表明，该算法能够在存在大量类别、多尺度图像的情况下完成目标定位，具有较高的精确度。     

噪声鲁棒的轻量级深度遥感场景图像分类检索

目的 基于深度神经网络的遥感图像处理方法在训练过程中往往需要大量准确标注的数据,一旦标注数据中存在标签噪声,将导致深度神经网络性能显著降低。为了解决噪声造成的性能下降问题,提出了一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法,能够同时完成分类和哈希检索任务,有效提高深度神经网络在有标签噪声遥感数据上的分类和哈希检索性能。方法 选取轻量级神经网络作为骨干网,而后设计能够同时完成分类和哈希检索任务的双分支结构,最后通过设置损失基准的正则化方法,有效减轻模型对噪声的过拟合,得到噪声鲁棒的分类检索模型。结果 本文在两个公开遥感场景数据集上进行分类测试,并与8种方法进行比较。本文方法在AID（aerial image datasets）数据集上,所有噪声比例下的分类精度比次优方法平均高出7.8%,在NWPU-RESISC45（benchmark created by Northwestern Polytechnical University for remote sensing image scene classification covering 45 scene classes）数据集上,分类精度比次优方法平均高出8.1%。在效率方面,本文方法的推理速度比CLEOT（classification loss with entropic optimal transport）方法提升了2.8倍,而计算量和参数量均不超过CLEOT方法的5%。在遥感图像哈希检索任务中,在AID数据集上,本文方法的平均精度均值（mean average precision,mAP）在3种不同哈希比特下比MiLaN（metric-learning based deep hashing network）方法平均提高了5.9%。结论 本文方法可以同时完成遥感图像分类和哈希检索任务,在保持模型轻量高效的情况下,有效提升了深度神经网络在有标签噪声遥感数据上的鲁棒性。     

联合结构相似性与类信息的图像分类

针对卷积神经网络训练收敛速度慢的问题，提出了一种加权的联合结构相似性和类信息监督训练的方法。首先，针对小图像，设计一个能有效提取图像高级别信息的卷积神经网络。其次，建立加权的联合结构相似性和类信息损失函数训练卷积神经网络。最后，通过mnist手写数字和cifar10图像分类实验验证所设计网络的有效性。实验结果表明，所设计的网络在mnist手写数字和cifar10数据集上的图像分类错误率分别为0.33%和11%。在未进行扩增mnist数据集的前提下，所设计的网络的性能超过了该数据集上所有单网络的性能；在cifar10数据集上，所设计的网络能以较少的计算量获得较高的图像分类准确率。同时，联合结构相似性和类信息损失的监督训练能加快网络的训练速度。     

基于跨通道交叉融合和跨模块连接的轻量级卷积神经网络

针对传统卷积神经网络参数量过多、计算复杂度高的问题,提出了基于跨通道交叉融合和跨模块连接的轻量级卷积神经网络架构C-Net。首先,提出了跨通道交叉融合的方法,它在一定程度上克服了分组卷积中各分组之间存在缺乏信息流动的问题,简单高效地实现了不同分组之间的信息通信;其次,提出了一种跨模块连接的方法,它克服了传统轻量级架构中各基本构建块之间彼此独立的缺点,实现了同一阶段内具有相同分辨率特征映射的不同模块之间的信息融合,从而增强了特征提取能力;最后,基于提出的两种方法设计了一种新型的轻量级卷积神经网络架构C-Net。C-Net在Food_101数据集上的准确率为69.41%,在Caltech_256数据集上的准确率为63.93%。实验结果表明,与目前先进的轻量级卷积神经网络模型相比,C-Net降低了存储开销和计算复杂度。在Cifar_10数据集上的消融实验验证了所提出的两种方法的有效性。     

基于跨通道交叉融合和跨模块连接的轻量级卷积神经网络

针对传统卷积神经网络参数量过多、计算复杂度高的问题，提出了基于跨通道交叉融合和跨模块连接的轻量级卷积神经网络架构C-Net。首先，提出了跨通道交叉融合的方法，它在一定程度上克服了分组卷积中各分组之间存在缺乏信息流动的问题，简单高效地实现了不同分组之间的信息通信；其次，提出了一种跨模块连接的方法，它克服了传统轻量级架构中各基本构建块之间彼此独立的缺点，实现了同一阶段内具有相同分辨率特征映射的不同模块之间的信息融合，从而增强了特征提取能力；最后，基于提出的两种方法设计了一种新型的轻量级卷积神经网络架构C-Net。C-Net在Food_101数据集上的准确率为69.41%，在Caltech_256数据集上的准确率为63.93%。实验结果表明，与目前先进的轻量级卷积神经网络模型相比，C-Net降低了存储开销和计算复杂度。在Cifar_10数据集上的消融实验验证了所提出的两种方法的有效性。     

量型图像分类神经网络改进研究

当前普遍使用的轻量型神经网络仍然存在计算量与参数量过大的问题,导致算力较低的廉价移动设备无法快速完成图像分类任务.针对此问题提出了一种更适合于应用在算力较低的廉价移动设备上的轻量型神经网络,引入了代价较小的线性操作与特征图合并操作用于减少神经网络的计算量与参数量,还引入了改进的残差结构、注意力机制和标签平滑技术用于提高结果判断的准确率.基于PD-38数据集的实验表明,该神经网络相比传统的轻量型神经网络使用较小的计算量与参数量可以达到较高的分类准确率.在公共数据集CIFAR-10上的实验进一步表明该神经网络具有通用性.     

基于轻量级深度神经网络的环境声音识别

针对传统卷积神经网络（CNN）模型存在大量冗余参数的问题，提出了两个基于SqueezeNet核心结构Fire模块的轻量级网络模型Fnet1和Fnet2。之后结合移动端分布式数据采集和处理的特点，在Fnet2模型基础上，依据Dempster-Shafer（D-S）证据理论将Fnet2与深度神经网络（DNN）融合，提出新的网络模型FnetDNN。首先，建立一个具有四层卷积层的神经网络Cent作为基准，以梅尔倒谱系数（MFCC）作为特征输入来对比分析Fnet1、Fnet2和Cent的网络结构特点、计算量、卷积核参数数量及识别准确率，结论是Fnet1仅使用Cnet参数数量的10.3%就可达到86.7%的分类准确率；然后，将MFCC与全局特征向量输入到FnetDNN模型中，使得该模型的识别准确率提高到了94.4%。实验结果表明，Fnet网络模型不仅可以压缩冗余参数，还可以与其他网络相融合，具备模型扩展能力。     

基于改进CPMs和SqueezeNet的轻量级人体骨骼关键点检测模型

针对目前的人体骨骼关键点检测模型参数多、训练时间长和检测速度慢的问题，提出了一种将人体骨骼关键点检测模型CPMs与小型卷积神经网络模型SqueezeNet相结合的检测方法。首先，采用4个Stage的CPMs(CPMs-Stage4)对人物图像进行关键点检测；然后，在CPMs-Stage4中引入SqueezeNet的Fire Module网络结构，利用Fire Module结构大大压缩模型参数，得到一种新的轻量级人体骨骼关键点检测模型SqueezeNet15-CPMs-Stage4。在扩展的LSP数据集上的验证结果显示，与CPMs相比，SqueezeNet15-CPMs-Stage4模型在训练时间上减少86.68%，在单张图像检测时间上减少44.27%，准确率达到90.4%；与改进的VGG-16、DeepCut和DeeperCut 三种参照模型相比，SqueezeNet15-CPMs-Stage4模型在训练时间、检测速度和准确率方面均是最优的。实验结果表明，所提模型不仅检测准确率高，而且训练时间短、检测速度快，能够有效降低人体骨骼关键点检测模型的训练成本。