融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

基于DenseNet的复杂交通场景语义分割方法

针对交通场景语义分割方法存在参数量较大、计算效率较低、精度不足等问题,文中提出基于全卷积化DenseNet的多尺度端到端语义分割模型.首先,构建一种含混合空洞卷积的密集连接模块,同时沿通道维度级联各模块,用于提取图像特征.然后,采集多尺度视觉信息并以此作为监督信号回传至原通道中.最后,通过双线性插值法获得预测输出.在CityScapes数据集上的测试实验表明,文中方法对复杂交通场景的解析能力较强,预测精度和分割效率较高.     

分支空洞卷积神经网络的机加工车间场景语义分割

机加工车间场景的语义分割方法是开发工业场景中自主导航小车AGV所需要的一项关键技术.针对AGV需要精确识别可通行区域和不可通行区域,以及机加工车间场景中目标类别较多且密集导致难以准确分割的问题,提出一种基于DeepLabv3深度学习模型架构的分支空洞卷积神经网络模型.在预训练残差网络ResNet-50的基础上,首先扩展分支结构,通过分支结构设置不同比例的空洞卷积扩张率实现调节特征图感受野,获取不同感受野的上下文信息;然后通过相同扩张率的叠加状态改善空洞卷积的棋盘效应,减少上下文信息的缺失;最后添加多尺度特征融合的解码器单元,利用目标定位准确的浅层特征和目标分类准确的深层特征进行特征融合,弥补由于棋盘效应导致的上下文信息缺失和像素信息不相关性的问题.在自制小样本机加工车间场景数据集上的实验结果表明,与DeepLabv3模型相比,该模型的验证精度提高5.14％,且对于可通行区域、道路线和不可通行区域的语义分割结果更加准确.     

结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network ,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

面向自动驾驶的交通场景语义分割

交通场景语义分割在自动驾驶中必不可少.为了解决目前的交通场景语义分割方法中由于池化、卷积等操作而造成的目标边界分割模糊、多类别目标及相似物体分割精度低等问题,提出一种带注意力机制的卷积神经网络分割方法.特征提取时,引入多样化的扩张卷积,以挖掘多尺度的语义信息.在信息解码后,添加通道及空间双注意力模块,可以在通道和空间两个维度层面进行注意力特征提取,让网络在学习过程中更侧重于重要信息.在Cityscapes数据集上的实验结果表明,该语义分割网络的平均交并比(MIoU)可达71.6％,超过了基网络为ResNet50的DeepLabv3+语义分割网络.所提方法能更加精细地分割出近似物体及多类别目标,对复杂交通场景图像的理解力更强.     

基于神经网络的遥感图像海陆语义分割方法

针对海陆语义分割中陆地、码头形状多样,背景目标复杂等情况造成的像素分类错误、边界分割模糊等问题,提出了一种新的基于深度卷积神经网络的遥感图像海陆语义分割方法。该方法以端对端的训练方式实现了对目标的逐像素分类,为了解决海陆分割中像素分类错误,设计以不同尺度图像为输入的三个并行的编码结构,通过融合不同尺度的特征图,丰富特征代表算子的语义信息,增大像素分类准确率。为了解决海陆分割中边界分割模糊,通过设计能够融合编码结构中低层精细位置信息的解码结构,对特征图进行更加精确的上采样,恢复像素的密集位置信息,提高海陆分割准确度。为有效验证所提网络框架的优势,构建了海陆分割数据集HRSC2016-SL进行算法性能比较。与最新的语义分割算法相比,所提算法取得了更好的分割结果。     

LRSS-Net:轻量级遥感地物分割网络

针对目前基于深度学习的高分辨率遥感图像分割模型由于参数量大、计算复杂而导致高延迟、低响应的问题,提出了一种轻量级遥感地物分割方法,较好的平衡了速度和精度.该方法使用MobileNetV2进行特征粗提取,通过构建空间信息嵌入分支实现不同尺度的特征细提取,不同层次之间引入密集连接以获取密集的上下文信息.解码端设计特征融合优化策略逐层融合不同尺度的特征增加对细粒度特征的感知,同时以反卷积与双线性插值交替的上采样方式减少图像边缘信息丢失.最后采用交叉熵损失与Dice损失结合的方式加快网络收敛速度.为了验证所提方法的有效性,与几种常用的语义分割方法进行了对比实验.实验结果表明,所提算法的分割准确率为93.7%,MIoU为88.01%,可以实现地物的有效分割.     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于递归切片网络的三维点云语义分割与实例分割

目的 针对三维点云语义与实例分割特征点提取精度不高、实例分割精度极度依赖语义分割的性能、在密集场景或小单元分割目标中出现语义类别错分以及实例边缘模糊等问题,提出了基于递归切片网络的三维点云语义分割与实例分割网络。方法 网络对输入点云进行切片,并将无序点云映射到有序序列上;利用双向长短期记忆网络（bidirectional long short-term memory,BiLSTM）得到带有局部特征和全局特征的编码特征矩阵;将编码特征矩阵解码为两个并行分支,进行多尺度的特征融合;对语义与实例特征进行融合,得到并行的语义与实例分割网络。结果 在斯坦福大尺度3D室内场景数据集（Stanford large-scale 3D indoor spaces dataset,S3DIS）以及ShapeNet数据集上,与目前最新点云分割方法进行实验对比。实验结果表明,在S3DIS数据集上,本文算法的语义分割的平均交并比指标为73%,较动态核卷积方法（position adaptive convolution,PAConv）提高7.4%,并且在13个类别中的8个类别取得最好成绩;实例分割中平均实例覆盖率指标为67.7%。在ShapeNet数据集上,语义分割的平均交并比为89.2%,较PAConv算法提高4.6%,较快速、鲁棒的点云语义与实例分割方法（fast and robust joint semantic-instance segmentation,3DCFS）提高1.6%。结论 本文提出的语义与实例分割融合网络,综合了语义分割与实例分割的优点,有效提高语义分割与实例分割精度。     

基于多尺度特征融合的遥感图像建筑物提取算法研究

由于高分辨率遥感图像中的建筑物尺寸多样,且背景复杂,因此在对遥感图像中的建筑物进行提取时,往往存在细节丢失、边缘模糊等问题,从而影响模型的分割精度。为了解决这些问题,提出了具有空间和语义信息的双分支架构网络B2Net。首先,在语义信息分支上建立交叉特征融合模块,充分捕获上下文信息,以聚合更多的多尺度语义特征;其次,在空间信息分支上将空洞卷积和深度可分离卷积进行组合,提取图像的多尺度空间特征,并通过优化膨胀率扩大网络的感受野;最后,构建内容感知注意力模块,对图像中的高频和低频内容进行自适应选择,以达到细化建筑物分割边缘的效果。在两个建筑物数据集上对B2Net进行训练与测试。在WHU数据集上,与基线模型相比,B2Net在精度、召回率、F1分数以及交并比上皆达到了最佳效果,分别为98.60%,99.40%,99.30%,88.50%;在Massachusetts建筑物数据集上,4个指标比BiSeNet分别提高了0.9%,1.9%,1.7%,2.2%。实验结果证明,B2Net可以更好地捕获空间细节信息和高级语义信息,提高了复杂背景下的建筑物进行分割精度,满足了对建筑物快速提取的需求。     

融合图注意力的摄影测量点云语义分割研究

随着无人机倾斜摄影测量技术的发展,通过密集影像匹配可以快速获得类比激光扫描数据精度的大规模室外点云,但是这些点云存在着不规则、遮挡严重、数据量庞大的特点,同时因为缺乏对象信息无法深入进行语义分析.针对上述问题,本文提出一种融合图注意力的摄影测量点云语义分割方法.首先构建了一种新的图卷积模块,在网络的每一层动态的更新点云局部邻域图,将跨层点描述与上下文特征结合起来并逐层汇聚点云空间潜在语义信息;然后在每个网络层引入通道注意力机制使网络能够自适应学习通道间的权重,并由此建立基于一种新的图注意模块的点云语义分割网络,实现复杂点云的细粒度语义分割.通过在两个公开的室外点云基准数据集上的实验结果表明,该方法能够显著提升网络对局部拓扑特征信息的学习能力,且对复杂场景点云语义分割具有良好的泛化能力.     

基于自适应注意力的任意形状场景文本检测

大量基于卷积神经网络的场景文本检测方法对于密集的长文本容易检测不全，且泛化能力较差。针对这些问题，提出一种面向自底向上的场景文本检测方法。使用自适应通道注意力机制(ACA),通过局部跨通道交互获得更具代表性的文本特征，提高深度卷积神经网络的性能；利用特征增强金字塔(FPEM)融合低层和高层信息进一步增强不同尺度的特征；为解决长文本尺度变化问题，提出一种加权感知损失(WAL),通过调整不同大小的文本实例的权重来增强鲁棒性。实验在CTW1500及MSRA-TD500标准数据集上验证了该方法的优越性。     

基于密集多尺度空洞卷积的脑胶质瘤图像语义分割方法

对脑胶质瘤核磁共振图像进行语义分割是医学图像处理的一个研究热点。目前的分割方法均使用池化层进行下采样，存在空间位置信息损失问题，导致分割结果不精确、无效计算量高。为了提高分割效果和计算效率，提出一种新的语义分割方法。该方法使用空洞卷积代替池化层，获得了信息更丰富的特征图，进行多尺度空洞卷积改进，消除空洞卷积中网格问题和边缘特征无效问题，使用密集连接获取不同尺度的特征，保证方法的鲁棒性并降低计算量。使用Brats2017的数据进行实验验证，结果表明，该方法在分割整体肿瘤区域和增强肿瘤区域时效果良好，dice相对性系数分别达到0.912和0.88。     

DeepLab V3+改进的树木图像分割

针对树木图像分割需要预处理、人机交互和分割精度低等问题,提出基于改进的DeepLab V3+的街道树木图像分割方法。在编码端使用带有扩张卷积的扩张残留网络并添加密集连接方式提取中阶特征图,传递给设计有交互信息传递的空洞空间卷积池化金字塔,增强了不同感受野之间的相关性,采用多尺度拼接融合方法形成高阶特征图。在解码端,对多增加的中阶特征图和高阶特征图进行上采样后调整通道数,与低阶特征图进行跨层拼接融合,使高分辨率图像的细节信息得到更好的补充。在自制树木图像分割数据集以及Cityscapes公共数据集上的精度相较DeepLab V3+以及其它主流网络有所提高。     

结合通道注意力的特征融合多人姿态估计算法

为了提高二维复杂场景下多人姿态估计准确度和速度,提出了一种Mobile-YOLOv3模型与多尺度特征融合全卷积网络相结合的自顶向下多人姿态估计方法.利用深度可分离卷积改进YOLOv3网络以作为高效的人体目标检测器.针对网络特征下采样过程中上层高分辨率信息不断遗失问题,在经典U型网络结构中嵌入多尺度特征融合模块,从而使网络中的低尺度特征也包含高分辨率信息,并在特征融合模块中引入通道注意力机制,进一步突出多尺度融合特征图的关键通道信息.试验结果表明:相比于堆叠沙漏网络(Stacked Hourglass Network,SHN)和级联金字塔网络(Cascaded Pyramid Network,CPN),文中所提出的人体姿态估计算法在COCO数据集上的姿态估计平均准确率分别提高了4.7和3.7.     

自适应上下文特征的多尺度目标检测算法

识别多尺度目标是检测任务中的一项挑战,针对检测中的多尺度问题,提出自适应上下文特征的多尺度目标检测算法。针对不同尺度的目标需要不同大小感受野特征进行识别的问题,构建了一种多感受野特征提取网络,通过多分支并行空洞卷积,从高层语义特征中挖掘标签中的上下文信息;针对不同尺度目标的语义特征出现在不同分辨率特征图中的问题,基于改进的通道注意力机制,提出自适应的特征融合网络,通过学习不同分辨率特征图之间的相关性,在全局语义特征中融合局部位置特征;利用不同尺度的特征图识别不同尺度的物体。在PASCAL VOC数据集上对本文算法进行验证,本文方法的检测精度达到了85.74%,相较于Faster R-CNN检测精度提升约8.7%,相较于基线检测算法YOLOv3+提升约2.06%。     

室内服务机器人的实时场景分割算法

室内场景下的实时场景分割是开发室内服务机器人的一项关键技术,目前关于语义分割的研究已经取得了重大进展,但是多数方法都倾向于设计复杂的网络结构或者高计算成本的模型来提高精度指标,而忽略了实际的部署成本。针对移动机器人算力成本有限的问题,设计一种轻量化的瓶颈结构,并以此为基本元素构建轻量化场景分割网络。该网络通过与特征提取网络级联获得更深层次的语义特征,并且融合浅层特征与深层语义特征获得更丰富的图像特征,其结合深度可分离卷积与多尺度膨胀卷积提取多尺度图像特征,减少了模型的参数量与计算量,同时利用通道注意力机制提升特征加权时的网络分割精度。以512像素×512像素的图像作为输入进行实验,结果表明,该算法在NYUDv2室内场景分割数据集和CamVid数据集上的MIoU分别达到72.7%和59.9%,模型计算力为4.2 GFLOPs,但参数量仅为8.3 Mb,在移动机器人NVIDIA Jetson XavierNX嵌入式平台帧率可达到42 frame/s,其实时性优于DeepLabV3+、PSPNet、SegNet和UNet算法。