双路径特征融合编解码结构的高速语义分割EI北大核心CSCD

对基于深度学习的高精度图像语义分割模型参数量大、分割速度慢的问题,提出一种基于双路径特征融合编解码结构的语义分割模型.首先,该模型编码器通过对语义路径和空间路径同时进行编码,其能够融合不同的特征信息,弥补了空间信息和语义信息难以两全的弊端,对特征图进行高效的卷积操作;其次,该模型解码器通过融合高层语义信息和低层空间信息,有效地弥补了编码时下采样操作丢失的特征信息.在Cityscapes和Camvid数据集上的实验结果表明,整体模型的参数量仅为3.91×10^(6),在2个数据集上分别取得了67.7%和65.8%的均交并比,分割速度分别为111帧/s和86帧/s.对比其他同类模型,所提模型拥有更少的参数量和更高的精度,其分割速度远远超过实时语义分割的最低要求24帧/s.     

基于深度学习算法的高分辨率无人机遥感图像自动分割

高分辨率无人机遥感图像自动分割对于图像的目标识别与检测具有重要意义,为提升图像分割精度,提出基于深度学习算法的高分辨率无人机遥感图像自动分割方法。采用直方图均衡化算法增强遥感图像后,构建基于编/解码器架构的深度学习网络语义分割模型,针对增强后的图像,在编码环节中引入残差模块强化对分割目标有效的特征;在解码环节中,采用多尺度融合模块将低层特征的局部细节信息和高层特征的语义信息相融合。同时针对遥感图像内地物类别不均衡的现象,以带权重的交叉熵为模型损失函数,克服模型选择偏好问题,提升模型分割精度。实验结果显示该方法可准确分割遥感图像内不同类型目标,分割精度达到95%以上。     

改进BiSeNetV1实时模型的岩屑图像识别

在图像分割识别领域,现有的深度学习方法大多使用高精度语义分割方法来实现,存在着网络推理速度慢、计算量大、难以实际应用等问题.借助于表现较好的BiSeNetV1实时网络模型,通过扩展的空间路径卷积结构、空间金字塔注意力机制(SPARM)和简化的注意力特征融合模块(S-iAFF)等改进策略,设计一种用于岩屑图像分割领域的BiSeNet＿SPARM＿S-iAFF实时网络.扩展的空间路径卷积结构可以获取更丰富的岩屑图像空间特征,上下文路径使用优化的空间金字塔注意力机制(SPARM)进一步细化高层语义特征提取,在特征融合阶段使用简化注意力特征融合(S-iAFF)加强低层空间与高层语义特征的融合程度.实验结果表明, BiSeNet＿SPARM＿S-iAFF网络在RockCuttings＿Oil岩屑数据集上的平均交并比(mIoU)为64.91%,相较于BiSeNetV1网络提高了2.68%;另外改进后的网络在精度上接近大部分高精度语义分割方法,同时参数量大幅度减少、推理速度有着明显的提升.     

一种改进的Mask RCNN特征融合实例分割方法

实例分割需要兼顾像素级的分类准确性和目标实例级的高级语义特性,非常具有挑战性。由于特征金字塔网络低层特征到高层特征的融合路径太长,导致低层特征在整个特征层次中的作用较弱。在特征金字塔网络的基础上,引入一条自下而上的路径来增强整个特征层次,缩短较低层特征与顶部特征之间的融合路径,增强低层特征在整个特征层次中的作用;在卷积神经网络中引入空洞卷积算法扩大卷积感受域,进一步提升掩膜预测准确度。在Microsoft COCO数据集测试结果表明,该方法有效提高了实例分割的准确度。     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

基于卷积神经网络的多尺度图像语义分割

针对现有的图像语义分割算法存在的因细节信息丢失导致分割效果不佳的问题,论文提出一种基于DeepLabV3+的改进算法。论文的深度学习网络分为编码器和解码器模块,在编码器模块使用改进的ResNet＿101和空洞空间金字塔池化结构提取多尺度特征,在解码器模块结合多个输出,并且融合图像低层信息,解决目标细节丢失问题。为验证论文算法的有效性,在PASCAL VOC 2012数据集上进行实验,结果表明,改进后的算法在物体细节处理方面得到了良好效果,性能方面有所提升。     

基于特征融合网络的自然场景文本检测

目前,基于深度学习的自然场景文本检测在复杂的背景下取得很好的效果,但难以准确检测到小尺度文本.本文针对此问题提出了一种基于特征融合的深度神经网络,该网络将传统深度神经网络中的高层特征与低层特征相融合,构建一种高级语义的神经网络.特征融合网络利用网络高层的强语义信息来提高网络的整体性能,并通过多个输出层直接预测不同尺度的文本.在ICDAR2011和ICDAR2013数据集上的实验表明,本文的方法对于小尺度的文本,定位效果显著.同时,本文所提的方法在自然场景文本检测中具有较高的定位准确性和鲁棒性,F值在两个数据集上均达到0.83.     

基于语义传播与前/背景感知的图像语义分割网络

虽然图像语义分割因其有助于更好地分析和理解图像而被广泛应用于多个领域,但是基于全卷积神经网络的模型在语义分割方面依然存在分辨率重构及如何利用上下文信息的问题.因此,文中提出基于语义传播与前/背景感知的图像语义分割网络.首先,提出联合语义传播上采样模块,提取高层特征的全局语义信息与局部语义信息,用于得到语义权重,将高层特...     

改进U-Net网络的遥感影像道路提取方法研究

从遥感影像中提取道路目标对智慧城市建设具有重要意义。由于遥感数据中道路及背景特征复杂多样,使用深度学习方法对道路进行提取的准确性仍然受到限制。基于U-Net网络架构设计实现了用于遥感影像道路提取的深度语义分割模型AS-Unet,该模型分为编码器和解码器两部分。在编码器部分加入通道注意力机制,对提取的丰富低层特征进行筛选,突出目标特征,抑制背景噪声干扰,从而提高深浅层信息融合准确率;为解决网络对道路目标单一尺寸的敏感问题,在编码器最后一层卷积层后面加入空间金字塔池化模块来捕获不同尺度道路特征;在解码器部分加入空间注意力机制,进行位置关系信息学习和深层次语义特征筛选,提高特征图还原能力。在Massachusetts和DeepGlobe道路数据集上进行实验,结果证明,在召回率、精度、[F1]值等评估指标上,明显优于SegNet、FCN等语义分割网络。所设计的AS-Unet网络性能优良,具有更高的分割准确率,具备一定理论和实际应用价值。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

Global contextual guided residual attention network for salient object detection

High-level semantic features and low-level detail features matter for salient object detection in fully convolutional neural networks (FCNs). Further integration of low-level and high-level features increases the ability to map salient object features. In addition, different channels in the same feature are not of equal importance to saliency detection. In this paper, we propose a residual attention learning strategy and a multistage refinement mechanism to gradually refine the coarse prediction in a scale-by-scale manner. First, a global information complementary (GIC) module is designed by integrating low-level detailed features and high-level semantic features. Second, to extract multiscale features of the same layer, a multiscale parallel convolutional (MPC) module is employed. Afterwards, we present a residual attention mechanism module (RAM) to receive the feature maps of adjacent stages, which are from the hybrid feature cascaded aggregation (HFCA) module. The HFCA aims to enhance feature maps, which reduce the loss of spatial details and the impact of varying the shape, scale and position of the object. Finally, we adopt multiscale cross-entropy loss to guide network learning salient features. Experimental results on six benchmark datasets demonstrate that the proposed method significantly outperforms 15 state-of-the-art methods under various evaluation metrics.

     

基于DeepLab的物体部件分割网络

针对现有部件分割精度较低、泛化性和精度无法兼顾等问题,文中提出基于DeepLab的物体部件分割网络(DeepLab-MAFE-DSC).网络的编码器部分提出多尺度自适应形态特征提取模块(MAFE),利用可形变卷积增强模型对不规则轮廓的处理能力,并采取先级联再并行相加的采样模式,兼顾全局和局部信息.解码器部分设计基于跳跃式架构的解码器模块(DSC),同时连接深层的语义信息和浅层的表征信息.在数据集上的实验表明,DeepLab-MAFE-DSC具有简单、分割精度较高、泛化性较强的优点.     

基于神经网络的遥感图像海陆语义分割方法

针对海陆语义分割中陆地、码头形状多样,背景目标复杂等情况造成的像素分类错误、边界分割模糊等问题,提出了一种新的基于深度卷积神经网络的遥感图像海陆语义分割方法。该方法以端对端的训练方式实现了对目标的逐像素分类,为了解决海陆分割中像素分类错误,设计以不同尺度图像为输入的三个并行的编码结构,通过融合不同尺度的特征图,丰富特征代表算子的语义信息,增大像素分类准确率。为了解决海陆分割中边界分割模糊,通过设计能够融合编码结构中低层精细位置信息的解码结构,对特征图进行更加精确的上采样,恢复像素的密集位置信息,提高海陆分割准确度。为有效验证所提网络框架的优势,构建了海陆分割数据集HRSC2016-SL进行算法性能比较。与最新的语义分割算法相比,所提算法取得了更好的分割结果。     

基于深度学习的海岸线边缘检测网络模型

海岸线的动态监测对海岸带的规划管理具有非常重要的意义。由于海陆环境错综复杂,遥感影像中海陆边界光谱特征不明显,导致提取的海岸线定位不准确。提出一种融合语义分割网络和边缘检测网络的深度卷积神经网络模型(EWNet)。该模型包含2个分支流：语义分割流负责提取分层语义信息并用来指导边缘检测流获取岸线语义信息;边缘检测流通过语义分割流完善边缘语义信息。在“高分一号”遥感图像上的实验结果表明,与几种最新网络模型相比,EWNet获得了更精确的海岸线边界提取结果。     

结合超像素分割的多尺度特征融合图像语义分割算法

深度学习的发展加快了图像语义分割的研究.目前,最有效的图像语义分割研究方法大部分都是基于全卷积神经网络(FCNN),尽管现有的语义分割方法能有效地对图像进行整体分割,但对于图像中的重叠遮挡物体不能清晰地识别出边缘信息,也不能有效地融合图像高低层的特征信息.针对以上问题,在采用FCNN来解决图像语义分割问题的基础上,利用...     

改进Deeplab v3+网络的手术器械分割方法

针对当前国内手术器械管理耗费人力,智能化程度低的问题,提出一种动态学习特征的改进Deeplab v3+网络模型语义分割算法。为了加强相关任务有效特征学习,在Deeplab v3+模型编码端嵌入注意力机制CBAM模块并通过密集深度分离卷积和扩张卷积提取图像高层特征;在解码端增加两路低层特征来源,保留了重要特征信息,提高了分割准确率。实验结果表明,改进后网络在手术器械数据集上MIoU、PA、Recall、[F]值分别为0.854、0.874、0.872和0.873。相较于其他语义分割网络,改进网络分割性能更优,有极大的工程实用价值。     

混合注意力机制的异常行为识别

随着人工智能的快速发展,基于计算机视觉的人体异常行为识别受到极大的关注,并被广泛应用到智能安防等领域。针对人们在加油站等重要场所抽烟以及司机驾驶途中打电话等违规行为,提出一种混合注意力机制的异常行为识别方法。利用引入的卷积块注意力模块重点关注输入对象的显著性特征,并对输入信息进行精细化的分配和处理,在突出重要信息的同时弱化无关信息。为提升网络模型的特征挖掘能力及增强网络的信息交互性,利用提出的卷积特征提取模块进一步提取识别对象的高层语义特征,并将其与低层细节特征进行融合以达到多尺度特征交互的目的。此外,为了减少网络训练过程中错误标签造成的损失,采用标签平滑对交叉熵损失函数进行修正以此来驱动模型的学习过程。实验结果表明,所提出的模型优于当前的主流网络,可有效检测出异常行为。     

基于改进U-Net的宫颈细胞核图像分割

原始的U-Net采用跳跃结构结合高低层的图像信息,使得U-Net模型有良好的分割效果,但是分割结果在宫颈细胞核边缘依然存在分割欠佳、过分割和欠分割等不足.由此提出了改进型U-Net网络图像分割方法.首先将稠密连接的DenseNet引入U-Net的编码器部分,以解决编码器部分相对简单,不能提取相对抽象的高层语义特征.然后对二元交叉熵损失函数中的宫颈细胞核和背景给予不同的权重,使网络更加注重细胞核特征的学习.最后在池化操作过程中,对池化域内的像素值分配合理的权值,解决池化层丢失信息的问题.实验证明,改进型U-Net网络使宫颈细胞核分割效果更好,模型也越鲁棒,过分割和欠分割比率也越少.显然,改进型U-Net是更有效的图像分割方法.