一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

融合多尺度特征的改进Deeplab v3+图像语义分割算法

针对当前Deeplab v3+模型没有充分采用高分辨率的浅层特征出现的错误分割、遗漏分割等现象,提出一种融合多尺度特征的改进Deeplab v3+特征图像语义分割算法。在主干网络中,引入多尺度金字塔卷积;将空洞空间卷积池化金字塔中的标准卷积替换为深度可分离卷积,减少整体模型的参数量;最后,在解码层采用多尺度方法来捕捉获取全局背景,将背景特征通过注意力机制,再与浅层特征和空洞空间金字塔池化层结合,丰富融合后的浅层特征语义信息。实验表明,在CityScapes验证集中,所提算法具有更好的边缘分割效果,平均交并比达到了74.76%,较原有算法提升了2.20%。通过与先进算法比较,也证明所提算法应对改善错误分割、遗漏分割的有效性。     

多尺度特征对齐聚合的语义分割方法

卷积神经网络在对图像进行语义分割时,高层特征经过降采样和padding操作和低层特征之间容易产生错位。为了解决高低层特征之间的错位问题,更好地聚合多尺度特征信息,提出了一种带有多尺度特征对齐聚合（MFAA）模块的语义分割方法。MFAA模块采用一种可学习插值策略来学习像素的变换偏移,可以有效缓解不同尺度特征聚合的特征不对齐问题,同时模块内的注意力机制提高了解码器恢复重要细节特征的能力。该方法利用高层特征的语义信息和低层特征的空间信息,通过多个MFAA模块将高低层特征对齐之后聚合到一起,从而实现图像更加精细的语义分割效果。将所提网络结构在语义分割数据集PASCAL VOC 2012上进行了验证,使用ResNet-50作为骨干网络时在验证集上的平均交并比值达到了78.4%。实验结果表明,该方法与几种主流分割方法相比在评价指标方面存在优越性,可以有效提高图像分割的效果。     

基于注意力机制的语义增强损失函数与全景分割北大核心CSCD

全景分割是计算机视觉中重要的研究方向。考虑到不同应用场景对语义分割精度的要求不同,本文提出一种基于注意力机制的语义增强损失函数和全景分割方法。首先将语义类别按照重要程度分组,加入注意力机制来对不同语义信息进行区分,并通过对损失权重的设计有效抑制了分类失衡问题;其次设计一种全景分割网络,利用MaskR CNN网络作为实例分割子分支并加入FPN结构作为语义分割基准,提高了所需物体种类的分割精度;最后通过设计重叠结果剔除规则避免了网络结构中的实例和语义分割分支输出的重叠问题。通过对COCO数据集的对比实验表明,本文提出的语义增强损失函数有效提高了优先级较高语义类别的分割效果,为不同应用场景的全景分割提供了更加高质量的语义信息。     

基于增强多尺度特征解码器的图像语义分割

针对语义分割模型SegFormer在进行图像分割时存在多尺度语义信息利用不充分、细节特征丢失等问题,提出了一种改进的轻量级的语义分割算法,并设计了一个新的解码器来增强多尺度特征表示.采用新提出的瓶颈空间金字塔池化模块（BoSPP）以获得丰富且准确的多尺度信息,所提出模型采用拉普拉斯金字塔来获得编码阶段更精确的高分辨率细节特征,并将其应用于解码阶段来解决细节特征丢失的问题;最后对特征进行逐步融合,以避免上采样率过大导致细节损失,极大地保留丰富的细节特征进而增强最终的语义分割效果. ADE20K数据集的实验结果表明,使用改进后的解码器进行语义分割,在精度和运算量方面都有所改善.以使用MiT-B0编码器的实验为例,其mIoU指标相比原网络提升了1.36%,浮点运算量仅为原网络的51%.实验结果表明,改进后的模型在不增加大量计算成本的情况下提升了模型的分割精度,且浮点运算量更少,改进后的语义分割模型优于原模型,在增强多尺度特征和图像边界细节特征方面有更好的分割效果.     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

DECANet：基于改进DeepLabv3+的图像语义分割方法

在图像的语义分割任务中,不同对象之间像素值存在差异,导致现有的网络模型在图像语义分割过程中丢失图像局部细节信息。针对上述问题,提出一种图像语义分割方法（DECANet）。首先,引入通道注意力网络模块,通过对所有通道的依赖关系进行建模提高网络的表达能力,选择性地学习并强化通道特征,提取有用信息,抑制无用信息。其次,利用改进的空洞空间金字塔池化（ASPP）结构,对提取到的图像卷积特征进行多尺度融合,减少图像细节信息丢失,且在权重参数不改变的情况下提取语义像素位置信息,加快模型的收敛速度。最后,DECANet在PASCAL VOC2012和Cityscapes数据集上的平均交并比分别达81.08%和76%,与现有的先进网络模型相比,检测性能更优,可以有效地捕获局部细节信息,减少图像语义像素分类错误。     

基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。     

基于注意力机制的遥感图像语义分割研究

遥感图像的语义分割是图像分割领域的一个重大分支,在城市规划、城乡变化检测以及地理信息等方面有十分广阔的应用,然而由于遥感图像中包含的道路地物等尺度差别大、目标背景分散、背景复杂、边界复杂等特点,精确分割遥感图像是一项具有挑战性的任务。针对这一问题,文章提出了一种基于通道注意力机制的SEU-Net网络,在U-Net网络的基础上引入SE通道注意力模块,利用空洞卷积来提升网络的解析能力,从而提高遥感图像的分割精度,在Massachusetts Roads数据集上表明SEU-Net结构的性能要优于U-Net算法。     

Boosting semantic segmentation via feature enhancement

Semantic segmentation aims to map each pixel of an image into its corresponding semantic label. Most existing methods either mainly concentrate on high-level features or simple combination of low-level and high-level features from backbone convolutional networks, which may weaken or even ignore the compensation between different levels. To effectively take advantages from both shallow (textural) and deep (semantic) features, this paper proposes a novel plug-and-play module, namely feature enhancement module (FEM). The proposed FEM first uses an information extractor to extract the desired details or semantics from different stages, and then enhances target features by taking in the extracted message. Two types of FEM, i.e., detail FEM and semantic FEM, can be customized. Concretely, the former type strengthens textural information to protect key but tiny/low-contrast details from suppression/removal, while the other one highlights structural information to boost segmentation performance. By equipping a given backbone network with FEMs, there might contain two information flows, i.e., detail flow and semantic flow. Extensive experiments on the Cityscapes, ADE20K and PASCAL Context datasets are conducted to validate the effectiveness of our design. The code has been released at https://github.com/SuperZ-Liu/FENet.     

顾及多尺度监督的点云语义分割

针对复杂场景点云分割精度不高、神经网络隐藏单元缺乏直接监督,难以提取语义明确的点云特征等问题,提出了一种将多尺度监督和SCF-Net相结合的点云语义分割网络。首先构建了一个类别信息生成模块,记录编码器中隐藏单元感受野内的类别,用于解码器中辅助分类器的监督学习。其次将解码阶段的点云类别预测任务分解成一系列点云感受野类别预测任务,通过对解码器中每一层添加辅助分类器,预测当前阶段点云感受野类别,编码阶段生成的类别信息作为标签监督网络学习。模型从粗到细地推理点云感受野类别,最终预测得到点云语义标签。实验结果表明,该方法能够有效提取点云关键信息,提高语义分割精度。     

彩色空间的视频对象自动分割

提出了一种基于RGB空间的视频对象自动分割方法。图像简化阶段，采用连接算子中的区域开启闭合算子来简化图像；图像标识提取阶段利用RGB空间的信息得到准确的视频对象轮廓，根据对比度消除区域中噪声小梯度，并在此基础上提取标识，在分水岭阶段，采用类似区域增长的改进分水岭方法，实验证明此方法的结果准确可靠。     

Image segmentation and edge enhancement with stabilized inversediffusion equations

We introduce a family of first-order multidimensional ordinary differential equations (ODEs) with discontinuous right-hand sides and demonstrate their applicability in image processing. An equation belonging to this family is an inverse diffusion everywhere except at local extrema, where some stabilization is introduced. For this reason, we call these equations "stabilized inverse diffusion equations" (SIDEs). Existence and uniqueness of solutions, as well as stability, are proven for SIDEs. A SIDE in one spatial dimension may be interpreted as a limiting case of a semi-discretized Perona-Malik equation (1990, 19994). In an experiment, SIDE's are shown to suppress noise while sharpening edges present in the input signal. Their application to image segmentation is also demonstrated.     

基于边缘梯度特征的图像分割

图像的边缘包含了大量的梯度信息,图像中的真实边界点处的梯度强度大于其左右领域的梯度强度值。根据这个特性提出了改进的阈值分割算法,首先利用高斯平滑对图像进行预处理,再利用Krisch算法对图像进行梯度运算得到图像的梯度信息,然后利用改进的二维最大类间方差法根据图像梯度进行阈值分割,最后利用目标和背景的空间关系去除少量误提边缘。实验结果表明,该方法能有效地检测出低信噪比图像中的目标并显著提高了目标检测的概率。     

A prohibited items identification approach based on semantic segmentation

Deep learning (DL) based semantic segmentation methods can extract object information including category, location and shape. In this paper, the identification of prohibited items is regarded as a task of semantic segmentation, and proposes a universal model with automatic identification of prohibited items. This model has two improvements based on the general semantic segmentation network. Firstly, the N-type encoding structure is applied to enlarge the receptive field of the network aiming at reducing the misclassification. Secondly, consider the lack of surface texture in X-ray security images. Inspired by feature reuse in Densenet, shallow semantic information is reused to improve the segmentation accuracy. With the use of this model, when using input images of size 512×512, we could achieve 0.783 mean intersection over union (mIoU) for a seven-class object recognition problem.     

基于深度卷积神经网络的图像语义分割

近年来,以深度卷积神经网络(DEEP Convolutional Neural Network,DCNN)为代表结合条件随机场(Conditional Random Field,CRF)的深度学习算法在图像分割领域中有非常出色的表现。文中首先介绍传统的深度卷积神经网络在图像分割中面临的三个问题以及所借鉴的相关理论;其次介绍对传统深度卷积神经网络三个方面的改进;最后是本次实验的结果和分析。     

Perceptually based techniques for image segmentation and semantic classification

We present a new approach for semantic image analysis that combines knowledge of human perception with an understanding of signal characteristics to segment natural scenes into perceptually uniform regions, and then uses the region statistics to extract semantic information. Applications include content-based image retrieval and region of interest extraction for efficient compression/transmission over heterogeneous networks     

基于小波变换的目标边缘搜索分割方法

为满足目标识别实时性、抗噪声的要求,提出了利用小波变换的图像边缘搜索分割方法.用反对称双正交小波算子对图像进行小波变换,对小波变换模极大值进行启发式搜索检测边缘,得到目标边缘的链码表示.该搜索方法能较好地克服噪声干扰,边缘丢失时能通过在模值分布图中搜索找回边缘,增强算法的鲁棒性.实验结果表明,在同样平台下,使用该方法检测边缘能减少一般小波多尺度分析的计算量,计算速度与使用Sobel算子的梯度方法相当,且具有更好的抗噪声能力.该方法边缘连接良好率高,特征提取方便,综合提高了图像处理算法效率.