基于前馈上下文和形状先验的平面标注方法

针对真实场景中由于互相遮挡导致的场景语义不能完全被理解的问题,提出了一种基于前馈上下文和形状先验的方法来对前景区域和被遮挡的背景区域进行语义标注。首先,将原始图像分割成超像素并提取像素点特征,采用加速决策树方法标注前景,同时采用改进的基于多尺度可形变的部件模型方法进行目标检测。其次,将可见对象信息与前馈上下文预测相结合来推测背景区域的被遮挡部分。然后,根据与当前标签置信度相匹配的多边形为每个标签提供形状先验知识。最后,结合像素预测与可视平面预测和多边形知识,以形成完整的场景标注图像。与现有方法相比,该方法能够得到与街道场景更相符的结果,并在人行道和公路较接近时的标注效果更好。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

面向遮挡与透视影响的道路凸包梯形检测算法

以安防监控视频下受遮挡与透视影响的道路作为研究对象,针对行人、行车对道路边界线的遮挡造成的消失点难以检测和实例分割欠分割难题,提出了一种改进的实例分割道路检测方法。首先使用实例分割对道路区域进行提取,然后通过凸包算法补偿行人、行车对道路边界线的遮挡,最后将其拟合成符合场景结构的梯形模型,从而优化对道路的检测。实验结果表明,该方法解决了道路受遮挡与透视影响而导致检测不准确的问题,可以满足安防监控视频下道路检测的需求,具有实际意义。     

一种多源遥感影像非监督分类方法中的欠分割对象检测与拆分算法

广义中餐馆连锁模型是一种基于全色和多光谱影像的非监督分类方法,它在一个非参数贝叶斯框架下同时实现基于全色影像的分割及基于多光谱影像的分类。由于全色影像光谱分辨率的限制,导致其所获取的部分分割体存在"欠分割"现象,影响模型最终分类精度。针对广义中餐馆连锁模型中的欠分割问题,提出基于广义中餐馆连锁模型的欠分割对象检测及拆分方法。首先,提出分割体的异质性指标以对可能包含多种地物的分割体进行检测;其次,基于多光谱影像得到的语义分割体提供的边缘信息对检测出的欠分割对象进行拆分;最后,基于多光谱影响完成分类。实验结果表明,改进后的模型能够有效减少广义中餐馆连锁模型基于全色影像获取的语义分割体的欠分割现象并提高模型分类精度。     

条带池化注意力的实时语义分割算法

针对目前面向注意力机制语义分割算法不能兼顾分割精度与实时性,以及难以满足在现实场景中应用的问题,提出一种基于条带池化注意力的实时语义分割算法.首先采用轻量级骨干网络提取特征信息,结合不同网络层语义差异构建特征融合模块获得不同尺度的上下文信息以提升分割精度;然后利用基于注意力的条带注意力模块(SAM)提高远距离信息被弱化的注意力,并在SAM中加入水平方向的条带池化以降低编码全局上下文的运算量.实验结果表明,所提算法能够得到较高分割精度且满足实时性要求;在Cityscapes测试集上平均交并比为70.6%,分割速度达到了92帧/s;在CamVid测试集上平均交并比为66.4%,分割速度达到了196帧/s.     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

基于语义分割和空间上下文信息的防震锤识别

针对目前输电线路中防震锤部件识别精确率低,缺陷无法诊断,未充分利用其空间上下文信息的问题,提出结合DeepLabV3+语义分割网络与防震锤的空间上下文关系对其进行识别与缺陷诊断;利用图像分块和数据集预处理提高DeepLabV3+网络分割精度,将防震锤与其周围部件分割出来后,建立其空间上下文关系缩小防震锤的识别范围,提高其识别精确率;实验结果表明,图像分块与预处理能够将DeepLabV3+网络的分割精度提升到93.4%以上,DeepLabV3+网络可以有效的识别正常防震锤与缺陷防震锤,识别召回率可以达到87%以上,建立防震锤与周围部件的空间上下文关系能够提高其识别精确率到90%以上。     

改进ASPP及多层次特征语义融合分割方法

为解决图像语义分割中多尺度目标分割困难、类别边界预测不准确等问题，提出一种基于改进空洞空间金字塔池化的多层次特征语义融合分割方法。将深层次网络特征按通道分组，利用分组空洞空间金字塔池化模块捕获每个分组多尺度特征上下文信息；引入条状池化模块对上下文信息补充和完善，增强全局语义信息表达；根据语义引导融合模块建立不同层次特征像素间对应关系，将深层次语义信息以自底向上方式逐步融入到低层次高分辨率图像中。实验结果表明，该方法在PASCAL VOC 2012和Cityscapes公开数据集上分别获得73.1%、71.8%的平均交并比，且在相同精度下，该方法减少了39%的参数量。     

基于边界辅助的弱监督语义分割网络

由于弱监督语义分割任务中种子区域的随机生长机制,导致弱监督语义分割网络经常出现错分割和漏分割的问题。针对上述问题,提出一种基于边界辅助的弱监督语义分割网络。该网络利用边界信息和语义信息,为种子区域的生长提供参考,使种子区域可以自然生长至目标边界,并在目标被遮挡或重叠时正确区分目标类别,生成可以覆盖更完整目标的伪像素掩码。以此伪像素掩码作为监督信息训练分割网络,可以改善弱监督语义分割网络由于伪像素掩码无法准确覆盖目标区域导致的错分割和漏分割问题,提升弱监督语义分割网络精度。在通用数据集PASCAL VOC 2012验证集和测试集上对该网络进行评估,mIoU分别达到71.7%和73.2%。实验结果表明,其网络性能优于当前大多数图像级弱监督语义分割方法。     

发掘相关反馈日志中关联信息的图像检索方法

相关反馈日志蕴含着丰富的对象语义关联信息,但大多数基于内容的图像检索(CBIR)方法却缺乏对它们的重用.提出一种发掘反馈日志中图像关联信息的自动化图像检索方法,将反馈事例中图像的共生现象视为一定上下文中的图像分类.检索时,结合CBIR的检索结果和多种上下文中的图像分类实例,借鉴HITS算法的思想从中提炼图像的本质性关联,获得综合内容和语义的图像检索结果.对6万幅Corel图像数据库的实验表明,该方法可以显著改善查全率和查准率,且检索结果能够更好地满足用户的语义检索需求.     

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network ,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。     

改进YOLOv5s的遥感图像目标检测

针对遥感图像中感兴趣目标特征不明显、背景信息复杂、小目标居多导致的目标检测精度较低的问题,本文提出了一种改进YOLOv5s的遥感图像目标检测算法（Swin-YOLOv5s）。首先,在骨干特征提取网络的卷积块中加入轻量级通道注意力结构,抑制无关信息的干扰;其次,在多尺度特征融合的基础上进行跨尺度连接和上下文信息加权操作来加强待检测目标的特征提取,将融合后的特征图组成新的特征金字塔;最后,在特征融合的过程中引入Swin Transformer网络结构和坐标注意力机制,进一步增强小目标的语义信息和全局感知能力。将本文提出的算法在DOTA数据集和RSOD数据集上进行消融实验,结果表明,本文提出的算法能够明显提高遥感图像目标检测的平均准确率。     

Aggregated pyramid attention network for mass segmentation in mammograms

Intra-class inconsistency and inter-class indistinction are intractable problems that commonly exist in breast mass segmentation from mammograms. In this work, a novel deep learning segmentation model is presented to address these problems. Firstly, we propose a simple yet effective aggregated pyramid attention module (APAM) for capturing intra-class dependencies, aiming at effectively aggregating contextual dependencies from different receptive fields to reinforce feature representations. Then, a novel aggregated pyramid attention network (APANet) is developed for further releasing the limitation of both intra-class inconsistency and inter-class indistinction. The APANet can combine low-level spatial details and high-level contextual information via encoder-decoder structure for further refining semantic representations. Finally, our proposed APANet is greatly demonstrated on two public mammographic databases including the DDSM-BCRP and INbreast, separately achieving the Dice Similarity Coefficient (DSC) of 91.04% and 94.02%.

     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

3D-BSNet:双边特征和相似度量的点云实例分割网络

针对现有的三维分割方法在挖掘点云特征时,会忽略几何特征有效利用的问题,提出双边特征和相似度量的点云实例分割网络3D-BSNet（3D-bilateral feature and similarity measure network）。该网络主要由双边特征学习和轻量级相似度量两部分组成。首先提出一种包含基于子流形稀疏卷积的3D-UNet和多层感知机的双边特征提取模块,用于提取经过体素化处理的点云数据的语义特征和几何特征;然后设计一种结合通道维度和空间维度的双边注意力机制,用于减少双边特征聚合过程中产生的信息损失;最后开发一种轻量级相似度量模块,获取高维嵌入特征空间中邻近点云之间的相似性,并生成细粒度实例分割结果。实验表明,3D-BSNet在S3DIS和Scannet（v2）数据集上的多指标综合表现优越,其中在Scannet（v2）上的平均精确率比 SSTNet 提高了3.3%,有效提高了室内场景三维实例分割的精度。     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

结合上下文编码与特征融合的SAR图像分割

目的 图像分割的中心任务是寻找更强大的特征表示,而合成孔径雷达(synthetic aperture radar, SAR)图像中斑点噪声阻碍特征提取。为加强对SAR图像特征的提取以及对特征充分利用,提出一种改进的全卷积分割网络。方法 该网络遵循编码器—解码器结构,主要包括上下文编码模块和特征融合模块两部分。上下文编码模块(contextual encoder module, CEM)通过捕获局部上下文和通道上下文信息增强对图像的特征提取;特征融合模块(feature fusion module, FFM)提取高层特征中的全局上下文信息,将其嵌入低层特征,然后将增强的低层特征并入解码网络,提升特征图分辨率恢复的准确性。结果 在两幅真实SAR图像上,采用5种基于全卷积神经网络的分割算法作为对比,并对CEM与CEM-FFM分别进行实验。结果显示,该网络分割结果的总体精度(overall accuracy, OA)、平均精度(average accuracy, AA)与Kappa系数比5种先进算法均有显著提升。其中,网络在OA上表现最好,CEM在两幅SAR图像上OA分别为91.082%和90...     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法.该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征...     

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。     

结合超像素分割的多尺度特征融合图像语义分割算法

深度学习的发展加快了图像语义分割的研究.目前,最有效的图像语义分割研究方法大部分都是基于全卷积神经网络(FCNN),尽管现有的语义分割方法能有效地对图像进行整体分割,但对于图像中的重叠遮挡物体不能清晰地识别出边缘信息,也不能有效地融合图像高低层的特征信息.针对以上问题,在采用FCNN来解决图像语义分割问题的基础上,利用...