显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.     

基于Mobile U-Net的多目标(行人)检测算法

目标检测是指对图像或视频进行特征提取与分析,确定目标在图像中的位置信息,并能准确进行分类的一类算法。提出的Mobile U-Net是一种新型的无锚点的多目标检测算法,将语义分割问题转换成目标检测问题,并在分割网络U-Net网络的基础上,结合MobileNetV2,既保证了精度,又在满足了实时性。实采的视频数据上测试显示,在CPU i5-82501.8GHz硬件平台上的平均速度能达到17.38fps。     

基于可变形卷积技术的街景图像语义分割算法

目前图像语义分割算法中可能会出现分割图像的不连续与细尺度目标丢失的缺陷,故提出可变形卷积融合增强图像的语义分割算法。算法集HRNet网络框架、Xception Module以及可变形的卷积于一体,用轻量级Xception Module优化HRNet原先存在的Bottleneck模块,同时在网络的第一阶段串联融合可变形卷积,通过建立轻量级融合加强网络从而增强针对细尺度目标特征物的辨识精度,从而使得该轻量级融合增强网络在粗尺度目标物被分割时取得相对多的细尺度目标的语义特征信息,进一步缓解语义分割图像的不连续与细尺度的目标丢失。使用Cityscapes数据集,实验结果可以说明,优化后的算法对于细尺度目标分割精度得到了显著的增强,同时解决了图像语义分割导致的分割不连续的问题。然后进行实验使用的是公开数据集PASCAL VOC 2012,实验进一步的验证了优化算法的鲁棒性以及泛化能力。     

基于神经网络的遥感图像海陆语义分割方法

针对海陆语义分割中陆地、码头形状多样,背景目标复杂等情况造成的像素分类错误、边界分割模糊等问题,提出了一种新的基于深度卷积神经网络的遥感图像海陆语义分割方法。该方法以端对端的训练方式实现了对目标的逐像素分类,为了解决海陆分割中像素分类错误,设计以不同尺度图像为输入的三个并行的编码结构,通过融合不同尺度的特征图,丰富特征代表算子的语义信息,增大像素分类准确率。为了解决海陆分割中边界分割模糊,通过设计能够融合编码结构中低层精细位置信息的解码结构,对特征图进行更加精确的上采样,恢复像素的密集位置信息,提高海陆分割准确度。为有效验证所提网络框架的优势,构建了海陆分割数据集HRSC2016-SL进行算法性能比较。与最新的语义分割算法相比,所提算法取得了更好的分割结果。     

深度卷积神经网络图像实例分割方法研究进展

图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展.实例分割任务实际上是目标检测和语义分割两项任务的结合,可以在像素层面完成识别图像中目标轮廓的任务.实例分割不仅可以定位图像中目标的位置,从像素层面上分割所有目标...     

时序特征融合的视频实例分割

目的 随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质量存在不小差距,这使得对视频数据的实例分割难度较大。目前的视频实例分割框架大多依靠图像检测方法直接处理单帧图像,通过关联匹配组成同一目标的掩膜序列,缺少对视频困难场景的特定处理,忽略对视频时序信息的利用。方法 本文设计了一种基于时序特征融合的多任务学习视频实例分割模型。针对普通视频图像质量较差的问题,本模型结合特征金字塔和缩放点积注意力机制,在时间上把其他帧检测到的目标特征加权聚合到当前图像特征上,强化了候选目标的特征响应,抑制背景信息,然后通过融合多尺度特征丰富了图像的空间语义信息。同时,在分割网络模块增加点预测网络,提升了分割准确度,通过多任务学习的方式实现端到端的视频物体同时检测、分割和关联跟踪。结果 在YouTube-VIS验证集上的实验表明,与现有方法比较,本文方法在视频实例分割任务上平均精度均值提高了2%左右。对比实验结果证明提出的时序特征融合模块改善了视频分割的效果。结论 针对当前视频实例分割工作存在的忽略对视频时序上下文信息的利用,缺少对视频困难场景进行处理的问题,本文提出融合时序特征的多任务学习视频实例分割模型,提升对视频中物体的分割效果。     

结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络。整个网络由边缘检测网络和语义分割网络并行组成。利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果。在CamVid数据集和Cityscapes数据集上的实验结果表明,与SegNet算法相比,该算法平均交并比分别提升了1.5和1.8个百分点,验证了所提算法的有效性。     

多尺度融合增强的图像语义分割算法

针对现有的图像语义分割算法存在小尺度目标丢失和分割不连续的问题,提出多尺度融合增强的图像语义分割算法,该算法在DeeplabV3+网络模型的基础上,通过构建多尺度特征提取和融合增强网络提高了对小目标特征的描述能力,使网络在分割大目标的同时也能获得小目标的特征信息,从而解决了语义分割时小尺度目标丢失和分割不连续的问题。在Cityscapes数据集上实验的结果表明,改进后的算法明显提升了小目标分割精度,解决了分割不连续的问题。最后在公开数据集PASCAL VOC 2012上进一步验证了改进算法的泛化性。     

基于注意力机制的SOLOA船舶实例分割算法北大核心CSCD

目前,可见光船舶图像的实例分割仍然是较有挑战性的工作。由于船舶图像场景复杂多变,多数实例分割算法无法对复杂场景下的船舶图像进行有效分割。本文提出了基于注意力机制的依靠位置分割目标(attention based segmenting objects by locations,SOLOA)船舶实例分割算法,针对网络特征图里实例信息不完善、背景干扰较多的问题,使用空间注意力机制来充分利用分类特征中的实例信息,建模图像实例间的相互关系并与分割特征相融合。实验结果表明,在新构建的船舶图像数据集上进行训练和测试,改进的网络模型能有效地增强网络特征中的实例信息、减弱背景的干扰。SOLOA算法的船舶实例分割准确率高于其他算法,可以很好地适应复杂场景下的船舶分割需求。     

深度学习的图像实例分割方法综述

实例分割是一项具有挑战性的任务,需要同时进行实例级和像素级的预测,在自动驾驶、视频分析、场景理解等方面应用广泛.近年来,基于深度学习的实例分割方法迅速发展,如两阶段检测器Faster R-CNN扩展出的聚焦于网络的精度而非速度的强大实例分割基准Mask R-CNN,一度成为实例分割的标杆.利用高速检测的单阶段检测器延伸出的实例分割算法YOLACT填补了实时实例分割模型的空白,具有较高的研究和应用价值.本文首先对实例分割算法进行了类别划分,然后对一些代表性的算法及其改进算法进行了深入分析,并阐述了相关算法的优缺点,最后对实例分割方法未来的发展进行了展望.     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

注意力残差多尺度特征增强的显著性实例分割

显著性实例分割是指分割出图像中最引人注目的实例对象。现有的显著性实例分割方法中存在 较小显著性实例不易检测分割,以及较大显著性实例分割精度不足等问题。针对这 2 个问题,提出了一种新的 显著性实例分割模型,即注意力残差多尺度特征增强网络(ARMFE)。模型 ARMFE 主要包括 2 个模块：注意力 残差网络模块和多尺度特征增强模块,注意力残差网络模块是在残差网络基础上引入注意力机制,分别从通道 和空间对特征进行选择增强;多尺度特征增强模块则是在特征金字塔基础上进一步增强尺度跨度较大的特征信 息融合。因此,ARMFE 模型通过注意力残差多尺度特征增强,充分利用多个尺度特征的互补信息,同时提升 较大显著性实例对象和较小显著性实例对象的分割效果。ARMFE 模型在显著性实例分割数据集 Salient Instance Saliency-1K (SIS-1K)上进行了实验,分割精度和速度都得到了提升,优于现有的显著性实例分割算法 MSRNet 和 S4Net。     

深度学习在染色体分割中的应用综述

染色体分析是细胞遗传学研究的基本方法,被广泛地应用在遗传疾病筛查和产前诊断中,能有效地避免重度缺陷患儿的出生,对优生优育有着积极意义.染色体分割是染色体核型分析中最为关键的一步,其目标是将染色体实例从细胞分裂中期的显微镜图像中分割出来.在实际染色体分割应用中,由于染色体实例之间极其容易发生重叠和交叉的现象,给染色体分割...     

利用可分离卷积和多级特征的实例分割

实例分割是一项具有挑战性的任务,它不仅需要每个实例的边界框,而且需要精确的像素级分割掩码.最近提出的端到端的全卷积实例感知分割网络（FCIS）在检测与分割的结合方面做得很好.但是,FCIS没有利用低层特征,而低层次的特征信息在检测和分割上都证明是有用的.在FCIS的基础上,提出了一种新的模型,充分利用了各层次的特征,并对实例分割模块进行了优化.该方法在检测分支中使用了具有大型卷积核的可分离卷积来获得更精确的边界框.同时,设计了一个包含边界细化操作的分割模块,以获得更精确的掩模.此外,将Resnet-101网络中的低级、中级和高级特征组合成4个不同级别的新特征,每个新特征都被用于生成实例的掩码.这些掩码被相加之后通过进一步细化以产生最终的最精确的掩模.通过这3项改进,实验结果表明,该方法明显优于基线方法FCIS,相比于FCIS,该方法在PASCAL VOC数据集上的评测指标mAP^r@0.5和mAP^r@0.7分别提高了4.9%和5.8%.     

基于类别不平衡数据集的图像实例分割方法

随着深度学习在计算机视觉领域取得重大进展,包含多种类别的数据集不断被提出,但由于自然采集的数据集往往存在类别不平衡并呈现长尾分布的情况,导致稀有类的数据特征被频繁类的数据特征所抑制,从而严重影响模型的检测性能。为解决上述问题,提出一种新的图像实例分割方法。采用长尾实例分割数据集进行研究实验,使用基于目标尺度的数据增广方法对数据集进行处理,以达到扩充训练样本的目的,增加稀有类的目标数量,同时对稀有类数据进行重采样,解决稀有类的类别数据量过小的问题,提升模型在长尾数据集的鲁棒性。在此基础上,将均等化损失函数融入Mask R-CNN实例分割网络,以降低频繁类的数据特征对稀有类数据特征的抑制性。实验结果表明,该方法在LVIS实例分割数据集上的检测精度提升了4.9%,达到了25.7%,同时AP_r、AP_c、AP_f分别达到了16.2%、26.1%、30.4%,相比Baseline方法均有明显提升,在消融实验上的结果也表明该方法能有效解决长尾类问题。     

视觉弱监督学习研究进展

视觉理解,如物体检测、语义和实例分割以及动作识别等,在人机交互和自动驾驶等领域中有着广泛的应用并发挥着至关重要的作用。近年来,基于全监督学习的深度视觉理解网络取得了显著的性能提升。然而,物体检测、语义和实例分割以及视频动作识别等任务的数据标注往往需要耗费大量的人力和时间成本,已成为限制其广泛应用的一个关键因素。弱监督学习作为一种降低数据标注成本的有效方式,有望对缓解这一问题提供可行的解决方案,因而获得了较多的关注。围绕视觉弱监督学习,本文将以物体检测、语义和实例分割以及动作识别为例综述国内外研究进展,并对其发展方向和应用前景加以讨论分析。在简单回顾通用弱监督学习模型,如多示例学习(multiple instance learning, MIL)和期望—最大化(expectation-maximization, EM)算法的基础上,针对物体检测和定位,从多示例学习、类注意力图机制等方面分别进行总结,并重点回顾了自训练和监督形式转换等方法;针对语义分割任务,根据不同粒度的弱监督形式,如边界框标注、图像级类别标注、线标注或点标注等,对语义分割研究进展进行总结分析,并主要回顾了基于图像级别类别...     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

基于分组卷积进行特征融合的全景分割算法

针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法.首先,通过自底向上的方式选择经典残差网络结构(ResNet)进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作(ASPP)对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路...