基于递归切片网络的三维点云语义分割与实例分割

目的 针对三维点云语义与实例分割特征点提取精度不高、实例分割精度极度依赖语义分割的性能、在密集场景或小单元分割目标中出现语义类别错分以及实例边缘模糊等问题,提出了基于递归切片网络的三维点云语义分割与实例分割网络。方法 网络对输入点云进行切片,并将无序点云映射到有序序列上;利用双向长短期记忆网络（bidirectional long short-term memory,BiLSTM）得到带有局部特征和全局特征的编码特征矩阵;将编码特征矩阵解码为两个并行分支,进行多尺度的特征融合;对语义与实例特征进行融合,得到并行的语义与实例分割网络。结果 在斯坦福大尺度3D室内场景数据集（Stanford large-scale 3D indoor spaces dataset,S3DIS）以及ShapeNet数据集上,与目前最新点云分割方法进行实验对比。实验结果表明,在S3DIS数据集上,本文算法的语义分割的平均交并比指标为73%,较动态核卷积方法（position adaptive convolution,PAConv）提高7.4%,并且在13个类别中的8个类别取得最好成绩;实例分割中平均实例覆盖率指标为67.7%。在ShapeNet数据集上,语义分割的平均交并比为89.2%,较PAConv算法提高4.6%,较快速、鲁棒的点云语义与实例分割方法（fast and robust joint semantic-instance segmentation,3DCFS）提高1.6%。结论 本文提出的语义与实例分割融合网络,综合了语义分割与实例分割的优点,有效提高语义分割与实例分割精度。     

结合特征图切分的图像语义分割

目的 基于全卷积神经网络的图像语义分割研究已成为该领域的主流研究方向。然而,在该网络框架中由于特征图的多次下采样使得图像分辨率逐渐下降,致使小目标丢失,边缘粗糙,语义分割结果较差。为解决或缓解该问题,提出一种基于特征图切分的图像语义分割方法。方法 本文方法主要包含中间层特征图切分与相对应的特征提取两部分操作。特征图切分模块主要针对中间层特征图,将其切分成若干等份,同时将每一份上采样至原特征图大小,使每个切分区域的分辨率增大;然后,各个切分特征图通过参数共享的特征提取模块,该模块中的多尺度卷积与注意力机制,有效利用各切块的上下文信息与判别信息,使其更关注局部区域的小目标物体,提高小目标物体的判别力。进一步,再将提取的特征与网络原输出相融合,从而能够更高效地进行中间层特征复用,对小目标识别定位、分割边缘精细化以及网络语义判别力有明显改善。结果 在两个城市道路数据集CamVid以及GATECH上进行验证实验,论证本文方法的有效性。在CamVid数据集上平均交并比达到66.3%,在GATECH上平均交并比达到52.6%。结论 基于特征图切分的图像分割方法,更好地利用了图像的空间区域分布信息,增强了网络对于不同空间位置的语义类别判定能力以及小目标物体的关注度,提供更有效的上下文信息和全局信息,提高了网络对于小目标物体的判别能力,改善了网络整体分割性能。     

结合语义分割与模型匹配的室内场景重建方法

目的 由于室内点云场景中物体的密集性、复杂性以及多遮挡等带来的数据不完整和多噪声问题,极大地限制了室内点云场景的重建工作,无法保证场景重建的准确度。为了更好地从无序点云中恢复出完整的场景,提出了一种基于语义分割的室内场景重建方法。方法 通过体素滤波对原始数据进行下采样,计算场景三维尺度不变特征变换（3D scale-invariant feature transform,3D SIFT）特征点,融合下采样结果与场景特征点从而获得优化的场景下采样结果;利用随机抽样一致算法（random sample consensus,RANSAC）对融合采样后的场景提取平面特征,将该特征输入PointNet网络中进行训练,确保共面的点具有相同的局部特征,从而得到每个点在数据集中各个类别的置信度,在此基础上,提出了一种基于投影的区域生长优化方法,聚合语义分割结果中同一物体的点,获得更精细的分割结果;将场景物体的分割结果划分为内环境元素或外环境元素,分别采用模型匹配的方法、平面拟合的方法从而实现场景的重建。结果 在S3DIS （Stanford large-scale 3D indoor space dataset）数据集上进行实验,本文融合采样算法对后续方法的效率和效果有着不同程度的提高,采样后平面提取算法的运行时间仅为采样前的15%;而语义分割方法在全局准确率（overall accuracy,OA）和平均交并比（mean intersection over union,mIoU）两个方面比PointNet网络分别提高了2.3%和4.2%。结论 本文方法能够在保留关键点的同时提高计算效率,在分割准确率方面也有着明显提升,同时可以得到高质量的重建结果。     

特征注意金字塔调制网络的视频目标分割

目的 视频目标分割是在给定第1帧标注对象掩模条件下,实现对整个视频序列中感兴趣目标的分割。但是由于分割对象尺度的多样性,现有的视频目标分割算法缺乏有效的策略来融合不同尺度的特征信息。因此,本文提出一种特征注意金字塔调制网络模块用于视频目标分割。方法 首先利用视觉调制器网络和空间调制器网络学习分割对象的视觉和空间信息,并以此为先验引导分割模型适应特定对象的外观。然后通过特征注意金字塔模块挖掘全局上下文信息,解决分割对象多尺度的问题。结果 实验表明,在DAVIS 2016数据集上,本文方法在不使用在线微调的情况下,与使用在线微调的最先进方法相比,表现出更具竞争力的结果,J-mean指标达到了78.7%。在使用在线微调后,本文方法的性能在DAVIS 2017数据集上实现了最好的结果,J-mean指标达到了68.8%。结论 特征注意金字塔调制网络的视频目标分割算法在对感兴趣对象分割的同时,针对不同尺度的对象掩模能有效结合上下文信息,减少细节信息的丢失,实现高质量视频对象分割。     

顾及目标关联的自然场景文本检测

目的 目前基于卷积神经网络（CNN）的文本检测方法对自然场景中小尺度文本的定位非常困难。但自然场景图像中文本目标与其他目标存在很强的关联性,即自然场景中的文本通常伴随特定物体如广告牌、路牌等同时出现,基于此本文提出了一种顾及目标关联的级联CNN自然场景文本检测方法。方法 首先利用CNN检测文本目标及包含文本的关联物体目标,得到文本候选框及包含文本的关联物体候选框;再扩大包含文本的关联物体候选框区域,并从原始图像中裁剪,然后以该裁剪图像作为CNN的输入再精确检测文本候选框;最后采用非极大值抑制方法融合上述两步生成的文本候选框,得到文本检测结果。结果 本文方法能够有效地检测小尺度文本,在ICDAR-2013数据集上召回率、准确率和F值分别为0.817、0.880和0.847。结论 本文方法顾及自然场景中文本目标与包含文本的物体目标的强关联性,提高了自然场景图像中小尺度文本检测的召回率。     

融合分割先验的多图像目标语义分割

目的 在序列图像或多视角图像的目标分割中，传统的协同分割算法对复杂的多图像分割鲁棒性不强，而现有的深度学习算法在前景和背景存在较大歧义时容易导致目标分割错误和分割不一致。为此，提出一种基于深度特征的融合分割先验的多图像分割算法。方法 首先，为了使模型更好地学习复杂场景下多视角图像的细节特征，通过融合浅层网络高分辨率的细节特征来改进PSPNet-50网络模型，减小随着网络的加深导致空间信息的丢失对分割边缘细节的影响。然后通过交互分割算法获取一至两幅图像的分割先验，将少量分割先验融合到新的模型中，通过网络的再学习来解决前景/背景的分割歧义以及多图像的分割一致性。最后通过构建全连接条件随机场模型，将深度卷积神经网络的识别能力和全连接条件随机场优化的定位精度耦合在一起，更好地处理边界定位问题。结果 本文采用公共数据集的多图像集进行了分割测试。实验结果表明本文算法不但可以更好地分割出经过大量数据预训练过的目标类，而且对于没有预训练过的目标类，也能有效避免歧义的区域分割。本文算法不论是对前景与背景区别明显的较简单图像集，还是对前景与背景颜色相似的较复杂图像集，平均像素准确度（PA）和交并比（IOU）均大于95%。结论 本文算法对各种场景的多图像分割都具有较强的鲁棒性，同时通过融入少量先验，使模型更有效地区分目标与背景，获得了分割目标的一致性。     

结合全卷积神经网络的室内场景分割

目的 视觉假体通过向盲人体内植入电极刺激视神经产生光幻视,盲人所能感受到的物体只是大体轮廓,对物体识别率低,针对视觉假体中室内应用场景的特点,提出一种快速卷积神经网络图像分割方法对室内场景图像进行分割,通过图像分割技术把物品大致的位置和轮廓显示出来,辅助盲人识别。方法 构建了用于室内场景图像分割的FFCN（fast fully convolutional networks）网络,通过层间融合的方法,避免连续卷积对图像特征信息的损失。为了验证网络的有效性,创建了室内环境中的基本生活物品数据集（以下简称XAUT数据集）,在原图上通过灰度标记每个物品的类别,然后附加一张颜色表把灰度图映射成伪彩色图作为语义标签。采用XAUT数据集在Caffe（convolutional architecture for fast feature embedding）框架下对FFCN网络进行训练,得到适应于盲人视觉假体的室内场景分割模型。同时,为了对比模型的有效性,对传统的多尺度融合方法FCN-8s、FCN-16s、FCN-32s等进行结构微调,并采用该数据集进行训练得到适用于室内场景分割的相应算法模型。结果 各类网络的像素识别精度都达到了85%以上,均交并比（MIU）均达到60%以上,其中FCN-8s at-once网络的均交并比最高,达到70.4%,但其分割速度仅为FFCN的1/5。在其他各类指标相差不大的前提下,FFCN快速分割卷积神经网络上平均分割速度达到40帧/s。结论 本文提出的FFCN卷积神经网络可以有效利用多层卷积提取图像信息,避免亮度、颜色、纹理等底层信息的影响,通过尺度融合技术可以很好地避免图像特征信息在网络卷积和池化中的损失,相比于其他FCN网络具有更快的速度,有利于提高图像预处理的实时性。     

互注意力机制驱动的轻量级图像语义分割网络

目的 在图像语义分割中,细节特征和语义特征的融合是该领域的一个难点。一些在特定网络架构下设计的专用融合模块缺乏可扩展性和普适性,自注意力虽然可以实现全局的信息捕获,但不能实现不同特征的融合,其他的注意力机制在进行掩码计算时缺少可解释性。本文根据特征图之间的关联度进行建模,提出一种互注意力机制驱动的分割模块。方法 该模块获取不同阶段的细节特征图和语义特征图,建立细节特征图上任一点和语义特征图之间的关联模型,并在关联模型的指导下对语义特征图上的特征进行聚合,作为细节特征图上该特征点的补充,从而将语义特征图上的信息融合到细节特征图上,并进一步采用相同的操作将细节特征图上的信息融合到语义特征图上,实现来自不同阶段特征图的相互融合。结果 选取5个语义分割模型进行实验,实验结果表明,在使用替换方式对BiSeNet V2（bilateral segmentation network）进行修改之后,浮点运算量、内存占用量和模型参数数量分别下降了8.6%,8.5%和2.6%,但是平均交并比却得到了提升。在使用插入方式对另外4个网络进行修改后,所有网络的平均交并比全部得到了不同程度的提高。结论 本文提出的互注意力模块可普遍提升模型的语义分割准确度,实现不同网络模型的即插即用,具有较高的普适性。     

融合外观和运动特征的在线目标分割

目的 视频中的目标分割是计算机视觉领域的一个重要课题,有着极大的研究和应用价值。为此提出一种融合外观和运动特征的在线自动式目标分割方法。方法 首先,融合外观和运动特征进行目标点估计,结合上一帧的外观模型估计出当前帧的外观模型。其次,以超像素为节点构建马尔可夫随机场模型,结合外观模型和位置先验把分割问题转化为能量最小化问题,并通过Graph Cut进行优化求解。结果 最后,在两个数据集上与5种标准方法进行了对比分析,同时评估了本文方法的组成成分。本文算法在精度上至少比其他的目标分割算法提升了44.8%,且具有较高的分割效率。结论 本文通过融合外观与运动特征实现在线的目标分割,取得较好的分割结果,且该方法在复杂场景中也具有较好的鲁棒性。     

DeepLabv3plus-IRCNet：小目标特征提取的图像语义分割

目的 为了解决经典卷积神经网络无法满足图像中极小目标特征提取的准确性需求问题,本文基于DeepLabv3plus算法,在下采样过程中引入特征图切分模块,提出了DeepLabv3plus-IRCNet（IR为倒置残差（inverted residual,C为特征图切分（feature map cut））图像语义分割方法,支撑图像极小目标的特征提取。方法 采用由普通卷积层和多个使用深度可分离卷积的倒置残差模块串联组成的深度卷积神经网络提取特征,当特征图分辨率降低到输入图像的1/16时,引入特征图切分模块,将各个切分特征图分别放大,通过参数共享的方式提取特征。然后,将每个输出的特征图进行对应位置拼接,与解码阶段放大到相同尺寸的特征图进行融合,提高模型对小目标物体特征的提取能力。结果 本文方法引入特征图切分模块,提高了模型对小目标物体的关注,充分考虑了图像上下文信息,对多个尺度下的各个中间层特征进行融合,提高了图像分割精度。为验证方法的有效性,使用CamVid（Cambridge-driving labeled video database）数据集对提出的方法进行验证,平均交并比（mean intersection over union,mIoU）相对于DeepLabv3plus模型有所提升。验证结果表明了本文方法的有效性。结论 本文方法充分考虑了图像分割中小目标物体的关注度,提出的DeepLabv3plus-IRCNet模型提升了图像分割精度。     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

全景分割研究综述

在计算机视觉领域, 全景分割是一个新颖且重要的研究主题, 它是机器感知、自动驾驶等新兴前沿技术的基石, 具有十分重要的研究意义. 本文综述了基于深度学习的全景分割研究的最新进展, 首先总结了全景分割任务的基本处理流程, 然后对已发表的全景分割工作基于其网络结构特点进行分类, 并进行了全面的介绍与分析, 最后对全景分割任务目前面临的问题以及未来的发展趋势做出了分析, 并针对所面临的问题提出了一些切实可行的解决思路.     

基于深度学习的实例分割研究进展

目标检测确定检测图像中目标对象所在区域及其类别,语义分割对检测图像实现像素级分类,实例分割可以定义为同时解决目标检测与语义分割问题,在分类的同时确定每个目标实例语义。实例分割网络在无人机驾驶、机器人抓取、工业筛检等领域具有重要应用意义,针对目前基于深度学习实例分割综述性文章的空白,对实例分割进展进行概述,按照单阶段实例分割与双阶段实例分割的分类对不同网络模型进行论述,重点介绍近两年网络框架的发展,总结各网络特点的同时提出未来发展方向。     

深度学习在染色体分割中的应用综述

染色体分析是细胞遗传学研究的基本方法,被广泛地应用在遗传疾病筛查和产前诊断中,能有效地避免重度缺陷患儿的出生,对优生优育有着积极意义。染色体分割是染色体核型分析中最为关键的一步,其目标是将染色体实例从细胞分裂中期的显微镜图像中分割出来。在实际染色体分割应用中,由于染色体实例之间极其容易发生重叠和交叉的现象,给染色体分割带来巨大的挑战。随着深度学习技术在图像分割领域的快速发展,基于深度学习技术的算法和模型被广泛地应用于染色体分割任务中。分析了目前染色体分割领域的研究问题和挑战,并总结了现有的数据集和评价指标。重点综述基于深度学习技术在染色体分割领域中的研究,包括基于语义分割网络的重叠染色体分割的相关研究和基于实例分割网络的染色体实例分割的相关研究。对深度学习技术在染色体实例分割领域的研究现状进行总结和展望。     

深度学习的图像实例分割方法综述

实例分割是一项具有挑战性的任务,需要同时进行实例级和像素级的预测,在自动驾驶、视频分析、场景理解等方面应用广泛.近年来,基于深度学习的实例分割方法迅速发展,如两阶段检测器Faster R-CNN扩展出的聚焦于网络的精度而非速度的强大实例分割基准Mask R-CNN,一度成为实例分割的标杆.利用高速检测的单阶段检测器延伸出的实例分割算法YOLACT填补了实时实例分割模型的空白,具有较高的研究和应用价值.本文首先对实例分割算法进行了类别划分,然后对一些代表性的算法及其改进算法进行了深入分析,并阐述了相关算法的优缺点,最后对实例分割方法未来的发展进行了展望.     

基于卷积神经网络的全景分割Transformer模型

提出一种基于卷积神经网络的Transformer模型来解决全景分割任务,方法借鉴CNN在图像特征学习方面的先天优势,避免了Transformer被移植到视觉任务中所导致的计算量增加.基于卷积神经网络的Transformer模型由执行特征域变换的映射器和负责特征提取的提取器这两种基本结构构成,映射器和提取器的有效结合构成了该模型的网络框架.映射器由一种Lattice卷积模型实现,通过对卷积滤波器进行设计和优化来模拟图像的空间关系.提取器由链式网络实现,通过链式单元堆叠提高特征提取能力.基于全景分割的结构和功能,构建了基于CNN的全景分割Transformer网络.在MS COCO和Cityscapes数据集的实验结果表明,所提方法具有优异的性能.     

基于改进Mask-RCNN的遥感影像建筑物提取

由于遥感影像中建筑物种类繁多且与周围环境信息混淆,传统方法难以实现建筑物的准确高效提取.本文提出了一种基于改进Mask-RCNN的建筑物自动提取方法,利用PyTorch深度学习框架搭建改进Mask-RCNN网络模型架构,在网络的设计中添加了路径聚合网络和特征增强功能,通过监督和迁移学习的方式对Inria航空影像标签数据集进行多线程迭代训练与模型优化学习,实现了建筑物的自动精确分割和提取.基于不同开源数据集,分别与SVM、FCN、U-net和Mask-RCNN等建筑物提取算法进行对比,实验表明,本文方法可以高效准确、高效地提取建筑物,对于同一个数据集,提取结果的mAP、mRecall、mPrecision和F1分数这4个评价指标均优于对比算法.     

基于叶片识别的侵入式室内植物建模

由于室内植物的叶片存在大量自遮挡,为了得到植物的完整三维信息,往往需要用户手动裁剪、扫描和配准叶片.针对该问题,提出了利用实例分割网络进行叶片识别并选取被裁剪叶片的方法.通过总结植物叶片形状与分布特征,建立虚拟植物模型,渲染大量带叶片轮廓信息的图片来训练实例分割网络,避免了耗费大量精力标注真实植物叶片.进一步提出了自动化建模系统,根据单个视角下观察到的植物图像自动选择被裁剪的叶片,并获得该叶片的三维模型;调整相机位置让更多的叶片被检测到并剪掉,以恢复植物的三维信息.使用该系统对绿萝叶片、鸭脚木和花烛3种虚拟植物进行了测试,并评估重建的整株植物重合度、叶片重合度和叶片占比,结果显示使用本文方法重建的植物模型能更完整地恢复原始植物的三维信息.     

利用可分离卷积和多级特征的实例分割

实例分割是一项具有挑战性的任务,它不仅需要每个实例的边界框,而且需要精确的像素级分割掩码.最近提出的端到端的全卷积实例感知分割网络（FCIS）在检测与分割的结合方面做得很好.但是,FCIS没有利用低层特征,而低层次的特征信息在检测和分割上都证明是有用的.在FCIS的基础上,提出了一种新的模型,充分利用了各层次的特征,并对实例分割模块进行了优化.该方法在检测分支中使用了具有大型卷积核的可分离卷积来获得更精确的边界框.同时,设计了一个包含边界细化操作的分割模块,以获得更精确的掩模.此外,将Resnet-101网络中的低级、中级和高级特征组合成4个不同级别的新特征,每个新特征都被用于生成实例的掩码.这些掩码被相加之后通过进一步细化以产生最终的最精确的掩模.通过这3项改进,实验结果表明,该方法明显优于基线方法FCIS,相比于FCIS,该方法在PASCAL VOC数据集上的评测指标mAP^r@0.5和mAP^r@0.7分别提高了4.9%和5.8%.