基于卷积神经网络的全景分割Transformer模型

提出一种基于卷积神经网络的Transformer模型来解决全景分割任务,方法借鉴CNN在图像特征学习方面的先天优势,避免了Transformer被移植到视觉任务中所导致的计算量增加.基于卷积神经网络的Transformer模型由执行特征域变换的映射器和负责特征提取的提取器这两种基本结构构成,映射器和提取器的有效结合构成了该模型的网络框架.映射器由一种Lattice卷积模型实现,通过对卷积滤波器进行设计和优化来模拟图像的空间关系.提取器由链式网络实现,通过链式单元堆叠提高特征提取能力.基于全景分割的结构和功能,构建了基于CNN的全景分割Transformer网络.在MS COCO和Cityscapes数据集的实验结果表明,所提方法具有优异的性能.     

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

基于分组卷积进行特征融合的全景分割算法

针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法。首先,通过自底向上的方式选择经典残差网络结构（ResNet）进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作（ASPP）对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路分组卷积上采样方法,整合语义与实例特征进行上采样特征融合至指定大小;最后,通过对语义分支、实例分支以及实例中心点这三个分支进行损失函数运算以得到更加精细的全景分割输出结果。该模型在CityScapes数据集上与注意力引导的联合全景分割网络（AUNet）、全景特征金字塔网络（Panoptic FPN）、亲和金字塔单阶段实例分割算法（SSAP）、联合全景分割网络（UPSNet）、Panoptic-DeepLab等方法进行了实验对比。实验结果表明,与对比方法中表现最好的Panoptic-DeepLab模型相比,所提模型在极大减少了解码网络参数量的情况下,全景分割质量（PQ）值为0.565,仅下降了0.003,在建筑物、火车、自行车等物体的分割质量上有0.3~5.5的提升,平均精确率（AP）、目标IoU阈值超过50%的平均精确率（AP₅₀）分别提升了0.002与0.014,平均交并比（mIoU）值提升了0.06。可见该方法能提升图像全景分割速度,在PG、AP、mIoU三个指标上均有较好的精度,可以有效地完成全景分割任务。     

图像分割技术研究与应用

图像分割是指将一副图像分解为若干互不交叠的有意义且具有相同属性的区域。图像分割是数字图像处理中的一项关键技术,其分割的准确性直接影响后续任务的有效性,因此具有十分重要的意义。现有的分割算法在不同程度上取得了一定的成功,但是图像分割的很多问题还远远没有解决,该方面的研究仍然面临很多挑战。文章分析了现有图像分割的各种算法的特点以及存在的问题,对基于图像分割的经典算法进行改进,实现了一种新的分割方法,并将其应用到机器视觉的相关产品当中,取得了良好的效果。     

基于深度学习的实例分割研究综述

深度学习在计算机视觉领域已经取得很大发展,虽然基于深度学习的实例分割研究近年来才成为研究热点,但其技术可广泛应用在自动驾驶,辅助医疗和遥感影像等领域。实例分割作为计算机视觉的基础问题之一,不仅需要对不同类别目标进行像素级别分割,还要对不同目标进行区分。此外,目标形状的灵活性,不同目标间的遮挡和繁琐的数据标注问题都使实例分割任务面临极大的挑战。本文对实例分割中一些具有价值的研究成果按照两阶段和单阶段两部分进行了系统性的总结,分析了不同算法的优缺点并对比了模型在COCO数据集上的测试性能,归纳了实例分割在特殊条件下的应用,简要介绍了常用数据集和评价指标。最后,对实例分割未来可能的发展方向及其面临的挑战进行了展望。     

基于内容的图像分割方法综述

图像分割是指将图像分成若干具有相似性质的区域的过程,是许多图像处理任务的预处理步骤.近年来,国内外学者主要研究基于图像内容的分割算法.在广泛调研大量文献和最新成果的基础上,将图像分割算法分为基于图论的方法、基于像素聚类的方法和语义分割方法这3种类型并分别介绍.对每类方法所包含的典型算法,尤其是最近几年利用深度网络技术的语义图像分割方法的基本思想、优缺点进行分析、对比和总结.介绍了图像分割常用的基准数据集和算法评价标准,并用实验对各种图像分割算法进行对比.最后总结全文,并对未来可能的发展趋势进行了展望.     

基于递归特征金字塔的UPSNet全景分割应用研究

在学习研究全景分割方法UPSNet时，发现其骨干网络所提取的特征对子网络的分割结果起到了至关重要的影响。针对UPSNet全景分割算法所提取的特征不能更好地适用于语义分割和实例分割子网络的问题，对其进行改进，将递归特征金字塔网络结构融合到原网络中，提出基于递归特征金字塔的UPSNet全景分割改进算法。该结构将骨干网络提取的特征通过递归的方式二次反馈到骨干网络中，使其再训练得到更好的特征提供给子网络，提升了模型的鲁棒性，从而提升了原网络的性能。将改进的算法在Cityscapes数据集及自行标注的全景分割数据集上与UPSNet及其他优秀的全景分割网络进行了实验对比，结果证明，评价指标PQ(Panoptic Quality)有了较大的提升，改进后的网络更加适用于智能驾驶场景。     

实例分割方法研究综述

近年来,随着计算水平的不断提高,基于深度学习的实例分割方法的研究取得了巨大的突破。图像实例分割可以区分图像中同一类的不同实例,是计算机视觉领域的重要研究方向,具有十分广阔的研究前景,在场景理解、医学图像分析、机器视觉、增强现实、图像压缩和视频监控等方面取得了巨大的实际应用价值。近年来,实例分割方法的更新频率越来越高,但目前很少有文献全面系统地分析实例分割相关研究背景。对基于深度学习的图像实例分割方法进行了全面系统的分析与总结,首先,介绍目前实例分割中常用的公共数据集与评价指标,并对现有数据集面临的挑战进行了分析;其次,分别从两阶段分割方法与单阶段分割方法的特性上对实例分割算法进行梳理与总结,阐述其核心思想与设计思路,并对这两类方法的优势与不足进行总结;然后,在公共数据集上评估这些模型的分割精度和速度;最后,总结目前实例分割面临的困难与挑战,以及面对挑战的解决思路,并对未来的研究方向进行展望。     

深度学习在染色体分割中的应用综述

染色体分析是细胞遗传学研究的基本方法,被广泛地应用在遗传疾病筛查和产前诊断中,能有效地避免重度缺陷患儿的出生,对优生优育有着积极意义。染色体分割是染色体核型分析中最为关键的一步,其目标是将染色体实例从细胞分裂中期的显微镜图像中分割出来。在实际染色体分割应用中,由于染色体实例之间极其容易发生重叠和交叉的现象,给染色体分割带来巨大的挑战。随着深度学习技术在图像分割领域的快速发展,基于深度学习技术的算法和模型被广泛地应用于染色体分割任务中。分析了目前染色体分割领域的研究问题和挑战,并总结了现有的数据集和评价指标。重点综述基于深度学习技术在染色体分割领域中的研究,包括基于语义分割网络的重叠染色体分割的相关研究和基于实例分割网络的染色体实例分割的相关研究。对深度学习技术在染色体实例分割领域的研究现状进行总结和展望。     

基于模糊集理论的医学图像分割的应用

图像分割是医学图像处理、分析、研究的基础.由于人的视觉特性和数字图像本身所具有的模糊性,使得图像分割问题是典型的结构不良问题.而模糊集合论具有描述不良问题的能力,模糊集理论应用于图像分割是针对图像模糊性非常有效的方法.对近年来基于模糊集理论的医学图像分割技术的应用和发展进行了综述和讨论,展望了基于模糊集理论的医学图像分割技术的前景和面临的挑战.     

文本分割综述

文本分割在信息提取、文摘生成、语篇解析及其他多个领域有着极为重要的应用。文本分割的对象包括静态书面文本、语音文本以及动态文本等;分割的粒度因分割的目的不同而有所区别;分割的准确性不仅需要直接评测,更需要间接评测。在大量文献的基础上,对目前常用的分割方法及评测手段进行了全面的归纳和总结,分析了文本分割技术的研究现状,指出尚存在的问题并展望研究前景。     

视频分割技术的发展

随着MPEG－4和MPEG－7的研究发展以及最近几年数字视频图书馆技术的崛起,基于内容编码和面向对象的存取和操纵技术日益受到人们的重视,视频分割技术迅速成为当前视频研究领域的热点。视频分割是新一代视频编码、视频检索、互联网多媒体交互等新兴领域的关键技术。介绍了视频分割的主要技术,对其算法和性能进行了比较和评述,并分析了当前视频分割技术的研究现状、尚存在的问题和研究前景。     

图像分割方法综述研究

图像分割是计算机视觉领域重要和基础性的问题,也是颇具挑战性的任务。为了解该问题的研究现状、存在问题及发展前景,在广泛调研现有文献和最新成果的基础上,针对2000年之后主流的图像分割方法进行了研究,将之分为四类：基于图论的方法、基于聚类的方法、基于分类的方法以及结合聚类和分类的方法,对每类方法所包含的典型算法,尤其是该领域最近几年发表的最新文章的基本思想、优缺点进行介绍和分析。最后介绍了图像分割常用的基准数据集和算法评价指标,对比各种算法并总结全文,对未来可能的发展趋势进行了展望。     

图像分割新方法综述

图像分割是图像处理与计算机视觉的基本问题之一,是图像处理到图像分析的关键步骤.随着越来越多人的研究,近年来涌现了许多新理论、新方法.但是没有一种方法能满足所有图像分割领域.在总结国内外最近几年相关学者的论文及其著作的基础上,对图像分割方法进行分类和讨论.在综述其相关方法的同时阐述每类分割方法的特点,对其它研究者在分割方法的选择上有一定的指导作用.     

基于对象的视频图象分割技术

随着“流媒体”技术应用的发展和 MPEG- 4基于内容的功能的提出 ,视频图象处理领域中 ,基于对象的分割技术已成为该领域的研究热点 .如今视频分割研究已由基于镜头的分割发展到了通过提取视频对象面 ,来分割出视频对象的阶段 ,但目前基于对象的分割研究仍处于起步阶段 ,技术还很不成熟 .为了推动该技术进一步发展 ,在深入分析分割问题本质的基础上 ,首先提出从分割所利用的信息角度出发来进行分割的技术 ;然后针对分割技术的发展趋势 ,深入介绍了该研究领域国内外的最新研究算法 ,并分析了各方法技术的贡献和不足 ;最后提出了一些分割技术值得进一步深入探讨的问题和研究方向     

基于内容的视频分割技术研究

随着MPEG-4基于内容功能的提出以及MPEG-7标准的不断推广应用,视频对象分割技术已成为视频处理领域中的研究热点。视频对象分割就是从视频序列中分割出在语义上有意义的对象。目前对视频分割研究已从基于镜头的分割发展到了基于内容的视频对象分割。然而,基于内容的视频对象分割技术还不成熟。文中讨论了视频对象分割技术的发展和研究状况,从组成视频运动对象的分割系统出发,介绍了时域分割以及时空域联合分割等技术,并提出了一种基于多帧差的视频对象分割算法。最后对分割技术中需要深入研究的问题进行了探讨。     

基于深度学习的草图分割算法综述

草图一直是人类传递信息的重要工具之一.草图可以通过简单明了的形式更快地表达人类的一些复杂思想,因此,草图处理算法一直是计算机视觉领域的研究热点之一.目前,对草图的研究主要集中在识别、检索和补全等方面.随着研究者对于草图细粒度操作的重视,对草图分割方面的研究也得到越来越多的关注.近年来,随着深度学习与计算机视觉技术的发展,出现了大量基于深度学习的草图分割方法,草图分割的精确度和效率也都得到了较大提升.但是,由于草图自身的抽象性、稀疏性和多样性,草图分割仍然是一个非常具有挑战性的课题.对基于深度学习的草图分割算法进行整理、分类、分析和总结,首先阐述了3种基本的草图表示方法与常用的草图分割数据集,再按草图分割算法的预测结果分别介绍了草图语义分割、草图感知聚类与草图解析算法,然后在主要的数据集上收集与整理草图分割算法的评测结果并对结果进行分析,最后总结了草图分割相关的应用并探讨未来可能的发展方向.