显著性引导的目标互补隐藏弱监督语义分割

目的 图像级弱监督语义分割方法利用类别标签训练分割网络,可显著降低标注成本。现有方法大多采用类激活图定位目标物体,然而传统类激活图只能挖掘出物体中最具辨识性的区域,直接将其作为伪标签训练的分割网络精度较差。本文提出一种显著性引导的弱监督语义分割算法,可在获取更完整类激活图的基础上提高分割模型的性能。方法 首先通过显著图对目标进行互补随机隐藏,以获得互补图像对,然后融合互补图像对的类激活图作为监督,提高网络获取完整类激活图的能力。其次引入双重注意力修正模块,利用全局信息修正类激活图并生成伪标签训练分割网络。最后使用标签迭代精调策略,结合分割网络的初始预测、类激活图以及显著图生成更精确的伪标签,迭代训练分割网络。结果 在PASCAL VOC 2012（pattern analysis,statistical modeling and computational learning visual object classes2012）数据集上进行类激活图生成实验与语义分割实验,所生成的类激活图更加完整,平均交并比有10.21%的提升。语义分割结果均优于对比方法,平均交并比提升6.9%。此外在COCO2014（common object in context2014）数据集上进行了多目标的语义分割实验,平均交并比提升0.5%。结论 该算法可获得更完整的类激活图,缓解了弱监督语义分割中监督信息不足的问题,提升了弱监督语义分割模型的精度。     

SA-TF-UNet：基于空间注意力机制和Transformer的MRI海马体分割

目的 海马体内嗅皮层的像素体积较小，这些特征给医学影像的分割任务带来很大挑战。综合海马体的形态特点以及医生的分割流程，提出一种新的海马体分割方法，以实现在临床医学影像处理中对海马体的精确分割，辅助阿尔兹海默症的早期诊断。方法 提出一个基于自注意力机制与空间注意力机制的U型网络模型SA-TF-UNet （hippocampus segmentation network based on Transformer and spatial attention mechanisms）。该网络为端到端的预测网络，输入任意大小的3维MRI （magnetic resonance imaging）影像，输出类别标签。SA-TF-UNet采用编码器—解码器结构，编码器采用纯Transformer模块，不包含卷积模块。多头自注意力机制为Transformer模块中的特征提取器，自注意力模块基于全局信息建模，并提取特征。因此，使用Transformer提取特征符合医生分割海马体的基本思路。解码器采用简单的卷积模块进行上采样。使用AG （attention gate）模块作为跳跃连接的方式，自动增加前景的权重，代替了传统网络中的直接连接。为了验证AG的有效性，分别做了只在单层加入AG的实验，与在4层网络中全部加入AG的实验结果进行对比。为了进一步探讨AG模块中门控信号的来源，设计了两个SA-TF-UNet的变体，它们的网络结构中AG门控信号分别为比AG中的特征图深两层的Transformer模块输出和深3层的Transformer模块输出。结果 为了验证SA-TF-UNet在临床数据集中分割海马体的有效性，在由阿尔兹海默症患者的MRI影像组成的脑MRI数据集上进行实验。4层网络全部加入AG，且AG的门控信号是由比AG特征图更深一层的Transformer模块输出的SA-TF-UNet模型分割效果最好。SA-TF-UNet对于左海马体、右海马体的分割Dice系数分别为0.900 1与0.909 1，相较于对比的语义分割网络有显著提升，Dice系数提升分别为2.82%与3.43%。结论 加入空间注意力机制的以纯Transformer模块为编码器的分割网络有效提升了脑部MRI海马体的分割精度。     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

融合改进ASPP和极化自注意力的自底向上全景分割

目的 针对ASPP（atrous spatial pyramid pooling）在空洞率变大时空洞（atrous）卷积效果会变差的情况,以及图像分类经典模型ResNet （residual neural network）并不能有效地适用于细粒度图像分割任务的问题,提出一种基于改进ASPP和极化自注意力的自底向上全景分割方法。方法 重新设计ASPP模块,将小空洞率卷积的输出与原始输入进行拼接（concat）,将得到的结果作为新的输入传递给大空洞率卷积,然后将不同空洞率卷积的输出结果拼接,并将得到的结果与ASPP中的其他模块进行最后拼接,从而改善ASPP中因空洞率变大导致的空洞卷积效果变差的问题,达到既获得足够感受野的同时又能编码多尺度信息的目的;在主干网络的输出后引入改进的极化自注意力模块,实现对图像像素级的自我注意强化,使其得到的特征能直接适用于细粒度像素分割任务。结果 本文在Cityscapes数据集的验证集上进行测试,与复现的基线网络Panoptic-DeepLab（58.26%）相比,改进ASPP模块后分割精度PQ（panoptic quality）（58.61%）提高了0.35%,运行时间从103 ms增加到124 ms,运行速度没有明显变化;通过进一步引入极化自注意力,PQ指标（58.86%）提高了0.25%,运行时间增加到187 ms;通过对该注意力模块进一步改进,PQ指标（59.36%）在58.86%基础上又提高了0.50%,运行时间增加到192 ms,速度略有下降,但实时性仍好于大多数方法。结论 本文采用改进ASPP和极化自注意力模块,能够更有效地提取适合细粒度像素分割的特征,且在保证足够感受野的同时能编码多尺度信息,从而提升全景分割性能。     

基于Transformer的脊椎CT图像分割

目的 脊椎CT（computed tomography）图像存在组织结构显示不佳、对比度差以及噪音干扰等问题;传统分割算法分割精度低,分割过程需人工干预,往往只能实现半自动分割,不能满足实时分割需求。基于卷积神经网络（convolutional neural network,CNN）的U-Net模型成为医学图像分割标准,但仍存在长距离交互受限的问题。Transformer集成全局自注意力机制,可捕获长距离的特征依赖,在计算机视觉领域表现出巨大优势。本文提出一种CNN与Transformer混合分割模型TransAGUNet （Transformer attention gate U-Net）,以实现对脊椎CT图像的高效自动化分割。方法 提出的模型将Transformer、注意力门控机制（attention gate,AG）及U-Net相结合构成编码—解码结构。编码器使用Transformer和CNN混合架构,提取局部及全局特征;解码器使用CNN架构,在跳跃连接部分融入AG,将下采样特征图对应的注意力图（attention map）与下一层上采样后获得的特征图进行拼接,融合低层与高层特征从而实现更精细的分割。实验使用Dice Loss与带权重的交叉熵之和作为损失函数,以解决正负样本分布不均的问题。结果 将提出的算法在VerSe2020数据集上进行测试,Dice系数较主流的CNN分割模型U-Net、Attention U-Net、U-Net++和U-Net3+分别提升了4.47%、2.09%、2.44%和2.23%,相较优秀的Transformer与CNN混合分割模型TransUNet和TransNorm分别提升了2.25%和1.08%。结论 本文算法较以上6种分割模型在脊椎CT图像的分割性能最优,有效地提升了脊椎CT图像的分割精度,分割实时性较好。     

编码—解码结构的语义分割

目的 语义分割是计算机视觉中一项具有挑战性的任务,其核心是为图像中的每个像素分配相应的语义类别标签。然而,在语义分割任务中,缺乏丰富的多尺度信息和足够的空间信息会严重影响图像分割结果。为进一步提升图像分割效果,从提取丰富的多尺度信息和充分的空间信息出发,本文提出了一种基于编码-解码结构的语义分割模型。方法 运用ResNet-101网络作为模型的骨架提取特征图,在骨架末端附加一个多尺度信息融合模块,用于在网络深层提取区分力强且多尺度信息丰富的特征图。并且,在网络浅层引入空间信息捕获模块来提取丰富的空间信息。由空间信息捕获模块捕获的带有丰富空间信息的特征图和由多尺度信息融合模块提取的区分力强且多尺度信息丰富的特征图将融合为一个新的信息丰富的特征图集合,经过多核卷积块细化之后,最终运用数据依赖的上采样（DUpsampling）操作得到图像分割结果。结果 此模型在2个公开数据集（Cityscapes数据集和PASCAL VOC 2012数据集）上进行了大量实验,验证了所设计的每个模块及整个模型的有效性。新模型与最新的10种方法进行了比较,在Cityscapes数据集中,相比于RefineNet模型、DeepLabv2-CRF模型和LRR（Laplacian reconstruction and refinement）模型,平均交并比（mIoU）值分别提高了0.52%、3.72%和4.42%;在PASCAL VOC 2012数据集中,相比于Piecewise模型、DPN（deep parsing network）模型和GCRF（Gaussion conditional random field network）模型,mIoU值分别提高了6.23%、7.43%和8.33%。结论 本文语义分割模型,提取了更加丰富的多尺度信息和空间信息,使得分割结果更加准确。此模型可应用于医学图像分析、自动驾驶、无人机等领域。     

融合注意力机制的对抗式半监督语义分割

图像语义分割任务是计算机视觉领域重要研究课题之一。当前基于全卷积神经网络的语义分割算法存在像素之间缺乏关联性、卷积核感受野小于理论值、人工标记数据集标签成本大等问题。为了解决上述问题,提出了一种融合注意力机制的对抗式半监督语义分割模型。将生成对抗网络应用到图像语义分割中,增强像素点之间的关联性;提出模型在生成网络中加入自注意力模块和多核池化模块以对长距离语义信息进行融合,扩大了卷积核感受野;在PASCAL VOC2012增强数据集和Cityscapes数据集上进行了大量实验,实验结果证明了该方法在图像语义分割任务中的有效性和可靠性。     

轻量级图像超分辨率的蓝图可分离卷积Transformer网络

目的 图像超分辨率重建的目的是将低分辨率图像复原出具有更丰富细节信息的高分辨率图像。近年来,基于Transformer的深度神经网络在图像超分辨率重建领域取得了令人瞩目的性能,然而,这些网络往往参数量巨大、计算成本较高。针对该问题,设计了一种轻量级图像超分辨率重建网络。方法 提出了一种轻量级图像超分辨率的蓝图可分离卷积Transformer网络（blueprint separable convolution Transformer network,BSTN）。基于蓝图可分离卷积（blueprint separable convolution,BSConv）设计了蓝图前馈神经网络和蓝图多头自注意力模块。然后设计了移动通道注意力模块（shift channel attention block,SCAB）对通道重点信息进行加强,包括移动卷积、对比度感知通道注意力和蓝图前馈神经网络。最后设计了蓝图多头自注意力模块（blueprint multi-head self-attention block,BMSAB）,通过蓝图多头自注意力与蓝图前馈神经网络以较低的计算量实现了自注意力过程。结果 本文方法在4个数据集上与10种先进的轻量级超分辨率方法进行比较。客观上,本文方法在不同数据集上取得了不同程度的领先,并且参数量和浮点运算量都处于较低水平。当放大倍数分别为2、3和4时,在Set5数据集上相比SOTA（state-of-theart）方法,峰值信噪比（peak signal to noise ratio,PSNR）分别提升了0.11dB、0.16dB和0.17dB。主观上,本文方法重建图像清晰,模糊区域小,具有丰富的细节。结论 本文所提出的蓝图可分离卷积Transformer网络BSTN以较少的参数量和浮点运算量达到了先进水平,能获得高质量的超分辨率重建结果。     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

细化Transformer网络的弱监督图像语义分割

图像级标签的弱监督图像语义分割方法是目前比较热门的研究方向,类激活图生成方式是最为常用的解决该类问题的主要工作方法。由于类激活图的稀疏性,导致判别区域的准确性降低。针对上述问题,提出了一种改进的Transformer网络弱监督图像学习方法。首先,引入空间注意力交换层来扩大类激活图的覆盖范围;其次,进一步设计了一个注意力自适应模块,来指导模型增强弱区域的类响应;特别地,在类生成过程中,构建了一个自适应跨域来提高模型分类性能。该方法在Pascal VOC 2012 验证集和测试集上分别达到了73.5%和73.0%。实验结果表明,细化Transformer网络学习方法有助于提高弱监督图像的语义分割性能。     

弱监督语义分割的对抗学习方法

大多数弱监督语义分割的解决方案都利用图像级监督信息产生的类激活特征图进行训练学习.类激活特征图只能发现目标最具判别力的部分,它与真实的像素级标签信息存在较大差距,所以训练效果并不理想.对来自原图像及其仿射变化图像的类激活特征图进行对抗学习来达到更好的训练效果.首先将图像及对其进行仿射变化得到的图像输入孪生网络,使用图像级分类标签得到各自的类激活特征图,然后将这两组类激活特征图输入辨别网络进行对抗学习,训练孪生网络使得原图像与其仿射变化图像的类激活特征图逼近,从而有效利用等变注意力机制,学习更多的有效信息并缩小类激活特征图和真实的像素级标签之间的差距,提高弱监督的性能.在PASACAL VOC 2012数据集上,在验证集上的平均交并比为63.7％,测试集上的平均交并比为65.7％,与当前其他先进弱监督语义分割的方法进行对比,验证集与测试集上的平均交并比提高了1.2％和1.3％.该对抗性学习方案能有效利用等变注意力机制,学习更多的有效信息并缩小类激活特征图和真实的像素级标签之间的差距,提高弱监督的性能且达到了良好的分割效果.     

基于显著性背景引导的弱监督语义分割网络

目前基于图像级标注的弱监督语义分割方法大多依赖类激活初始响应以定位分割对象区域.然而,类激活响应图通常只集中在对象最具辨别性的区域,存在目标区域范围较小、边界模糊等缺点,导致最终分割区域不完整.针对此问题,文中提出基于显著性背景引导的弱监督语义分割网络.首先通过图像显著性映射和背景迭代产生背景种子区域.然后将其与分类网络生成的类激活映射图融合,获取有效的伪像素标签,用于训练语义分割模型.分割过程不再完全依赖最具判别性的类激活区域,而是通过图像显著性背景特征与类激活响应信息相互补充,这样可提供更精确的像素标签,提升分割网络的性能.在PASCAL VOC 2012数据集上的实验验证文中方法的有效性,同时分割性能较优.     

视觉Transformer识别任务研究综述

Transformer模型在自然语言处理领域取得了很好的效果,同时因其能够更好地连接视觉和语言,也激发了计算机视觉界的极大兴趣。本文总结了视觉Transformer处理多种识别任务的百余种代表性方法,并对比分析了不同任务内的模型表现,在此基础上总结了每类任务模型的优点、不足以及面临的挑战。根据识别粒度的不同,分别着眼于诸如图像分类、视频分类的基于全局识别的方法,以及目标检测、视觉分割的基于局部识别的方法。考虑到现有方法在3种具体识别任务的广泛流行,总结了在人脸识别、动作识别和姿态估计中的方法。同时,也总结了可用于多种视觉任务或领域无关的通用方法的研究现状。基于Transformer的模型实现了许多端到端的方法,并不断追求准确率与计算成本的平衡。全局识别任务下的Transformer模型对补丁序列切分和标记特征表示进行了探索,局部识别任务下的Transformer模型因能够更好地捕获全局信息而取得了较好的表现。在人脸识别和动作识别方面,注意力机制减少了特征表示的误差,可以处理丰富多样的特征。Transformer可以解决姿态估计中特征错位的问题,有利于改善基于回归的方法性能,还减少了三维估计时深度映射所产生的歧义。大量探索表明视觉Transformer在识别任务中的有效性,并且在特征表示或网络结构等方面的改进有利于提升性能。     

Modeling and segmentation of floating foreground and background in videos

We propose an on-line algorithm to segment foreground from background in videos captured by a moving camera. In our algorithm, temporal model propagation and spatial model composition are combined to generate foreground and background models, and likelihood maps are computed based on the models. After that, an energy minimization technique is applied to the likelihood maps for segmentation. In the temporal step, block-wise models are transferred from the previous frame using motion information, and pixel-wise foreground/background likelihoods and labels in the current frame are estimated using the models. In the spatial step, another block-wise foreground/background models are constructed based on the models and labels given by the temporal step, and the corresponding per-pixel likelihoods are also generated. A graph-cut algorithm performs segmentation based on the foreground/background likelihood maps, and the segmentation result is employed to update the motion of each segment in a block; the temporal model propagation and the spatial model composition step are re-evaluated based on the updated motions, by which the iterative procedure is implemented. We tested our framework with various challenging videos involving large camera and object motions, significant background changes and clutters.     

局部特征增强的转置自注意力图像超分辨率重建

目的 超分辨率（super resolution,SR）重建任务通过划分窗口引入自注意力机制进行特征提取,获得了令人瞩目的成绩。针对划分窗口应用自注意力机制时会限制图像信息聚合范围、制约模型对特征信息进行建模的问题,本文基于转置自注意力机制构建全局和局部信息建模网络捕捉图像像素依赖关系。方法 首先采用轻量的基线模型对特征进行简单关系建模,然后将空间维度上的自注意力机制转换到通道维度,通过计算交叉协方差矩阵构建各像素点之间的长距离依赖关系,接着通过引入通道注意力块补充图像重建所需的局部信息,最后构建双门控机制控制信息在模型中的流动,提高模型对特征的建模能力及其鲁棒性。结果 实验在5个基准数据集Set5、Set14、BSD100、Urban100、Manga109上与主流方法进行了比较,在不同比例因子的SR任务中均获得了最佳或者次佳的结果。与SwinIR（image restoration using swin Transformer）在×2倍SR任务中相比,在以上5个数据集上的峰值信噪比分别提升了0.03dB、0.21dB、0.05dB、0.29dB和0.10dB,结构相似度也获得了极大提升,同时视觉感知优化十分明显。结论 所提出的网络模型能够更充分地对特征信息全局关系进行建模,同时也不会丢失图像特有的局部相关性。重建图像质量明显提高,细节更加丰富,充分说明了本文方法的有效性与先进性。     

融合语义—表观特征的无监督前景分割

目的 前景分割是图像理解领域中的重要任务,在无监督条件下,由于不同图像、不同实例往往具有多变的表达形式,这使得基于固定规则、单一类型特征的方法很难保证稳定的分割性能。针对这一问题,本文提出了一种基于语义-表观特征融合的无监督前景分割方法（semantic apparent feature fusion,SAFF）。方法 基于语义特征能够对前景物体关键区域产生精准的响应,但往往产生的前景分割结果只关注于关键区域,缺乏物体的完整表达;而以显著性、边缘为代表的表观特征则提供了更丰富的细节表达信息,但基于表观规则无法应对不同的实例和图像成像模式。为了融合表观特征和语义特征优势,研究建立了融合语义、表观信息的一元区域特征和二元上下文特征编码的方法,实现了对两种特征表达的全面描述。接着,设计了一种图内自适应参数学习的方法,用于计算最适合的特征权重,并生成前景置信分数图。进一步地,使用分割网络来学习不同实例间前景的共性特征。结果 通过融合语义和表观特征并采用图像间共性语义学习的方法,本文方法在PASCAL VOC（pattern analysis,statistical modelling and computational learning visual object classes）2012训练集和验证集上取得了显著超过类别激活映射（class activation mapping,CAM）和判别性区域特征融合方法（discriminative regional feature integration,DRFI）的前景分割性能,在F测度指标上分别提升了3.5%和3.4%。结论 本文方法可以将任意一种语义特征和表观特征前景计算模块作为基础单元,实现对两种策略的融合优化,取得了更优的前景分割性能。     

基于计算机视觉的Transformer研究进展

Transformer是一种基于自注意力机制、并行化处理数据的深度神经网络.近几年基于Transformer的模型成为计算机视觉任务的重要研究方向.针对目前国内基于Transformer综述性文章的空白,对其在计算机视觉上的应用进行概述.回顾了Transformer的基本原理,重点介绍了其在图像分类、目标检测、图像分割...     

基于Transformer的蒙汉神经机器翻译研究

针对传统循环神经网络和卷积神经网络的缺点,搭建完全基于多头自注意力机制的Transformer蒙汉神经机器翻译模型。实验结果表明,该模型比基于LSTM的蒙汉翻译模型提高了9个BLEU值左右。这说明Transformer翻译模型在句子语义提取和语义表达方面优于LSTM翻译模型。同时在语料预处理阶段,还对中蒙文语料进行了不同粒度的切分。通过实验对比分析,蒙文进行BPE处理后的翻译结果优于对中文单独使用分词处理的结果;在较小语料库中,对中文进行分字处理效果优于分词效果。