轻量化卷积注意力特征融合网络的实时语义分割

轻量化卷积神经网络的出现促进了基于深度学习的语义分割技术在低功耗移动设备上的应用.然而,轻量化卷积神经网络一般不考虑融合特征之间的关系,常使用线性方式进行特征融合,网络分割精度有限.针对该问题,提出一种基于编码器-解码器架构的轻量化卷积注意力特征融合网络.在编码器中,基于MobileNetv2给出空洞MobileNet模块,以获得足够大的感受野,提升轻量化主干网络的表征能力;在解码器中,给出卷积注意力特征融合模块,通过学习特征平面通道、高度和宽度3个维度间的关系,获取不同特征平面之间的相对权重,并以此对特征平面进行加权融合,提升特征融合的效果.所提网络仅有0.68×106参数量,在未使用预训练模型、后处理和额外数据的情况下,使用NVIDIA 2080Ti显卡在城市道路场景数据集Cityscapes和CamVid上进行实验的结果表明,该网络的平均交并比分别达到了72.7%和67.9%,运行速度分别为86帧/s和105帧/s,在分割精度、网络规模与运行速度之间达到了较好的平衡.     

基于注意力机制的多尺度融合航拍影像语义分割

航拍影像同一场景不同对象尺度差异较大,采用单一尺度的分割往往无法达到最 佳的分类效果。为解决这一问题,提出一种基于注意力机制的多尺度融合模型。首先,利用不 同采样率的扩张卷积提取航拍影像的多个尺度特征;然后,在多尺度融合阶段引入注意力机制, 使模型能够自动聚焦于合适的尺度,并为所有尺度及每个位置像素分别赋予权重;最后,将加 权融合后的特征图上采样到原图大小,对航拍影像的每个像素进行语义标注。实验结果表明, 与传统的 FCN、DeepLab 语义分割模型及其他航拍影像分割模型相比,基于注意力机制的多尺 度融合模型不仅具有更高的分割精度,而且可以通过对各尺度特征对应权重图的可视化,分析 不同尺度及位置像素的重要性。     

空洞卷积的多尺度语义分割网络

计算机硬件的发展极大程度地促进了计算机视觉的发展,卷积神经网络在语义分割中取得了令人瞩目的成就,但多卷积层叠加难免造成图像中目标边界信息的丢失。为了尽可能保留边界信息,提高图像分割精度,提出一种多尺度空洞卷积神经网络模型。该模型利用多尺度池化适应图像中不同尺度目标,并利用空洞卷积学习目标特征,在更加准确识别目标的同时,提高目标边界的识别精度,在ISPRS Vaihingen数据集上的实验结果表明,提出的多尺度空洞卷积神经网络对于目标边界的拟合结果较为理想。     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

基于多尺度特征和注意力机制的肝脏组织病理图像语义分割网络

针对肝脏组织病理图像分割中存在的正常组织和异常组织过渡区域较难分割和空洞较多的问题,设计基于多尺度特征和注意力机制的肝脏组织病理图像语义分割网络.在编码器中提取融合多尺度特征,改善正常组织和异常组织过渡区域的分割效果.同时利用注意力机制对空间维度和通道维度进行相关性建模,获得每个像素类内响应和通道间的依赖关系,缓解肝脏组织病理图像空洞较多对网络学习带来的影响.实验表明文中网络可较快速准确分割肝脏组织病理图像损伤区域.     

基于邻近切片注意力融合的直肠癌分割网络

针对直肠癌目标靶区在磁共振成像（MRI）图像的大小、形状、纹理和边界清晰程度不同等问题,为了克服患者之间的个体差异性并提高分割精度,提出一种基于邻近切片注意力融合的直肠癌分割网络（ASAF-Net）。首先,使用高分辨率网络（HRNet）作为主干网络,并在特征提取过程始终保持高分辨率特征表示,以减少语义信息和空间位置信息的损失;其次,通过邻近切片注意力融合（ASAF）模块融合并增强相邻切片之间的多尺度上下文语义信息,使网络能够学习相邻切片之间的空间特征;最后,在解码网络使用全卷积网络（FCN）和空洞空间金字塔池化（ASPP）分割头协同训练,并通过添加相邻切片间的一致性约束作为辅助损失缓解训练过程中出现的相邻切片差异过大的问题。实验结果表明,与HRNet相比,ASAF-Net在平均交并比（IoU）、平均Dice相似系数（DSC）指标上分别提升了1.68和1.26个百分点,平均95%豪斯多夫距离（HD）降低了0.91 mm。同时,ASAF-Net在直肠癌MRI图像多目标靶区的内部填充和边界预测方面均能实现更好的分割效果,有助于提升医生在临床辅助诊断中的效率。     

引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

目的 脑肿瘤核磁共振（magnetic resonance,MR）图像分割对评估病情和治疗患者具有重要意义。虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战。图像语义分割的精度取决于图像特征的提取和处理效果。传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题。对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割。方法 在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息。结果 提出的模型在BraTS18（Multimodal Brain Tumor Segmentation Challenge 2018）提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9%、1.3%和0.6%。结论 本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值。     

基于组注意力卷积和特征重建的轻量分割算法

针对卷积神经网络的庞大参数量和计算量难以应用于移动设备或嵌入式设备的问题,提出冗余特征重建模块(redundant feature reconstruction,RFR)和组注意力卷积模块(group attention convolution,GAC),RFR模块使用较少的参数量提取重要的固有特征,通过线性算子重建冗...     

基于可变形卷积和语义嵌入式注意力机制的眼球超声图像分割方法

眼球区域分割是医学超声图像处理和分析的关键步骤,由于临床设备采集的眼球超声图像具有噪声干扰、区域模糊、边缘灰度相似等缺点,从而导致现有的方法不能准确地分割出眼球区域,因此本文基于可变形卷积提出了一种语义嵌入的注意力机制的分割方法.首先使用可变形卷积替代传统的卷积,提高本文网络对眼球区域的表征能力;其次构建语义嵌入的注意...     

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

含多级通道注意力机制的CGAN遥感图像建筑物分割

目的 遥感图像建筑物分割是图像处理中的一项重要应用,卷积神经网络在遥感图像建筑物分割中展现出优秀性能,但仍存在建筑物漏分、错分,尤其是小建筑物漏分以及建筑物边缘不平滑等问题。针对上述问题,本文提出一种含多级通道注意力机制的条件生成对抗网络（conditional generative adversarial network,CGAN）模型Ra-CGAN,用于分割遥感图像建筑物。方法 首先构建一个具有多级通道注意力机制的生成模型G,通过融合包含注意力机制的深层语义与浅层细节信息,使网络提取丰富的上下文信息,更好地应对建筑物的尺度变化,改善小建筑物漏分问题。其次,构建一个判别网络D,通过矫正真实标签图与生成模型生成的分割图之间的差异来改善分割结果。最后,通过带有条件约束的G和D之间的对抗训练,学习高阶数据分布特征,使建筑物空间连续性更强,提升分割结果的边界准确性及平滑性。结果 在WHU Building Dataset和Satellite Dataset II数据集上进行实验,并与优秀方法对比。在WHU数据集中,分割性能相对于未加入通道注意力机制和对抗训练的模型明显提高,且在复杂建筑物的空间连续性、小建筑物完整性以及建筑物边缘准确和平滑性上表现更好;相比性能第2的模型,交并比（intersection over union,IOU）值提高了1.1%,F₁-score提高了1.1%。在Satellite数据集中,相比其他模型,准确率更高,尤其是在数据样本不充足的条件下,得益于生成对抗训练,分割效果得到了大幅提升;相比性能第2的模型,IOU值提高了1.7%,F₁-score提高了1.6%。结论 本文提出的含多级通道注意力机制的CGAN遥感图像建筑物分割模型,综合了多级通道注意力机制生成模型与条件生成对抗网络的优点,在不同数据集上均获得了更精确的遥感图像建筑物分割结果。     

时空图卷积网络与注意机制的视频目标分割

目的 从大量数据中学习时空目标模型对于半监督视频目标分割任务至关重要,现有方法主要依赖第1帧的参考掩膜（通过光流或先前的掩膜进行辅助）估计目标分割掩膜。但由于这些模型在对空间和时域建模方面的局限性,在快速的外观变化或遮挡下很容易失效。因此,提出一种时空部件图卷积网络模型生成鲁棒的时空目标特征。方法 首先,使用孪生编码模型,该模型包括两个分支：一个分支输入历史帧和掩膜捕获序列的动态特征,另一个分支输入当前帧图像和前一帧的分割掩膜。其次,构建时空部件图,使用图卷积网络学习时空特征,增强目标的外观和运动模型,并引入通道注意模块,将鲁棒的时空目标模型输出到解码模块。最后,结合相邻阶段的多尺度图像特征,从时空信息中分割出目标。结果 在DAVIS（densely annotated video segmentation）-2016和DAVIS-2017两个数据集上与最新的12种方法进行比较,在DAVIS-2016数据集上获得了良好性能,Jacccard相似度平均值（Jaccard similarity-mean,J-M）和F度量平均值（F measure-mean,F-M）得分达到了85.3%,比性能最高的对比方法提高了1.7%;在DAVIS-2017数据集上,J-M和F-M得分达到了68.6%,比性能最高的对比方法提高了1.2%。同时,在DAVIS-2016数据集上,进行了网络输入与后处理的对比实验,结果证明本文方法改善了多帧时空特征的效果。结论 本文方法不需要在线微调和后处理,时空部件图模型可缓解因目标外观变化导致的视觉目标漂移问题,同时平滑精细模块增加了目标边缘细节信息,提高了视频目标分割的性能。     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

结合注意力机制的双路径语义分割

目的 针对现有语义分割算法存在的因池化操作造成分辨率降低导致的分割结果变差、忽视特征图不同通道和位置特征的区别以及特征图融合时方法简单,没有考虑到不同感受视野特征区别等问题,设计了一种基于膨胀卷积和注意力机制的语义分割算法。方法 主要包括两条路径：空间信息路径使用膨胀卷积,采用较小的下采样倍数以保持图像的分辨率,获得图像的细节信息;语义信息路径使用ResNet（residual network）采集特征以获得较大的感受视野,引入注意力机制模块为特征图的不同部分分配权重,使得精度损失降低。设计特征融合模块为两条路径获得的不同感受视野的特征图分配权重,并将其融合到一起,得到最后的分割结果。结果 为证实结果的有效性,在Camvid和Cityscapes数据集上进行验证,使用平均交并比（mean intersection over union,MIoU）和精确度（precision）作为度量标准。结果显示,在Camvid数据集上,MIoU和精确度分别为69.47%和92.32%,比性能第2的模型分别提高了1.3%和3.09%。在Cityscapes数据集上,MIoU和精确度分别为78.48%和93.83%,比性能第2的模型分别提高了1.16%和3.60%。结论 本文采用膨胀卷积和注意力机制模块,在保证感受视野并且提高分辨率的同时,弥补了下采样带来的精度损失,能够更好地指导模型学习,且提出的特征融合模块可以更好地融合不同感受视野的特征。     

融合通道位置注意力机制和并行空洞卷积的人脸年龄合成

目的 人脸年龄合成旨在合成指定年龄人脸图像的同时保持高可信度的人脸,是计算机视觉领域的热门研究方向之一。然而目前主流人脸年龄合成模型过于关注纹理信息,忽视了与人脸相关的多尺度特征,此外网络存在对身份信息筛选不佳的问题。针对以上问题,提出一种融合通道位置注意力机制和并行空洞卷积的人脸年龄合成网络（generative adversarial network（GAN）composed of the parallel dilated convolution and channel-coordinate attention mechanism,PDA-GAN）。方法 PDA-GAN基于生成对抗网络提出了并行三通道空洞卷积残差块和通道—位置注意力机制。并行三通道空洞卷积残差块将3种膨胀系数空洞卷积提取的不同尺度人脸特征融合,提升了特征尺度上的多样性和总量上的丰富度;通道—位置注意力机制通过对人脸特征的长度、宽度和深度显著性计算,定位图像中与年龄高度相关的通道和空间位置区域,增强了网络对通道和空间位置上敏感特征的表达能力,解决了特征冗余问题。结果 实验在Flickr高清人脸数据集（Flickr-faces-high-quality,FFHQ）上训练,在名人人脸属性高清数据集（large-scale celebfaces attributes dataset-high quality,Celeba-HQ）上测试,将本文提出的PDA-GAN与最新的3种人脸年龄图像合成网络进行定性和定量比较,以验证本文方法的有效性。实验结果表明,PDA-GAN显著提升了人脸年龄合成的身份置信度和年龄估计准确度,具有良好的身份信息保留和年龄操控能力。结论 本文方法能够合成具有较高真实度和准确性的目标年龄人脸图像。     

双编码特征注意网络的手术器械分割

目的 手术器械分割是外科手术机器人精准操作的关键环节之一,然而,受复杂因素的影响,精准的手术器械分割目前仍然面临着一定的挑战,如低对比度手术器械、复杂的手术环境、镜面反射以及手术器械的尺度和形状变化等,造成分割结果存在模糊边界和细节错分的问题,影响手术器械分割的精度。针对以上挑战,提出了一种新的手术器械分割网络,实现内窥镜图像中手术器械的准确分割。方法 为了实现内窥镜图像的准确表征以获取有效的特征图,提出了基于卷积神经网络（convolutional neural network,CNN）和Transformer融合的双编码器结构,实现分割网络对细节特征和全局上下文语义信息的提取。为了实现局部特征图的特征增强,引入空洞卷积,设计了多尺度注意融合模块,以获取多尺度注意力特征图。针对手术器械分割面临的类不均衡问题,引入全局注意力模块,提高分割网络对手术器械区域的关注度,并减少对于无关特征的关注。结果 为了有效验证本文模型的性能,使用两个公共手术器械分割数据集进行性能分析和测试。基于定性分析和定量分析通过消融实验和对比实验,验证了本文算法的有效性和优越性。实验结果表明：在Kvasir-instrument数据集上,本文算法的Dice分数和mIOU （mean intersection over union）值分别为96.46%和94.12%;在Endovis2017 （2017 Endoscopic Vision Challenge）数据集上,本文算法的Dice分数和mIOU值分别为96.27%和92.55%。相较于对比的先进分割网络,本文算法实现了分割精度的有效提升。同时,消融研究也证明了本文算法方案设计的合理性,缺失任何一个子模块都会造成不同程度的精度损失。结论 本文所提出的分割模型有效地融合了CNN和Transformer的优点,同时实现了细节特征和全局上下文信息的充分提取,可以实现手术器械准确、稳定分割。     

融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。     

结合混合域注意力与空洞卷积的3维目标检测

目的 通过深度学习卷积神经网络进行3维目标检测的方法已取得巨大进展,但卷积神经网络提取的特征既缺乏不同区域特征的依赖关系,也缺乏不同通道特征的依赖关系,同时难以保证在无损空间分辨率的情况下扩大感受野。针对以上不足,提出了一种结合混合域注意力与空洞卷积的3维目标检测方法。方法 在输入层融入空间域注意力机制,变换输入信息的空间位置,保留需重点关注的区域特征;在网络中融入通道域注意力机制,提取特征的通道权重,获取关键通道特征;通过融合空间域与通道域注意力机制,对特征进行混合空间与通道的混合注意。在特征提取器的输出层融入结合空洞卷积与通道注意力机制的网络层,在不损失空间分辨率的情况下扩大感受野,根据不同感受野提取特征的通道权重后进行融合,得到全局感受野的关键通道特征;引入特征金字塔结构构建特征提取器,提取高分辨率的特征图,大幅提升网络的检测性能。运用基于二阶段的区域生成网络,回归定位更准确的3维目标框。结果 KITTI（A project of Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）数据集中的实验结果表明,在物体被遮挡的程度由轻到高时,对测试集中的car类别,3维目标检测框的平均精度AP_3D值分别为83.45%、74.29%、67.92%,鸟瞰视角2维目标检测框的平均精度AP_BEV值分别为89.61%、87.05%、79.69%; 对pedestrian和cyclist 类别,AP_3D和AP_BEV值同样比其他方法的检测结果有一定优势。结论 本文提出的3维目标检测网络,一定程度上解决了3维检测任务中卷积神经网络提取的特征缺乏视觉注意力的问题,从而使3维目标检测更有效地运用于室外自动驾驶。