跨模态融合的双注意力脑肿瘤分割算法

针对脑肿瘤多模态信息融合不充分以及肿瘤区域细节信息丢失等问题,提出了一种跨模态融合的双注意力脑肿瘤图像分割网络(CFDA-Net).在编码器-解码器的基础结构上,首先在编码器分支采用密集块与大内核注意力并行的新卷积块,可以使全局和局部信息有效融合且可以防止反向传播时梯度消失的问题;其次在编码器的第2、3和4层的左侧加入多模态深度融合模块,有效地利用不同模态间的互补信息;然后在解码器分支使用Shuffle Attention注意力将特征图分组处理后再聚合,其中分组的子特征一分为二地获取空间与通道的重要注意特征.最后使用二进制交叉熵(binary cross entropy, BCE)、Dice Loss与L2 Loss组成新的混合损失函数,缓解了脑肿瘤数据的类别不平衡问题,进一步提升分割性能.在BraTS2019脑肿瘤数据集上的实验结果表明,该模型在整体肿瘤区域、肿瘤核心区域和肿瘤增强区域的平均Dice系数值分别为0.887、0.892和0.815.与其他先进的分割方法 ADHDC-Net、SDS-MSA-Net等相比,该模型在肿瘤核心区域和增强区域具有更好的分割效果.     

引入门控轴向自注意力的多通道病理图像分割

在苏木精-伊红（HE）染色病理图像中,细胞染色分布的不均匀和各类组织形态的多样性给自动化分割带来了极大挑战。针对传统卷积无法捕获大邻域范围内像素间的关联特征,导致分割效果难以进一步提升的问题,提出引入门控轴向自注意力的多通道分割网络（MCSegNet）模型,以实现病理图像细胞核的精准分割。所提模型采用双编码器和解码器结构,在其中使用轴向自注意力编码通道捕获全局特征,并使用基于残差结构的卷积编码通道获取局部精细特征;在编码通道末端,通过特征融合增强特征表示,从而为解码器提供良好的信息基础;而解码器通过级联多个上采样模块逐步生成分割结果。此外,使用改进的混合损失函数有效解决了病理图像中普遍存在的样本不均衡问题。在MoNuSeg2020公开数据集上的实验结果表明,改进的分割方法比U-Net在F1、交并比（IoU）指标上分别提升了2.66个百分点、2.77个百分点,有效改善了病理图像的分割效果,提高了临床诊断的可靠性。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

融合多注意力机制的脊椎图像分割方法

针对脊椎CT、MR图像分割模型分割性能不高的问题,基于U型网络提出了脊椎分割网络MAU-Net。首先引入坐标注意力模块,使网络准确捕获到空间位置信息,并嵌入到通道注意力中;然后提出基于Transformer的双支路通道交叉融合模块代替跳跃连接,进行多尺度特征融合;最后提出特征融合注意力模块,更好地融合Transformer与卷积解码器的语义差异。在脊柱侧凸CT数据集上,Dice达到0.929 6,IoU达到0.859 7。在公开MR数据集SpineSagT2Wdataset3上,与FCN相比,Dice提高14.46%。实验结果表明,MAU-Net能够有效减少椎骨误分割区域。     

U-Net通道变换网络在腺体图像分割中的应用

目的 腺体医学图像分割是将医学图像中的腺体区域与周围组织分离出来的过程,对分割精度有极高要求。传统模型在对腺体医学图像分割时,因腺体形态多样性和小目标众多的特点,容易出现分割不精细或误分割等问题,对此根据腺体医学图像的特点对U-Net型通道变换网络分割模型进行改进,实现对腺体图像更高精度分割。方法 首先在U-Net型通道变换网络的编码器前端加入ASPP_SE （spatial pyramid pooling_squeeze-and-excitation networks）模块与ConvBatchNorm模块的组合,在增强编码器提取小目标特征信息能力的同时,防止模型训练出现过拟合现象。其次在编码器与跳跃连接中嵌入简化后的密集连接,增强编码器相邻模块特征信息融合。最后在通道融合变换器（channel cross fusion with Transformer,CCT）中加入细化器,将自注意力图投射到更高维度,提高自注意机制能力,增强编码器全局模块特征信息融合。简化后的密集连接与CCT结合使用,模型可以达到更好效果。结果 改进算法在公开腺体数据集MoNuSeg （multi-organ nuclei segmentation challenge）和Glas （gland segmentation）上进行实验。以Dice系数和IoU （intersection over union）系数为主要指标,在MoNuSeg的结果为80.55%和67.32%,在Glas数据集的结果为92.23%和86.39%,比原U-Net型通道变换网络分别提升了0.88%、1.06%和1.53%、2.43%。结论 本文提出的改进算法在腺体医学分割上优于其他现有分割算法,能满足临床医学腺体图像分割要求。     

改进U-Net的多级边缘增强医学图像分割网络

医学图像分割精度对医师临床诊疗起到关键作用,但由于医学图像的复杂性以及目标区域的多样性,造成现有医学图像分割方法存在边缘区域分割不完整和上下文特征信息利用不充分的问题。为此,提出一种改进U-Net的多级边缘增强(MEE)医学图像分割网络(MDU-Net)模型。首先,在编码器结构中加入提取双层低级特征信息的MEE模块,通过不同扩张率的扩张卷积块获取特征层中丰富的边缘信息。其次,在跳跃连接中嵌入融合相邻层特征信息的细节特征关联(DFA)模块,以获取深层次和多尺度的上下文特征信息。最后,在解码器结构对应特征层中聚合不同模块所提取的特征信息,通过上采样操作得到最终的分割结果。在2个公开数据集上的实验结果表明,与用于医学图像分割的Transformers强编码器(TransUNet)等模型相比,MDU-Net模型能够高效使用医学图像中不同特征层的特征信息,并在边缘区域取得了更好的分割效果。     

基于Transformer的脊椎CT图像分割

目的 脊椎CT（computed tomography）图像存在组织结构显示不佳、对比度差以及噪音干扰等问题;传统分割算法分割精度低,分割过程需人工干预,往往只能实现半自动分割,不能满足实时分割需求。基于卷积神经网络（convolutional neural network,CNN）的U-Net模型成为医学图像分割标准,但仍存在长距离交互受限的问题。Transformer集成全局自注意力机制,可捕获长距离的特征依赖,在计算机视觉领域表现出巨大优势。本文提出一种CNN与Transformer混合分割模型TransAGUNet （Transformer attention gate U-Net）,以实现对脊椎CT图像的高效自动化分割。方法 提出的模型将Transformer、注意力门控机制（attention gate,AG）及U-Net相结合构成编码—解码结构。编码器使用Transformer和CNN混合架构,提取局部及全局特征;解码器使用CNN架构,在跳跃连接部分融入AG,将下采样特征图对应的注意力图（attention map）与下一层上采样后获得的特征图进行拼接,融合低层与高层特征从而实现更精细的分割。实验使用Dice Loss与带权重的交叉熵之和作为损失函数,以解决正负样本分布不均的问题。结果 将提出的算法在VerSe2020数据集上进行测试,Dice系数较主流的CNN分割模型U-Net、Attention U-Net、U-Net++和U-Net3+分别提升了4.47%、2.09%、2.44%和2.23%,相较优秀的Transformer与CNN混合分割模型TransUNet和TransNorm分别提升了2.25%和1.08%。结论 本文算法较以上6种分割模型在脊椎CT图像的分割性能最优,有效地提升了脊椎CT图像的分割精度,分割实时性较好。     

融合Canny边缘检测的多输出损失肺炎CT图像分割算法

针对肺炎的影像学特征如弥漫、多灶、磨玻璃的特点,提出一种肺部感染CT图像分割算法CEDMO。算法主干网络使用ResNet50,在特征提取中,先利用Canny算子对分割目标边缘进行检测,得到的边缘信息再与ResNet50进行融合计算,边缘信息还在解码器部分的多目标输出计算中作为一个引导值。在解码器部分对PSA注意力机制改进并设计了多输出约束,以获得了更多的细节信息和多个尺度的特征。在多输出中,设计了5个输出路径,每个路径的Loss都参与约束计算,使得训练结果加快收敛,从而提高计算效率。最后通过实验对比基线模型的结果,3个指标优于基线模型,其中Dice系数、灵敏度(SE)、增强对准度量(E_?^m)依次提高了4.7、4.5和1.3个百分点。     

多尺度融合增强的纵膈淋巴结超声弹性图像分割

目的 支气管超声弹性成像具有丰富的通道语义信息,精准的分割纵膈淋巴结对诊断肺癌是否转移具有重要意义,也对癌症的分期和治疗有着重要作用。目前,超声弹性图像分割研究较少,没有充分挖掘图像通道特征之间的关系。因此,提出一种结合注意力机制的多尺度融合增强的纵膈淋巴结超声弹性图像分割U-Net(attention-based multi-scale fusion enhanced ultrasound elastic images segmentation network for mediastinal lymph node, AMFE-UNet)。方法首先,考虑到图像可以提供纵膈淋巴结的位置和通道信息,设计密集卷积网络（dense convolutional network,DenseNet）作为模型编码器;其次,结合注意力机制和空洞卷积设计多尺度融合增强解码器,从多尺度和范围对结节的边界和纹理进行建模;最后,用选择性内核网络设计跳跃连接,将编码器的中间特征与解码器的输出特征充分融合。根据解码器特征进行数值或通道融合的方式不同,将AMFE-UNet分为A和B两个子型。结果 在超声弹性图像数据集...     

增强语义信息与多通道特征融合的裂缝检测

路面裂缝检测是用以判断道路安全与否的关键技术,由于裂缝的背景复杂多样,传统的裂缝检测算法难以准确检测裂缝。提出了一种增强语义信息与多通道特征融合的裂缝自动检测算法。网络整体为编码器-解码器结构,在编码器部分引入扩张卷积模块,扩大特征图有效感受野,整合图像上下文信息,增强特征语义表达能力,提高像素分类精度。在解码器部分搭建了一个基于注意力机制的多通道特征融合模块,利用高层全局注意力信息指导高层语义特征与低层细节特征的逐级融合,有利于恢复图像细节信息,进一步提升对裂缝的像素级检测精度。实验结果表明,在CRACK500公开数据集上训练的模型在测试集上取得72.5%的平均交并比（Intersection over Union,IoU）和96.8%的F1score,该模型直接用于CrackForest数据集测试,平均IoU和F1score分别提升2.0个百分点和1.1个百分点,表明模型具有很好的泛化性能,可用于复杂道路场景下的裂缝检测与质量评估。     

深度迭代融合的脑部磁共振图像颅骨去除网络

目的 去除颅骨是脑部磁共振图像处理和分析中的重要环节。由于脑部组织结构复杂以及采集设备噪声的影响导致现有方法不能准确分割出脑部区域,为此提出一种深度迭代融合的卷积神经网络模型实现颅骨的准确去除。方法 本文DIFNet（deep iteration fusion net）模型的主体结构由编码器和解码器组成,中间的跳跃连接方式由多个上采样迭代融合构成。其中编码器由残差卷积组成,以便浅层语义信息更容易流入深层网络,避免出现梯度消失的现象。解码器网络由双路上采样模块构成,通过具有不同感受野的反卷积操作,将输出的特征图相加后作为模块输出,有效还原更多细节上的特征。引入带有L2正则的Dice损失函数训练网络模型,同时采用内部数据增强方法,有效提高模型的鲁棒性和泛化能力。结果 为了验证本文模型的分割性能,分别利用两组数据集与传统分割算法和主流的深度学习分割模型进行对比。在训练数据集同源的NFBS（neurofeedback skull-stripped）测试数据集上,本文方法获得了最高的平均Dice值和灵敏度,分别为99.12%和99.22%。将在NFBS数据集上训练好的模型直接应用于LPBA40（loni probabilistic brain atlas 40）数据集,本文模型的Dice值可达98.16%。结论 本文提出的DIFNet模型可以快速、准确地去除颅骨,相比于主流的颅骨分割模型,精度有较高提升,并且模型具有较好的鲁棒性和泛化能力。     

CoT-TransUNet:轻量化的上下文Transformer医学图像分割网络

针对以往医学图像分割网络中卷积的感受野太小以及Transformer的特征丢失问题,提出了一种端到端的轻量化上下文Transformer医学图像分割网络（lightweight context Transformer medical image segmentation network,CoT-TransUNet)。该网络由编码器、解码器以及跳跃连接三部分组成。对于输入图像,编码器使用CoTNet-Transformer的混合模块,采用CoTNet作为特征提取器来生成特征图。Transformer块则把特征图编码为输入序列。解码器通过一个级联上采样器,将编码后的特征进行上采样。该上采样器级联了多个上采样块,每个上采样块都采用CARAFE上采样算子。通过跳跃连接实现编码器与解码器在不同分辨率上的特征聚合。CoT-TransUNet通过在特征提取阶段采用全局与局部上下文信息相结合的CoTNet;在上采样阶段采用具有更大感受野的CARAFE算子。实现了生成更好的输入特征图,以及基于内容的上采样,并保持轻量化。在多器官分割任务的实验中,CoT-TransUNet取得了优于其他网络的性能。     

Seg-CapNet:A Capsule-Based Neural Network for the Segmentation of Left Ventricle from Cardiac Magnetic Resonance Imaging

Deep neural networks (DNNs) have been extensively studied in medical image segmentation.However,existing DNNs often need to train shape models for each object to be segmented,which may yield results that violate cardiac anatomical structure when segmenting cardiac magnetic resonance imaging (MRI).In this paper,we propose a capsule-based neural network,named Seg-CapNet,to model multiple regions simultaneously within a single training process.The Seg-CapNet model consists of the encoder and the decoder.The encoder transforms the input image into feature vectors that represent objects to be segmented by convolutional layers,capsule layers,and fully-connected layers.And the decoder transforms the feature vectors into segmentation masks by up-sampling.Feature maps of each down-sampling layer in the encoder are connected to the corresponding up-sampling layers,which are conducive to the backpropagation of the model.The output vectors of Seg-CapNet contain low-level image features such as grayscale and texture,as well as semantic features including the position and size of the objects,which is beneficial for improving the segmentation accuracy.The proposed model is validated on the open dataset of the Automated Cardiac Diagnosis Challenge 2017 (ACDC 2017) and the Sunnybrook Cardiac Magnetic Resonance Imaging (MRI) segmentation challenge.Experimental results show that the mean Dice coefficient of Seg-CapNet is increased by 4.7％ and the average Hausdorff distance is reduced by 22％.The proposed model also reduces the model parameters and improves the training speed while obtaining the accurate segmentation of multiple regions.     

Seg-CapNet:A Capsule-Based Neural Network for the Segmentation of Left Ventricle from Cardiac Magnetic Resonance Imaging

Deep neural networks (DNNs) have been extensively studied in medical image segmentation.However,existing DNNs often need to train shape models for each object to be segmented,which may yield results that violate cardiac anatomical structure when segmenting cardiac magnetic resonance imaging (MRI).In this paper,we propose a capsule-based neural network,named Seg-CapNet,to model multiple regions simultaneously within a single training process.The Seg-CapNet model consists of the encoder and the decoder.The encoder transforms the input image into feature vectors that represent objects to be segmented by convolutional layers,capsule layers,and fully-connected layers.And the decoder transforms the feature vectors into segmentation masks by up-sampling.Feature maps of each down-sampling layer in the encoder are connected to the corresponding up-sampling layers,which are conducive to the backpropagation of the model.The output vectors of Seg-CapNet contain low-level image features such as grayscale and texture,as well as semantic features including the position and size of the objects,which is beneficial for improving the segmentation accuracy.The proposed model is validated on the open dataset of the Automated Cardiac Diagnosis Challenge 2017 (ACDC 2017) and the Sunnybrook Cardiac Magnetic Resonance Imaging (MRI) segmentation challenge.Experimental results show that the mean Dice coefficient of Seg-CapNet is increased by 4.7％ and the average Hausdorff distance is reduced by 22％.The proposed model also reduces the model parameters and improves the training speed while obtaining the accurate segmentation of multiple regions.     

基于深度学习高分辨率遥感影像语义分割

高分辨率遥感影像含有丰富的地理信息. 目前基于传统神经网络的语义分割模型不能够对遥感影像中小物体进行更高维度的特征提取, 导致分割错误率较高. 本文提出一种基于编码与解码结构特征连接的方法, 对DeconvNet网络模型进行改进. 模型在编码时, 通过记录池化索引的位置并应用于上池化中, 能够保留空间结构信息; 在解码时, 利用编码与解码对应特征层连接的方式使模型有效地进行特征提取. 在模型训练时, 使用设计的预训练模型, 可以有效地扩充数据, 来解决模型的过拟合问题. 实验结果表明, 在对优化器、学习率和损失函数适当调整的基础上, 使用扩充后的数据集进行训练, 对遥感影像验证集的分割精确度达到95%左右, 相对于DeconvNet和UNet网络模型分割精确度有显著提升.     

基于多尺度特征融合双U型皮肤病变分割算法

针对皮肤病分割问题中皮肤病变区域大小不一且形状各异问题,提出一种基于多尺度特征融合的双U型皮肤病分割算法.该算法由粗分U型网络和细分U型网络两部分组成.首先粗分U型网络编码部分采用预训练VGG-19模型对相关特征进行多尺度特征提取;在解码阶段利用改进注意力残差块将底层与高层信息进行有效的映射融合,得到初步的Mask;然后将初步生成的Mask与原图像聚合,并输入多路特征提取编码器中进行二次特征蒸馏;而细分U型网络解码器同时与粗分U型网络编码部分和细分U型网络的编码部分特征映射进行融合,保证网络可以聚合更多的有效特征;最后利用Focal Tversky损失函数进一步提升分割效果.实验表明,所提算法在ISBI2016数据集上实验分割精度为96.11％、敏感度为93.59％、特异性为97.10％、Dice系数为93.14％、Jaccard系数为87.17％,能够有效地分割皮肤病病变区域.     

基于卷积胶囊编码器和多尺度局部特征共现的图像分割网络

U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet (network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。     

结合局部全局特征与多尺度交互的三维多器官分割网络

目的 高度适形放射治疗是常用的癌症治疗方法,该方法的有效性依赖于对癌组织和周边多个危及器官（organ at risk,OAR）解剖结构的精确刻画,因此研究三维图像多器官的高精度自动分割具有重要意义。以视觉Transformer(vision Transformer,ViT)和卷积神经网络（convolutional neural network,CNN）结合为代表的三维医学图像分割方法表现出了丰富的应用优势。然而,这类方法往往忽略同一尺度内和不同尺度间的信息交互,使得CNN和ViT特征的提取和融合受限。本文提出一种端到端多器官分割网络LoGoFUNet(local-global-features fusion UNet),旨在应对现有方法的缺陷。方法 首先,针对单一器官分割,提出在同一尺度下并行提取并融合CNN和ViT特征的LoGoF(local-global-features fusion)编码器,并构建了一个端到端的三维医学图像分割多尺度网络M0。此外,考虑到器官内部以及器官之间的相互关系,该方法在M0网络的基础上设计并引入了多尺度交互（multi-scale interacti...