多级特征交互Transformer的多器官图像分割

多器官医学图像分割有助于医生做出临床诊断. 针对CNN提取全局特征能力弱, Transformer提取局部特征能力弱, 以及Transformer具有二次方计算复杂度的问题, 提出了用于多器官医学图像分割的多级特征交互Transformer模型. 所提模型采用CNN提取局部特征, 局部特征经Swin Transformer输出全局特征; 通过下采样分别产生多级局部和全局特征, 每级局部和全局特征经过交互并增强; 每级增强后的特征经多级特征融合模块进行交叉融合; 再次融合后的特征经过上采样和分割头输出分割掩码. 所提模型在Synapse和ACDC数据集上进行实验, 平均DSC和平均HD95系数值为80.16%和19.20 mm, 均优于LGNet和RFE-UNet等代表性模型. 该模型对多器官医学图像分割是有效的.     

CoT-TransUNet:轻量化的上下文Transformer医学图像分割网络

针对以往医学图像分割网络中卷积的感受野太小以及Transformer的特征丢失问题,提出了一种端到端的轻量化上下文Transformer医学图像分割网络（lightweight context Transformer medical image segmentation network,CoT-TransUNet)。该网络由编码器、解码器以及跳跃连接三部分组成。对于输入图像,编码器使用CoTNet-Transformer的混合模块,采用CoTNet作为特征提取器来生成特征图。Transformer块则把特征图编码为输入序列。解码器通过一个级联上采样器,将编码后的特征进行上采样。该上采样器级联了多个上采样块,每个上采样块都采用CARAFE上采样算子。通过跳跃连接实现编码器与解码器在不同分辨率上的特征聚合。CoT-TransUNet通过在特征提取阶段采用全局与局部上下文信息相结合的CoTNet;在上采样阶段采用具有更大感受野的CARAFE算子。实现了生成更好的输入特征图,以及基于内容的上采样,并保持轻量化。在多器官分割任务的实验中,CoT-TransUNet取得了优于其他网络的性能。     

显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.     

医学图像分割技术仿真研究

研究医学图像优化分割问题,医学诊断图像要求位置精确,并应精确标注.针对放射治疗以及外科手术过程中对人体器官组织医学图像分割的极大依赖,传统的医学图像分割算法难以分割出清晰有用的图像区域,为了提高分割精度,提出了一种精确的半自动医学图像分割算法,用于提高图像分割的清晰度.首先,通过用户的简单初始输入,确定目标器官和非目标器官的初始定位.然后,根据用户提供的初始定位的统计特性,利用条件随机场模型(CRF)和Graph Cut算法在图像中精确定位器官并进行分割.根据统计特性的分割结果可以在相关医学图像中重复使用以提高分割效率.试验表明,利用CRF和Graph Cut能有效的提高医学图像分割准确度,获得满意的医学图像分割结果.     

采用多尺度视觉注意力分割腹部CT和心脏MR图像

目的 医学图像分割是计算机辅助诊断和手术规划的重要步骤,但是由于人体器官结构复杂、组织边缘模糊等问题,其分割效果还有待提高。由于视觉Transformer(vision Transformer,ViT)在计算机视觉领域取得了成功,受到医学图像分割研究者的青睐。但是基于ViT的医学图像分割网络,将图像特征展平成一维序列,忽视了图像的二维结构,且ViT所需的计算开销相当大。方法 针对上述问题,提出了以多尺度视觉注意力（multi scale visual attention,MSVA）为基础、Transformer作为主干网络的U型网络结构MSVA-TransUNet。其采用的多尺度视觉注意力是一种由多个条状卷积实现的注意力机制,采用一个条状卷积对近似一个大核卷积的操作,采用不同的条状卷积对近似不同的大核卷积,从不同的尺度获取图像的信息。结果 在腹部多器官分割和心脏分割数据集上的实验结果表明：本文网络与基线模型相比,平均Dice分别提高了3.74%和1.58%,其浮点数运算量是多头注意力机制的1/278,网络参数量为15.31 M,是TransUNet的1/6.88。结论 本文网络媲美当前...     

LM-UNet: 横向MLP用于增强U-Net的医学图像分割

卷积神经网络(CNN)作为医学图像分割领域中U-Net基线网络的重要组成部分,其主要作用是处理局部特征信息之间的关系.而Transformer是一种能够有效强化特征信息之间的远距离依赖关系的视觉模型.目前的研究表明,结合Transformer和CNN可以在一定程度上提高医学图像分割的准确性.但是,由于医学图像的标注数据较少,而且训练Transformer模型需要大量数据,这使得Transformer模型面临耗时长和参数量大的挑战.基于这些考虑,本文在UNeXt模型的基础上,结合多尺度混合MLP和CNN,提出了一种新型的基于混合MLP的医学图像分割模型——LM-UNet.这种模型能够有效地增强局部与全局信息之间的联系,并加强特征信息间的融合.在多个数据集上的实验表明, LM-UNet模型在皮肤数据集上的分割性能明显提升,平均Dice系数达到92.58%,平均IoU系数达到86.52%,分别比UNeXt模型提高了3%和3.5%.在软骨和乳腺数据集上的分割效果也有显著提升,平均Dice系数分别比UNeXt提高了2.5%和1.0%.因此, LM-UNet模型不仅提高了医学图像分割的准确性,还增...     

基于卷积神经网络的全景分割Transformer模型

提出一种基于卷积神经网络的Transformer模型来解决全景分割任务,方法借鉴CNN在图像特征学习方面的先天优势,避免了Transformer被移植到视觉任务中所导致的计算量增加.基于卷积神经网络的Transformer模型由执行特征域变换的映射器和负责特征提取的提取器这两种基本结构构成,映射器和提取器的有效结合构成了该模型的网络框架.映射器由一种Lattice卷积模型实现,通过对卷积滤波器进行设计和优化来模拟图像的空间关系.提取器由链式网络实现,通过链式单元堆叠提高特征提取能力.基于全景分割的结构和功能,构建了基于CNN的全景分割Transformer网络.在MS COCO和Cityscapes数据集的实验结果表明,所提方法具有优异的性能.     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

多尺度特征融合工件目标语义分割

目的 目标语义特征提取效果直接影响图像语义分割的精度,传统的单尺度特征提取方法对目标的语义分割精度较低,为此,提出一种基于多尺度特征融合的工件目标语义分割方法,利用卷积神经网络提取目标的多尺度局部特征语义信息,并将不同尺度的语义信息进行像素融合,使神经网络充分捕获图像中的上下文信息,获得更好的特征表示,有效实现工件目标的语义分割。方法 使用常用的多类工件图像定义视觉任务,利用残差网络模块获得目标的单尺度语义特征图,再结合本文提出的多尺度特征提取方式获得不同尺度的局部特征语义信息,通过信息融合获得目标分割图。使用上述方法经多次迭代训练后得到与视觉任务相关的工件目标分割模型,并对训练权重与超参数进行保存。结果 将本文方法和传统的单尺度特征提取方法做定性和定量的测试实验,结果表明,获得的分割网络模型对测试集中的目标都具有较精确的分割能力,与单尺度特征提取方法相比,本文方法的平均交并比mIOU（mean intersection over union）指标在验证集上训练精度提高了4.52%,在测试集上分割精度提高了4.84%。当测试样本中包含的目标种类较少且目标边缘清晰时,本文方法能够得到更精准的分割结果。结论 本文提出的语义分割方法,通过多尺度特征融合的方式增强了神经网络模型对目标特征的提取能力,使训练得到的分割网络模型比传统的单尺度特征提取方式在测试集上具有更优秀的性能,从而验证了所提出方法的有效性。     

医学体数据的三维测量技术研究

医学体数据的三维测量技术是计算机可视化、图像分割与测量等技术在生物医学工程上的重要应用,它提供了一种对器官组织进行三维观察、分析和测量的技术手段,在医学临床与医学研究中具有重要意义.通过医学体数据的分割技术将特定的器官组织(如病灶区)分割出来进行三维测量,为医学诊治和研究提供可靠的数据分析.     

并行多尺度特征融合的热层析图像分割算法

热层析技术应用于医学乳腺肿瘤检测具有重要的应用前景,但是医生在临床应用过程中,通过热层析图像诊断容易出现主观差异性误诊现象,为此,提出了一种智能化分割算法用于辅助诊断。然而,医学热层析图像由于目前数据量匮乏,且病灶区域占比小,依靠经典的分割模型,如FCN、U-Net容易出现分割不连续,边界细节分割不精细等问题。设计了一种基于并行多尺度特征融合的语义分割模型,模型通过并行的多分辨率特征子网之间反复的信息交换,在保证分割结果语义信息准确之外,还能有效地抓取病灶区域的细节特征。该方法在热层析医学图像数据集上取得了0.635?7的均交并比,相较于经典的U-Net分割网络,取得了5.14个百分点的提升,在肿块和血管等小目标区域的细节分割上有着更出色的表现。实验结果表明,该算法对热层析临床用于乳腺癌的辅助诊断具有现实意义。     

SELDNet: Sequenced encoder and lightweight decoder network for COVID-19 infection region segmentation

Segmenting regions of lung infection from computed tomography (CT) images shows excellent potential for rapid and accurate quantifying of Coronavirus disease 2019 (COVID-19) infection and determining disease development and treatment approaches. However, a number of challenges remain, including the complexity of imaging features and their variability with disease progression, as well as the high similarity to other lung diseases, which makes feature extraction difficult. To answer the above challenges, we propose a new sequence encoder and lightweight decoder network for medical image segmentation model (SELDNet). (i) Construct sequence encoders and lightweight decoders based on Transformer and deep separable convolution, respectively, to achieve different fine-grained feature extraction. (ii) Design a semantic association module based on cross-attention mechanism between encoder and decoder to enhance the fusion of different levels of semantics. The experimental results showed that the network can effectively achieve segmentation of COVID-19 infected regions. The dice of the segmentation result was 79.1%, the sensitivity was 76.3%, and the specificity was 96.7%. Compared with several state-of-the-art image segmentation models, our proposed SELDNet model achieves better results in the segmentation task of COVID-19 infected regions.     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法.该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征...     

基于双注意力机制的街景语义分割

高性能语义分割算法由于自身高延迟性存在无法快速感知路况的问题。本文提出一种基于注意力机制的双路径网络模型。该网络模型采用轻量的局部轮廓信息提取模块和语义信息提取模块来替代复杂的编码器结构。针对不同路径下特征图的特点,分别基于自注意力和通道注意力机制设计特征优化模块,该算法可有效地提高轻量网络结构对细节特征的表达能力。设计的语义分割网络以25 fps的速度处理图像的同时,可保持73.9%的平均交并比。经实物验证,表明本文算法具备实时性,具有一定的实际应用价值。     

面向手术器械语义分割的半监督时空Transformer网络

基于内窥镜的微创手术机器人在临床上的应用日益广泛,为医生提供内窥镜视频中精准的手术器械分割信息,对提高医生操作的准确度、改善患者预后有重要意义.现阶段,深度学习框架训练手术器械分割模型需要大量精准标注的术中视频数据,然而视频数据标注成本较高,在一定程度上限制了深度学习在该任务上的应用.目前的半监督方法通过预测与插帧,可...     

基于多模态互补特征学习的遥感影像语义分割

在遥感影像语义分割任务中,数字表面模型可以为光谱数据生成对应的几何表示,能够有效提升语义分割的精度。然而,大部分现有工作仅简单地将光谱特征和高程特征在不同的阶段相加或合并,忽略了多模态数据之间的相关性与互补性,导致网络对某些复杂地物无法准确分割。本文基于互补特征学习的多模态数据语义分割网络进行研究。该网络采用多核最大均值距离作为互补约束,提取两种模态特征之间的相似特征与互补特征。在解码之前互相借用互补特征,增强网络共享特征的能力。在国际摄影测量及遥感探测学会 (international society for photogrammetry and remote sensing, ISPRS)的Potsdam与Vaihingen公开数据集上验证所提出的网络,证明了该网络可以实现更高的分割精度。