引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络

目的 准确定位超声甲状腺结节对甲状腺癌早期诊断具有重要意义,但患者结节大小、形状以及位置的不确定性极大影响了结节分割的准确率和模型的泛化能力。为了提高超声甲状腺结节分割的精度,增强泛化性能并降低模型的参数量,辅助医生诊断疾病,减少误诊,提出一种面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络。方法 首先提出一种网络框架,形状与字母h相似,由一个编码器和两个解码器组成,引入深度可分离卷积缩小网络尺寸。编码器用于提取图像特征,且构建增强下采样模块来减少下采样时造成的信息损失,增强解码器特征提取的能力。第1个解码器负责获取图像的初步分割信息;第2个解码器通过融合第1个解码器预先学习到的信息来增强结节的特征表达,提升分割精度,并设计了融合卷积池化金字塔实现多尺度特征融合,增强模型的泛化能力。结果 该网络在内部数据集上的Dice相似系数（Dice similarity coefficients, DSC）、豪斯多夫距离（Hausdorff distance,HD）、灵敏度（sensitivity,SEN）和特异度（specificity,SPE）分别为0.872 1、0.935 6、0.879 7和0.997 3,在公开数据集DDTI（digital database thyroid image）上,DSC和SPE分别为0.758 0和0.977 3,在数据集TN3K（thyroid nodule 3 thousand）上的重要指标DSC和HD分别为0.781 5和4.472 6,皆优于其他模型。结论 该网络模型以较低的参数量提升了甲状腺超声图像结节的分割效果,增强了泛化性能。     

深度学习多部位病灶检测与分割

目的 多部位病灶具有大小各异和类型多样的特点,对其准确检测和分割具有一定的难度。为此,本文设计了一种2.5D深度卷积神经网络模型,实现对多种病灶类型的计算机断层扫描（computed tomography,CT）图像的病灶检测与分割。方法 利用密集卷积网络和双向特征金字塔网络组成的骨干网络提取图像中的多尺度和多维度信息,输入为带有标注的中央切片和提供空间信息的相邻切片共同组合而成的CT切片组。将融合空间信息的特征图送入区域建议网络并生成候选区域样本,再由多阈值级联网络组成的Cascade R-CNN（region convolutional neural networks）筛选高质量样本送入检测与分割分支进行训练。结果 本文模型在DeepLesion数据集上进行验证。结果表明,在测试集上的平均检测精度为83.15%,分割预测结果与真实标签的端点平均距离误差为1.27 mm,直径平均误差为1.69 mm,分割性能优于MULAN（multitask universal lesion analysis network for joint lesion detection,tagging and segmentation）和Auto RECIST（response evaluation criteria in solid tumors）,且推断每幅图像平均时间花费仅91.7 ms。结论 对于多种部位的CT图像,本文模型取得良好的检测与分割性能,并且预测时间花费较少,适用病变类别与DeepLesion数据集类似的CT图像实现病灶检测与分割。本文模型在一定程度上能满足医疗人员利用计算机分析多部位CT图像的需求。     

边界信息保持的全染色肾脏切片多粒度分割

目的 肾小球图像的准确分割对肾脏病理学的疾病诊断和定量分析起到关键作用,然而全染色肾脏切片图像存在由肾小球个体差异大导致的空间尺度和上下文形状变化大,以及图像分辨率过高的问题,给高精度、高性能分割任务带来挑战。为此,提出一种边界信息保持的全染色肾脏切片多粒度分割方法。方法 使用一种多粒度上下文的空间注意力机制生成多粒度和多形状变化的空间注意力图,以限制上下文特征,减弱背景对目标的影响,强化网络对目标的感知能力,使网络更多地关注小目标特征;将原图像切分为若干小图来解决全染色图像分辨率高的问题,使用增广路径边界补零策略处理卷积核存在的贡献偏移效应,解决了肾小球目标处于图像边界所导致的分割困难问题,保证图像块的信息无损失地向高层传递,提高处于图像块边界的肾小球目标的分割精度;进一步地,针对图像块拼接带来的边缘肾小球容易漏检、计算开销大的问题,采用特征复用的概率累积滑窗策略,同时提高了分割精度和效率。结果 在小鼠肾脏细胞切片和HuBMAP（human biomolecular atlas program）人体肾脏数据上,本文方法提高了分割精度,并使预测速度提高50%左右。结论 对于全染色肾脏切片的肾小球分割问题,多粒度上下文特征和增广路径边界补零策略解决了边界区域肾小球目标分割困难、分割精度低的问题,并通过概率累积滑窗策略提高分割速度,相较传统的分割方法有更优秀的性能。     

COVID-19肺部CT图像多尺度编解码分割

目的 新型冠状病毒肺炎（corona virus disease 2019,COVID-19）患者肺部计算机断层扫描（computed tomography,CT）图像具有明显的病变特征,快速而准确地从患者肺部CT图像中分割出病灶部位,对COVID-19患者快速诊断和监护具有重要意义。COVID-19肺炎病灶区域复杂多变,现有方法分割精度不高,且对假阴性的关注不够,导致分割结果往往具有较高的特异度,但灵敏度却很低。方法 本文提出了一个基于深度学习的多尺度编解码网络（MED-Net （multiscale encode decode network））,该网络采用资源利用率高、计算速度快的HarDNet68（harmonic densely connected network）作为主干,它主要由5个harmonic dense block （HDB）组成,首先通过5个空洞空间卷积池化金字塔（atrous spatial pyramid pooling,ASPP）对HarDNet68的第1个卷积层和第1、3、4、5个HDB提取多尺度特征。接着在并行解码器（paralleled partial decoder,PPD）基础上设计了一个多尺度的并行解码器（multiscale parallel partial decoder,MPPD）,通过对3个不同感受野的分支进行解码,解决了编码器部分的信息丢失及小病灶分割困难等问题。为了提升CT图像分割精度,降低网络学习难度,网络加入了深度监督机制,配合多尺度解码器,增加了对假阴性的关注,从而提高模型的灵敏度。结果 在COVID-19 CT segmentation数据集上对本文网络进行了测试。实验结果表明,MED-Net可以有效地应对数据集样本少,以及分割目标的纹理、尺寸和位置变异大等问题。在只有50幅训练图像和50幅测试图像的数据集上,分割结果的Dice系数为73.8%,灵敏度为77.7%,特异度为94.3%;与Inf-Net （lung infection segmentation deep network）网络相比,分别提升了8.21%、12.28%、7.76%。其中,Dice系数和灵敏度达到了目前基于该数据集相同划分方式的先进水平。结论 本文网络提高了COVID-19肺炎CT图像分割精确度,有效解决了数据集的数据量少、小病灶分割难度大等问题,具有全自动分割COVID-19肺炎CT图像的能力。     

引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

目的 脑肿瘤核磁共振（magnetic resonance,MR）图像分割对评估病情和治疗患者具有重要意义。虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战。图像语义分割的精度取决于图像特征的提取和处理效果。传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题。对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割。方法 在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息。结果 提出的模型在BraTS18（Multimodal Brain Tumor Segmentation Challenge 2018）提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9%、1.3%和0.6%。结论 本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值。     

语义拉普拉斯金字塔多中心乳腺肿瘤分割网络

目的 乳腺肿瘤分割对乳腺癌的辅助诊疗起着关键作用,但现有研究大多集中在单中心数据的分割上,泛化能力不强,无法应对临床的复杂数据。因此,本文提出一种语义拉普拉斯金字塔网络（semantic Laplacian pyramids network,SLAPNet）,实现多中心数据下乳腺肿瘤的准确分割。方法 SLAPNet主要包含高斯金字塔和语义金字塔两个结构,前者负责得到多尺度的图像输入,后者负责提取多尺度的语义特征并使语义特征能在不同尺度间传播。结果 网络使用Dice相似系数（Dice similarity coefficient,DSC）作为优化目标。为了验证模型性能,采用多中心数据进行测试,与AttentionUNet、PSPNet （pyramid scene parsing network）、UNet 3+、MSDNet （multiscale dual attention network）、PyConvUNet （pyramid convolutional network）等深度学习模型进行对比,并利用DSC和Jaccard系数（Jaccard coefficient,JC）等指标进行定量分析。使用内部数据集测试时,本文模型乳腺肿瘤分割的DSC为0.826;使用公开数据集测试时,DSC为0.774,比PyConvUNet提高了约1.3%,比PSPNet和UNet3+提高了约1.5%。结论 本文提出的语义拉普拉斯金字塔网络,通过结合多尺度和多级别的语义特征,可以在多中心数据上准确实现乳腺癌肿瘤的自动分割。     

双编码特征注意网络的手术器械分割

目的 手术器械分割是外科手术机器人精准操作的关键环节之一,然而,受复杂因素的影响,精准的手术器械分割目前仍然面临着一定的挑战,如低对比度手术器械、复杂的手术环境、镜面反射以及手术器械的尺度和形状变化等,造成分割结果存在模糊边界和细节错分的问题,影响手术器械分割的精度。针对以上挑战,提出了一种新的手术器械分割网络,实现内窥镜图像中手术器械的准确分割。方法 为了实现内窥镜图像的准确表征以获取有效的特征图,提出了基于卷积神经网络（convolutional neural network,CNN）和Transformer融合的双编码器结构,实现分割网络对细节特征和全局上下文语义信息的提取。为了实现局部特征图的特征增强,引入空洞卷积,设计了多尺度注意融合模块,以获取多尺度注意力特征图。针对手术器械分割面临的类不均衡问题,引入全局注意力模块,提高分割网络对手术器械区域的关注度,并减少对于无关特征的关注。结果 为了有效验证本文模型的性能,使用两个公共手术器械分割数据集进行性能分析和测试。基于定性分析和定量分析通过消融实验和对比实验,验证了本文算法的有效性和优越性。实验结果表明：在Kvasir-instrument数据集上,本文算法的Dice分数和mIOU （mean intersection over union）值分别为96.46%和94.12%;在Endovis2017 （2017 Endoscopic Vision Challenge）数据集上,本文算法的Dice分数和mIOU值分别为96.27%和92.55%。相较于对比的先进分割网络,本文算法实现了分割精度的有效提升。同时,消融研究也证明了本文算法方案设计的合理性,缺失任何一个子模块都会造成不同程度的精度损失。结论 本文所提出的分割模型有效地融合了CNN和Transformer的优点,同时实现了细节特征和全局上下文信息的充分提取,可以实现手术器械准确、稳定分割。     

心脏动态MRI图像分割的时空多尺度网络

目的 心脏磁共振成像（magnetic resonance imaging,MRI）的自动分割技术有利于在临床诊断中评估心脏的功能参数。然而由于心脏磁共振成像技术产生的图像边界不清晰、各向分辨率异性等特性,现有的大多数方法依旧存在类内不确定、类间不清晰问题。针对这一问题,提出了一种利用时间信息进行特征增强,并利用空间信息进行特征矫正的多输入、多分支和多任务的分割网络（spatio-temporal UNet,ST UNet）。方法 为充分获取动态心脏MRI图像的时间信息,提出了全新的时间增强编码模块,将需要进行分割的目标帧和一段包含了目标帧的连续时间片段作为关键序列一同输入网络。关键序列用于获取更丰富的时间特征,目标帧提供更精准的边缘特征。为了聚集更多有益的特征,更好地融合时域特征和边缘特征,采用可变形全局连接代替传统的长连接,为网络的解码部分提供更广泛的多维特征信息。在训练过程中额外学习空间方向场特征,并使用该特征对原有的分割结果进行矫正。结果 在ACDC （Automated Cardiac Diagnosis Challenge）心脏分割挑战中,以Dice系数和HD （Hausdorff distance）距离为评价指标,该方法在左心室、右心室和左心肌分割的平均Dice系数分别为95%、91.5%和91%,HD距离的平均值分别为6.77、11.39和8.54。结论 实验表明,提出的新型网络能够充分地利用心脏MRI图像的时空信息,有效地提升目标器官的分割效果,更有助于医生对于心脏诊断。     

2D级联CNN模型的放疗危及器官自动分割

目的 精准的危及器官（organs at risk,OARs）勾画是肿瘤放射治疗过程中的关键步骤。依赖人工的勾画方式不仅耗费时力,且勾画精度容易受图像质量及医生主观经验等因素的影响。本文提出了一种2D级联卷积神经网络（convolutional neural network,CNN）模型,用于放疗危及器官的自动分割。方法 模型主要包含分类器和分割网络两部分。分类器以VGG（visual geometry group）16为骨干结构,通过减少卷积层以及加入全局池化极大地降低了参数量和计算复杂度;分割网络则是以U-Net为基础,用双线性插值代替反卷积对特征图进行上采样,并引入Dropout层来缓解过拟合问题。在预测阶段,先利用分类器从输入图像中筛选出包含指定器官的切片,然后使用分割网络对选定切片进行分割,最后使用移除小连通域等方法对分割结果进一步优化。结果 本文所用数据集共包含89例宫颈癌患者的腹盆腔CT（computed tomography）图像,并以中国科学技术大学附属第一医院多位放射医师提供的手工勾画结果作为评估的金标准。在实验部分,本文提出的分类器在6种危及器官（左右股骨、左右股骨头、膀胱和直肠）上的平均分类精度、查准率、召回率和F1-Score分别为98.36%、96.64%、94.1%和95.34%。基于上述分类性能,本文分割方法在测试集上的平均Dice系数为92.94%。结论 与已有的CNN分割模型相比,本文方法获得了最佳的分割性能,先分类再分割的策略能够有效地避免标注稀疏问题并减少假阳性分割结果。此外,本文方法与专业放射医师在分割结果上具有良好的一致性,有助于在临床中实现更准确、快速的危及器官分割。     

结合特征图切分的图像语义分割

目的 基于全卷积神经网络的图像语义分割研究已成为该领域的主流研究方向。然而,在该网络框架中由于特征图的多次下采样使得图像分辨率逐渐下降,致使小目标丢失,边缘粗糙,语义分割结果较差。为解决或缓解该问题,提出一种基于特征图切分的图像语义分割方法。方法 本文方法主要包含中间层特征图切分与相对应的特征提取两部分操作。特征图切分模块主要针对中间层特征图,将其切分成若干等份,同时将每一份上采样至原特征图大小,使每个切分区域的分辨率增大;然后,各个切分特征图通过参数共享的特征提取模块,该模块中的多尺度卷积与注意力机制,有效利用各切块的上下文信息与判别信息,使其更关注局部区域的小目标物体,提高小目标物体的判别力。进一步,再将提取的特征与网络原输出相融合,从而能够更高效地进行中间层特征复用,对小目标识别定位、分割边缘精细化以及网络语义判别力有明显改善。结果 在两个城市道路数据集CamVid以及GATECH上进行验证实验,论证本文方法的有效性。在CamVid数据集上平均交并比达到66.3%,在GATECH上平均交并比达到52.6%。结论 基于特征图切分的图像分割方法,更好地利用了图像的空间区域分布信息,增强了网络对于不同空间位置的语义类别判定能力以及小目标物体的关注度,提供更有效的上下文信息和全局信息,提高了网络对于小目标物体的判别能力,改善了网络整体分割性能。     

融合注意力机制与可变形卷积的多尺度骨病变检测

目的 在计算机断层扫描（computed tomography,CT）影像中对骨组织部位进行自动分析和检测,对于骨科疾病的早期诊断具有重要意义,然而基于人工分析诊断的方法存在效率较低、诊断的准确性和客观一致性无法保证等问题。为此,本文研究构建一个骨组织病变检测的级联神经网络模型,以期为骨科医生的诊断提供支持。方法 在影像预处理阶段使用改进的增强方法对CT影像进行对比度增强并获取影像中的人体有效部位;根据骨骼组织CT值（Hounsfield unit,HU）的分布范围进行阈值分割,得到大致的骨组织区域;以级联目标检测模型为研究基线,结合注意力机制与可变形卷积增加特征图的全局上下文的相关性,以适应形态多变的骨病灶;通过特征融合模块促进不同尺度特征信息之间的融合,并在多个尺度特征图上分别进行骨组织病变训练和预测。结果 在DeepLesion数据集上进行实验,实验结果表明,本文网络对骨病变检测的召回率（recall）、准确率（precision）、F1分数、平均精度（average precision,AP）分别为0.85、0.613、0.712以及0.816;较对照组中性能最优的通用CT病变检测网络对骨病变检测的召回率提升0.15。结论 本文提出的网络模型对CT骨组织病变具有较好的检测效果,能够对骨组织病变判别诊断提供辅助支持,提高诊断效率,降低漏诊风险。     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

结合上下文编码与特征融合的SAR图像分割

目的 图像分割的中心任务是寻找更强大的特征表示,而合成孔径雷达(synthetic aperture radar,SAR)图像中斑点噪声阻碍特征提取。为加强对SAR图像特征的提取以及对特征充分利用,提出一种改进的全卷积分割网络。方法 该网络遵循编码器—解码器结构,主要包括上下文编码模块和特征融合模块两部分。上下文编码模块(contextual encoder module,CEM)通过捕获局部上下文和通道上下文信息增强对图像的特征提取;特征融合模块(feature fusion module,FFM)提取高层特征中的全局上下文信息,将其嵌入低层特征,然后将增强的低层特征并入解码网络,提升特征图分辨率恢复的准确性。结果 在两幅真实SAR图像上,采用5种基于全卷积神经网络的分割算法作为对比,并对CEM与CEM-FFM分别进行实验。结果<显示,该网络分割结果的总体精度(overall accuracy,OA)、平均精度(average accuracy,AA)与Kappa系数比5种先进算法均有显著提升。其中,网络在OA上表现最好,CEM在两幅SAR图像上OA分别为91.082%和90.903%,较对比算法中性能最优者分别提高了0.948%和0.941%,证实了CEM的有效性。而CEM-FFM在CEM基础上又将结果分别提高了2.149%和2.390%,验证了FFM的有效性。结论 本文提出的分割网络较其他方法对图像具有更强大的特征提取能力,且能更好地将低层特征中的空间信息与高层特征中的语义信息融合为一体,使得网络对特征的表征能力更强、图像分割结果更准确。     

改进U-Net型网络的遥感图像道路提取

目的 遥感图像道路提取在城市规划、交通管理、车辆导航和地图更新等领域中发挥了重要作用,但遥感图像受光照、噪声和遮挡等因素以及识别过程中大量相似的非道路目标干扰,导致提取高质量的遥感图像道路有很大难度。为此,提出一种结合上下文信息和注意力机制的U-Net型道路分割网络。方法 使用Resnet-34预训练网络作为编码器实现特征提取,通过上下文信息提取模块对图像的上下文信息进行整合,确保对道路的几何拓扑结构特征的提取;使用注意力机制对跳跃连接传递的特征进行权重调整,提升网络对于道路边缘区域的分割效果。结果 在公共数据集Deep Globe道路提取数据集上对模型进行测试,召回率和交并比指标分别达到0.847 2和0.691 5。与主流方法U-Net和CE-Net（context encoder network）等进行比较,实验结果表明本文方法在性能上表现良好,能有效提高道路分割的精确度。结论 本文针对遥感图像道路提取中道路结构不完整和道路边缘区域不清晰问题,提出一种结合上下文信息和注意力机制的遥感道路提取模型。实验结果表明该网络在遥感图像道路提取上达到良好效果,具有较高的研究和应用价值。     

RGB-D语义分割：深度信息的选择使用

目的 在室内场景语义分割任务中,深度信息会在一定程度上提高分割精度。但是如何更有效地利用深度信息仍是一个开放性问题。当前方法大都引入全部深度信息,然而将全部深度信息和视觉特征组合在一起可能对模型产生干扰,原因是仅依靠视觉特征网络模型就能区分的不同物体,在引入深度信息后可能产生错误判断。此外,卷积核固有的几何结构限制了卷积神经网络的建模能力,可变形卷积(deformable convolution,DC)在一定程度上缓解了这个问题。但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足,限制了进一步发展。基于上述问题,本文提出一种深度信息引导的特征提取(depth guided feature extraction,DFE)模块。方法 深度信息引导的特征提取模块包括深度信息引导的特征选择模块(depth guided feature selection,DFS)和深度信息嵌入的可变形卷积模块(depth embedded deformable convolution,DDC)。DFS可以筛选出关键的深度信息,自适应地调整深度信息引入视觉特征的比例,在网络模型需要时将深度信息嵌入视觉特征。DDC在额外深度信息的引入下,增强了可变形卷积的特征提取能力,可以根据物体形状提取更相关的特征。结果 为了验证方法的有效性,在NYUv2(New York University Depth Dataset V2)数据集上进行一系列消融实验并与当前最好的方法进行比较,使用平均交并比(mean intersection over union,mIoU)和平均像素准确率(pixel accuracy,PA)作为度量标准。结果显示,在NYUv2数据集上,本文方法的mIoU和PA分别为51.9%和77.6%,实现了较好的分割效果。结论 本文提出的深度信息引导的特征提取模块,可以自适应地调整深度信息嵌入视觉特征的程度,更加合理地利用深度信息,且在深度信息的作用下提高可变形卷积的特征提取能力。此外,本文提出的深度信息引导的特征提取模块可以比较方便地嵌入当下流行的特征提取网络中,提高网络的建模能力。     

DeepLabv3plus-IRCNet：小目标特征提取的图像语义分割

目的 为了解决经典卷积神经网络无法满足图像中极小目标特征提取的准确性需求问题,本文基于DeepLabv3plus算法,在下采样过程中引入特征图切分模块,提出了DeepLabv3plus-IRCNet（IR为倒置残差（inverted residual,C为特征图切分（feature map cut））图像语义分割方法,支撑图像极小目标的特征提取。方法 采用由普通卷积层和多个使用深度可分离卷积的倒置残差模块串联组成的深度卷积神经网络提取特征,当特征图分辨率降低到输入图像的1/16时,引入特征图切分模块,将各个切分特征图分别放大,通过参数共享的方式提取特征。然后,将每个输出的特征图进行对应位置拼接,与解码阶段放大到相同尺寸的特征图进行融合,提高模型对小目标物体特征的提取能力。结果 本文方法引入特征图切分模块,提高了模型对小目标物体的关注,充分考虑了图像上下文信息,对多个尺度下的各个中间层特征进行融合,提高了图像分割精度。为验证方法的有效性,使用CamVid（Cambridge-driving labeled video database）数据集对提出的方法进行验证,平均交并比（mean intersection over union,mIoU）相对于DeepLabv3plus模型有所提升。验证结果表明了本文方法的有效性。结论 本文方法充分考虑了图像分割中小目标物体的关注度,提出的DeepLabv3plus-IRCNet模型提升了图像分割精度。     

U-Net通道变换网络在腺体图像分割中的应用

目的 腺体医学图像分割是将医学图像中的腺体区域与周围组织分离出来的过程,对分割精度有极高要求。传统模型在对腺体医学图像分割时,因腺体形态多样性和小目标众多的特点,容易出现分割不精细或误分割等问题,对此根据腺体医学图像的特点对U-Net型通道变换网络分割模型进行改进,实现对腺体图像更高精度分割。方法 首先在U-Net型通道变换网络的编码器前端加入ASPP_SE （spatial pyramid pooling_squeeze-and-excitation networks）模块与ConvBatchNorm模块的组合,在增强编码器提取小目标特征信息能力的同时,防止模型训练出现过拟合现象。其次在编码器与跳跃连接中嵌入简化后的密集连接,增强编码器相邻模块特征信息融合。最后在通道融合变换器（channel cross fusion with Transformer,CCT）中加入细化器,将自注意力图投射到更高维度,提高自注意机制能力,增强编码器全局模块特征信息融合。简化后的密集连接与CCT结合使用,模型可以达到更好效果。结果 改进算法在公开腺体数据集MoNuSeg （multi-organ nuclei segmentation challenge）和Glas （gland segmentation）上进行实验。以Dice系数和IoU （intersection over union）系数为主要指标,在MoNuSeg的结果为80.55%和67.32%,在Glas数据集的结果为92.23%和86.39%,比原U-Net型通道变换网络分别提升了0.88%、1.06%和1.53%、2.43%。结论 本文提出的改进算法在腺体医学分割上优于其他现有分割算法,能满足临床医学腺体图像分割要求。