融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。     

融合多尺度门控卷积和窗口注意力的结肠息肉分割

结肠息肉的准确分割对于切除异常组织和降低息肉转换为结肠癌的风险具有重要意义. 目前的结肠息肉分割模型在对息肉图像进行分割时存在着较高的误判率和分割精度较低的问题. 为了实现对息肉图像的精准分割, 提出了一种融合多尺度门控卷积和窗口注意力的结肠息肉分割模型(MGW-Net). 首先, 设计一种改进的多尺度门控卷积块(MGCM)取代U-Net的卷积块, 来实现对结肠息肉图像信息的充分提取. 其次, 为了减少跳跃连接处的信息损失并充分利用网络底部信息, 结合改进的空洞卷积和混合增强的残差窗口注意力构建了多信息融合增强模块(MFEM), 以优化跳跃连接处的特征融合. 在CVC-ClinicDB和Kvasir-SEG数据集上的实验结果表明, MGW-Net的相似性系数分别为93.8%和92.7%, 平均交并比分别为89.4%和87.9%, 在CVC-ColonDB、CVC-300和ETIS数据集上的实验结果表明其拥有较强的泛化性能, 从而验证了MGW-Net可以有效地提高对结肠息肉分割的准确性和鲁棒性.     

深度迭代融合的脑部磁共振图像颅骨去除网络

目的 去除颅骨是脑部磁共振图像处理和分析中的重要环节。由于脑部组织结构复杂以及采集设备噪声的影响导致现有方法不能准确分割出脑部区域,为此提出一种深度迭代融合的卷积神经网络模型实现颅骨的准确去除。方法 本文DIFNet（deep iteration fusion net）模型的主体结构由编码器和解码器组成,中间的跳跃连接方式由多个上采样迭代融合构成。其中编码器由残差卷积组成,以便浅层语义信息更容易流入深层网络,避免出现梯度消失的现象。解码器网络由双路上采样模块构成,通过具有不同感受野的反卷积操作,将输出的特征图相加后作为模块输出,有效还原更多细节上的特征。引入带有L2正则的Dice损失函数训练网络模型,同时采用内部数据增强方法,有效提高模型的鲁棒性和泛化能力。结果 为了验证本文模型的分割性能,分别利用两组数据集与传统分割算法和主流的深度学习分割模型进行对比。在训练数据集同源的NFBS（neurofeedback skull-stripped）测试数据集上,本文方法获得了最高的平均Dice值和灵敏度,分别为99.12%和99.22%。将在NFBS数据集上训练好的模型直接应用于LPBA40（loni probabilistic brain atlas 40）数据集,本文模型的Dice值可达98.16%。结论 本文提出的DIFNet模型可以快速、准确地去除颅骨,相比于主流的颅骨分割模型,精度有较高提升,并且模型具有较好的鲁棒性和泛化能力。     

面向乳腺超声图像分割的混合监督双通道反馈U-Net

目的 基于超声图像的乳腺病灶分割是实现乳腺癌计算机辅助诊断和定量分析的基本预处理步骤。由于乳腺超声图像病灶边缘通常较为模糊,而且缺乏大量已标注的分割图像,增加了基于深度学习的乳腺超声图像分割难度。本文提出一种混合监督双通道反馈U-Net（hybrid supervised dual-channel feedback U-Net,HSDF-U-Net）算法,提升乳腺超声图像分割的准确性。方法 HSDF-U-Net通过融合自监督学习和有监督分割实现混合监督学习,并且进一步通过设计双通道反馈U-Net网络提升图像分割准确性。为了改善标记数据有限的问题,首先在自监督学习框架基础上结合标注分割图像中的标签信息,设计一种边缘恢复的辅助任务,以实现对病灶边缘表征能力更强的预训练模型,然后迁移至下游图像分割任务。为了提升模型在辅助边缘恢复任务和下游分割任务的表现,将循环机制引入经典的U-Net网络,通过将反馈的输出结果重新送入另一个通道,构成双通道编码器,然后解码输出更精确的分割结果。结果 在两个公开的乳腺超声图像分割数据集上评估HSDF-U-Net算法性能。HSDF-U-Net对Dataset B数据集中的图像进行分割获得敏感度为0.848 0、Dice为0.826 1、平均对称表面距离为5.81的结果,在Dataset BUSI（breast ultrasound images）数据集上获得敏感度为0.803 9、Dice为0.803 1、平均对称表面距离为6.44的结果。与多种典型的U-Net分割算法相比,上述结果均有提升。结论 本文所提HSDF-U-Net算法提升了乳腺超声图像中的病灶分割的精度,具备潜在的应用价值。     

轻量化Transformer目标跟踪数据标注算法

目的 基于深度模型的跟踪算法往往需要大规模的高质量标注训练数据集,而人工逐帧标注视频数据会耗费大量的人力及时间成本。本文提出一个基于Transformer模型的轻量化视频标注算法（Transformer-based label network,TLNet）,实现对大规模稀疏标注视频数据集的高效逐帧标注。方法 该算法通过Transformer模型来处理时序的目标外观和运动信息,并融合前反向的跟踪结果。其中质量评估子网络用于筛选跟踪失败帧,进行人工标注;回归子网络则对剩余帧的初始标注进行优化,输出更精确的目标框标注。该算法具有强泛化性,能够与具体跟踪算法解耦,应用现有的任意轻量化跟踪算法,实现高效的视频自动标注。结果 在2个大规模跟踪数据集上生成标注。对于LaSOT （large-scale single object tracking）数据集,自动标注过程仅需约43 h,与真实标注的平均重叠率（mean intersection over union,mIoU）由0.824提升至0.871。对于TrackingNet数据集,本文使用自动标注重新训练3种跟踪算法,并在3个数据集上测试跟踪性能,使用本文标注训练的模型在跟踪性能上超过使用TrackingNet原始标注训练的模型。结论 本文算法TLNet能够挖掘时序的目标外观和运动信息,对前反向跟踪结果进行帧级的质量评估并进一步优化目标框。该方法与具体跟踪算法解耦,具有强泛化性,并能节省超过90%的人工标注成本,高效地生成高质量的视频标注。     

U-Net通道变换网络在腺体图像分割中的应用

目的 腺体医学图像分割是将医学图像中的腺体区域与周围组织分离出来的过程,对分割精度有极高要求。传统模型在对腺体医学图像分割时,因腺体形态多样性和小目标众多的特点,容易出现分割不精细或误分割等问题,对此根据腺体医学图像的特点对U-Net型通道变换网络分割模型进行改进,实现对腺体图像更高精度分割。方法 首先在U-Net型通道变换网络的编码器前端加入ASPP_SE （spatial pyramid pooling_squeeze-and-excitation networks）模块与ConvBatchNorm模块的组合,在增强编码器提取小目标特征信息能力的同时,防止模型训练出现过拟合现象。其次在编码器与跳跃连接中嵌入简化后的密集连接,增强编码器相邻模块特征信息融合。最后在通道融合变换器（channel cross fusion with Transformer,CCT）中加入细化器,将自注意力图投射到更高维度,提高自注意机制能力,增强编码器全局模块特征信息融合。简化后的密集连接与CCT结合使用,模型可以达到更好效果。结果 改进算法在公开腺体数据集MoNuSeg （multi-organ nuclei segmentation challenge）和Glas （gland segmentation）上进行实验。以Dice系数和IoU （intersection over union）系数为主要指标,在MoNuSeg的结果为80.55%和67.32%,在Glas数据集的结果为92.23%和86.39%,比原U-Net型通道变换网络分别提升了0.88%、1.06%和1.53%、2.43%。结论 本文提出的改进算法在腺体医学分割上优于其他现有分割算法,能满足临床医学腺体图像分割要求。     

融合上下文和注意力的视盘视杯分割

目的 青光眼会对人的视力造成不可逆的损伤,从眼底图像中精确地分割视盘和视杯是青光眼诊治中的一项重要工作,为有效提升视盘和视杯的分割精度,本文提出了融合上下文和注意力的视盘视杯分割方法（context attention U-Net,CA-Net）。方法 进行极坐标转换,在极坐标系下进行分割可以平衡数据分布。使用修改的预训练ResNet作为特征提取网络,增强特征提取能力。采用上下文聚合模块（context aggregation module,CAM）多层次聚合图像上下文信息,使用注意力指导模块（attention guidance module,AGM）对融合后的特征图进行特征重标定,增强有用特征;使用深度监督思想同时对浅层网络权重进行训练,同时在视杯分割网络中引入了先验知识,约束对视杯的分割。结果 在3个数据集上与其他方法进行对比实验,在Drishti-GS1数据集中,分割视盘的Dice （dice coefficient）和IOU （intersection-over-union）分别为0.981 4和0.963 5,分割视杯的Dice和IOU分别为0.926 6和0.863 3;在RIM-ONE （retinal image database for optic nerve evaluation）-v3数据集中,分割视盘的Dice和IOU分别为0.976 8和0.954 6,分割视杯的Dice和IOU分别为0.864 2和0.760 9;在Refuge数据集中,分割视盘的Dice和IOU分别为0.975 8和0.952 7,分割视杯的Dice和IOU分别为0.887 1和0.797 2,均优于对比算法。同时,消融实验验证了各模块的有效性,跨数据集实验进一步表明了CA-Net的泛化性,可视化图像也表明CA-Net能够分割出更接近标注的分割结果。结论 在Drishti-GS1、RIM-ONE-v3和Refuge三个数据集的测试结果表明,CA-Net均能取得最优的视盘和视杯分割结果,跨数据集测试结果也更加表明了CA-Net具有良好的泛化性能。     

多通道融合可分离卷积神经网络下的脑部磁共振图像分割

目的 卷积神经网络方法可以提取到图像的深层次信息特征,在脑部磁共振图像（MRI）分割领域展现出优秀的性能。但大部分深度学习方法都存在参数量大,边缘分割不准确的问题。为克服上述问题,本文提出一种多通道融合可分离卷积神经网络（MFSCNN）模型分割脑图像。方法 首先,在训练集中增加待分割脑结构及其边缘像素点的权重,强制使网络学习如何分割脑结构边缘部分,从而提升整体脑结构分割的准确率。其次,引入残差单元,以避免梯度弥散,同时使用深度可分离卷积代替原始的卷积层,在不改变网络每个阶段特征通道数的情况下,减少了网络训练的参数数量和训练时间,降低了训练成本。最后,将不同阶段的特征信息合并在一起,进行通道混洗,得到同时包含深浅层次信息的增强信息特征,加入到网络中进行训练,每个阶段的输入特征信息更丰富,学习特征的速度和收敛速度更快,显著地提升了网络的分割性能。结果 在IBSR（internet brain segmentation repositor）数据集上的分割结果表明,MFSCNN的分割性能相对于普通卷积神经网络（CNN）方法要明显提高,且在边缘复杂的部分,分割效果更理想,Dice和IOU（intersection over union）值分别提升了0.9% 6.6%,1.3% 9.7%。在边缘平滑的部分,MFSCNN方法比引入残差块的神经网络模型（ResCNN）和引入局部全连接模块的神经网络模型（DenseCNN）分割效果要好,而且MFSCNN的参数量仅为ResCNN的50%,DenseCNN的28%,在提升分割性能的同时,也降低了运算复杂度,缩短了训练时间。同时,在IBSR、Hammer67n20、LPBA40这3个数据集上,MFSCNN的分割性能比现有的其他主流方法更出色。结论 本文提出的MFSCNN方法,加强了网络特征的信息量,提升了网络模型的训练速度,在不同数据集上均获得更精确的MR脑部图像分割结果。     

语义拉普拉斯金字塔多中心乳腺肿瘤分割网络

目的 乳腺肿瘤分割对乳腺癌的辅助诊疗起着关键作用,但现有研究大多集中在单中心数据的分割上,泛化能力不强,无法应对临床的复杂数据。因此,本文提出一种语义拉普拉斯金字塔网络（semantic Laplacian pyramids network,SLAPNet）,实现多中心数据下乳腺肿瘤的准确分割。方法 SLAPNet主要包含高斯金字塔和语义金字塔两个结构,前者负责得到多尺度的图像输入,后者负责提取多尺度的语义特征并使语义特征能在不同尺度间传播。结果 网络使用Dice相似系数（Dice similarity coefficient,DSC）作为优化目标。为了验证模型性能,采用多中心数据进行测试,与AttentionUNet、PSPNet （pyramid scene parsing network）、UNet 3+、MSDNet （multiscale dual attention network）、PyConvUNet （pyramid convolutional network）等深度学习模型进行对比,并利用DSC和Jaccard系数（Jaccard coefficient,JC）等指标进行定量分析。使用内部数据集测试时,本文模型乳腺肿瘤分割的DSC为0.826;使用公开数据集测试时,DSC为0.774,比PyConvUNet提高了约1.3%,比PSPNet和UNet3+提高了约1.5%。结论 本文提出的语义拉普拉斯金字塔网络,通过结合多尺度和多级别的语义特征,可以在多中心数据上准确实现乳腺癌肿瘤的自动分割。     

面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络

目的 准确定位超声甲状腺结节对甲状腺癌早期诊断具有重要意义,但患者结节大小、形状以及位置的不确定性极大影响了结节分割的准确率和模型的泛化能力。为了提高超声甲状腺结节分割的精度,增强泛化性能并降低模型的参数量,辅助医生诊断疾病,减少误诊,提出一种面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络。方法 首先提出一种网络框架,形状与字母h相似,由一个编码器和两个解码器组成,引入深度可分离卷积缩小网络尺寸。编码器用于提取图像特征,且构建增强下采样模块来减少下采样时造成的信息损失,增强解码器特征提取的能力。第1个解码器负责获取图像的初步分割信息;第2个解码器通过融合第1个解码器预先学习到的信息来增强结节的特征表达,提升分割精度,并设计了融合卷积池化金字塔实现多尺度特征融合,增强模型的泛化能力。结果 该网络在内部数据集上的Dice相似系数（Dice similarity coefficients, DSC）、豪斯多夫距离（Hausdorff distance,HD）、灵敏度（sensitivity,SEN）和特异度（specificity,SPE）分别为0.872 1、0.935 6、0.879 7和0.997 3,在公开数据集DDTI（digital database thyroid image）上,DSC和SPE分别为0.758 0和0.977 3,在数据集TN3K（thyroid nodule 3 thousand）上的重要指标DSC和HD分别为0.781 5和4.472 6,皆优于其他模型。结论 该网络模型以较低的参数量提升了甲状腺超声图像结节的分割效果,增强了泛化性能。     

融合注意力机制的肠道息肉分割多尺度卷积神经网络

肠道息肉分割能够提供息肉在结肠中的位置和形态信息,方便医生依据其结构变化程度来推断 癌变可能性,有利于结肠癌的早期诊断和治疗。针对许多现有的卷积神经网络所提取的多尺度特征有限,且常 引入冗余和干扰特征,难以应对复杂多变的肠道息肉分割问题,提出了一种融合注意力机制的肠道息肉分割多 尺度卷积神经网络(CNN)。首先,设计不同比例金字塔池化策略提取丰富的多尺度上下文信息;然后,通过在 网络中融入通道注意力机制,模型能够根据目标自适应地选择合适的局部上下文信息和全局上下文信息进行特 征集成;最后,联合金字塔池化策略和通道注意力机制构建多尺度有效语义融合解码网络,增强模型对形状、 大小复杂多变的肠道息肉分割的鲁棒性。实验结果表明,本文模型分割的 Dice 系数、IoU 和灵敏度在 CVC-ClinicDB 数据集上分别为 90.6%,84.4%和 91.1%,在 ETIS-Larib 数据集上分别为 80.6%,72.6%和 79.0%, 其能够从肠镜图像中准确、有效地分割出肠道息肉。     

融合PVTv2和多尺度边界聚合的结直肠息肉分割算法

考虑到结直肠息肉图像中病灶区域和周围粘液存在对比度低、边界模糊和形状不规则等复杂特性,导致现有大部分算法无法实现高精准的分割结直肠息肉。鉴于以上难点,提出一种融合PVTv2和多尺度边界聚合的结直肠息肉分割算法。首先,利用PVTv2逐层提取肠息肉图像中的病灶特征,解决传统卷积神经网络对病灶区域特征提取能力不足的问题;然后,针对网络对复杂病灶区域的空间特征信息表征能力不强的问题,在网络跳跃连接处构建多尺度上下文空间感知模块;其次,设计多尺度挤压适配融合模块聚合不同尺度的特征信息,以减少各个尺度特征的语义差异;最后,为进一步加强边缘细节特征的识别能力,创造性构造残差轴向双边界细化模块。该算法在Kvasir-SEG和CVC-ClinicDB数据集上进行大量实验验证,其相似性系数分别为93.29%和94.52%,平均交并比分别为88.36%和89.88%。实验结果表明,对于复杂的病灶区域以及病灶边界模糊的情况,所提算法在分割精度上均有较大的提升。     

融合滤波增强和反转注意力网络用于息肉分割

准确分割结肠镜获取图像中的息肉区域,可辅助医生诊断肠道疾病,但下采样过程中息肉区域结构信息缺失,现有方法存在过度分割和欠分割的问题。为解决以上问题,提出融合滤波增强和反转注意力分割网络（FFRNet）。首先,在跳级连接中加入了滤波增强模块（FEM）,以增强下采样特征中局部病灶区域的结构信息;其次,通过聚合浅层特征来获取全局特征;最后,在上采样过程中采用多尺度反转注意力融合机制（MAFM）,结合全局特征和上采样特征生成反转注意力权重,逐层挖掘特征中的息肉区域信息,引导网络建立目标区域与边界之间的关系,以提高模型对息肉区域分割的完整性。在Kvasir和CVC-ClinicDB数据集上,与不确定性增强上下文注意力网络（UACANet）相比,FFRNet的Dice相似系数（DSC）分别提升了0.22%和0.54%。实验结果表明,FFRNet能够有效提高息肉图像分割精度,同时具有较好的泛化能力。     

基于卷积胶囊编码器和多尺度局部特征共现的图像分割网络

U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet (network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。     

轻量化卷积神经网络在SAR图像语义分割中的应用

针对合成孔径雷达图像的语义分割问题,构建了一个全新的TerraSAR-X语义分割数据集GDUT-Nansha。然后,为解决传统深度学习方法模型体积大,难以在样本数量偏少的合成孔径雷达图像数据集上应用的问题,对轻量化卷积神经网络ENet模型进行了分析和改造。提出了一种改进的轻量化卷积神经网络模型(revised weighted loss eNet,RWL-ENet);针对合成孔径雷达图像数据集样本不平衡问题,使用了带有权重的损失函数。通过和其他经典卷积神经网络语义分割模型的对比实验,验证了新数据集的可靠性;同时,在参数量和模型体积远远小于其他网络模型的前提下,RWL-ENet模型在像素精度、平均像素精度、平均交并比三个定量指标上分别达到了0.884、0.804和0.645。     

基于深度学习的息肉分割网络GLIA-Net

随着卷积神经网络的发展,现有改进的息肉分割U-Net网络能有效提高息肉分割准确率,但引入了大量参数,导致模型复杂度增大且计算效率降低。提出具有低复杂度、高性能的网络GLIA-Net,用于分割内窥镜图像中的息肉区域。以U-Net为基础架构,在双层卷积后加入全局与局部交互式注意力融合模块。全局注意力基于2个可学习的外部储存器,通过2个级联的线性层和归一化层来实现。局部注意力基于局部跨通道交互策略,将一维卷积代替全连接层,在保证网络性能的同时降低计算复杂度,加快网络的计算速度。结合高效通道注意力和外部注意力的优点,在不引入过多参数量和计算量的前提下融合局部注意力和全局注意力,同时在通道与空间2个维度上引入注意力机制,提取丰富的多尺度语义信息。在Kvasir数据集上的实验结果表明,GLIA-Net的平均交并比、Dice、体积重叠误差分别为69.4%、80.7%和5.0%,与ExfuseNet、SegNet、ResUNet等网络相比,在保证网络计算效率的同时具有较优的分割精度。