基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法

在计算机断层扫描（CT）和磁共振成像（MRI）的影像中肝脏与邻近脏器的灰度值相似性都比较高，为自动精确地分割肝脏，提出一种基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法 MAGNet(Multi-scale feature fusion And Grid attention mechanism Network)。首先，通过注意力引导连接模块来连接高层特征和低层特征以提取出重要的上下文信息，并且在注意力引导连接模块中引入网格注意力机制来关注感兴趣的分割区域；然后，通过在单个特征图中按通道数进行分层连接形成多尺度特征融合模块，并用该模块替换基础卷积块以获取多尺度语义信息；最后，利用深度监督机制解决梯度消失、梯度爆炸和收敛过慢等问题。实验结果表明：在3DIRCADb数据集上，与U3-Net+DC方法相比，MAGNet在Dice相似系数（DSC）指标上提升了0.10个百分点，在相对体积差（RVD）指标上降低了1.97个百分点；在Sliver07数据集上，与CANet方法相比，MAGNet在DSC指标上提升了0.30个百分点，在体素重叠误差（VOE）指标上降低了0.68个百分点，在平均...     

结合边缘检测的语义分割算法

针对语义分割中目标边缘模糊与分割不准确的问题,提出一种结合边缘检测的语义分割网络。整个网络由边缘检测网络和语义分割网络并行组成。利用边缘检测网络与语义分割网络分别提取图像的边缘特征和初步的语义分割特征,通过特征融合模块将边缘特征和语义分割特征进行融合,得到最终的语义分割结果。在CamVid数据集和Cityscapes数据集上的实验结果表明,与SegNet算法相比,该算法平均交并比分别提升了1.5和1.8个百分点,验证了所提算法的有效性。     

基于多尺度特征融合的改进臂丛神经分割方法

臂丛神经超声影像信噪比（SNR）低、边缘模糊且人工分割难度较大。现有的分割模型虽然取得了一些成果,但碍于臂丛神经结构目标区域小、形状不规则,分割效果欠佳。针对上述问题,设计基于多尺度特征融合的臂丛神经分割模型,即针对神经部位分割的特征金字塔网络（Ner-FPN）。在特征提取阶段,设计一种仿Xception的结构进行多尺度特征提取;在预测分割阶段,采用双向FPN结构进行特征融合预测。在Kaggle臂丛神经超声影像分割竞赛的BP数据集上的实验结果表明,Ner-FPN模型对臂丛神经分割的Dice相似系数（DSC）可达0.703,与主流的深度学习分割模型U-Net、SegNet相比,分别提高了10.7个百分点和14.5个百分点,对比相同数据集中的其他改进模型QU-Net和Efficient+U-Net,DSC分别提高了5.5个百分点和3.4个百分点,可见所提模型能够起到辅助诊断的效果。     

基于级联Vnet-S网络的CT影像单一器官自动分割算法

为了快速准确地对计算机断层扫描（CT）影像中的器官进行分割，提出基于级联Vnet-S网络的单一器官自动分割算法。首先，使用第一个Vnet-S网络对CT影像中的器官进行粗分割；然后，选择分割结果中的最大连接通量做两次膨胀，根据膨胀后的最大连接通量确定器官边界并提取器官区域；最后，使用第二个Vnet-S网络对器官进行细分割。为了验证算法的性能，采用MICCAI 2017 Liver Tumor Segmentation Challenge （LiTS）数据集进行肝脏分割实验，采用ISBI LUng Nodule Analysis 2016（LUNA16）数据集进行肺分割实验。级联Vnet-S算法在LiTS的70例线上测试数据上的Dice系数为0.9600，在LUNA16的288例测试数据上的Dice系数为0.9810，均高于Vnet-S网络和Vnet网络。实验结果表明，基于级联Vnet-S网络的单一器官分割算法可以准确地对器官进行分割，而且级联Vnet-S算法的计算量小于Unet网络和Vnet网络。     

改进DRLSE的分步式肝脏及肿瘤分割方法

为了提升CT图像肝脏及肝脏肿瘤的分割精度,提出一种改进DRLSE的分步式肝脏及肿瘤分割方法。第一阶段：采用分步式分割方法对肝脏进行分割,（1）采用阈值处理、形态学方法、自适应区域生长方法进行肝脏的粗分割;（2）采用数学形态对分割结果进行优化,进行肝脏的细分割。第二阶段：构造参数梯度形态学和各向异性扩散滤波的距离正则化水平集演化（改进的DRLSE）模型进行肝脏肿瘤分割。实验利用3Dircadb数据集验证方法的有效性,计算了DICE、VOE、ASD和MSD指标评估分割的性能。实验结果表明该方法无需进行训练过程和统计模型的建立,对于复杂的形状和强度变化的CT图像分割效果尤为明显。由定量分析的数值结果显示,分割性能均优于比较算法,提高了分割准确率,具有较强的鲁棒性,为医生诊断和治疗肝癌提供帮助。     

弱监督深度语义分割网络的多源遥感影像水体检测

目的 深度语义分割网络的优良性能高度依赖于大规模和高质量的像素级标签数据。在现实任务中,收集大规模、高质量的像素级水体标签数据将耗费大量人力物力。为了减少标注工作量,本文提出使用已有的公开水体覆盖产品来创建遥感影像对应的水体标签,然而已有的公开水体覆盖产品的空间分辨率低且存在一定错误。对此,提出采用弱监督深度学习方法训练深度语义分割网络。方法 在训练阶段,将原始数据集划分为多个互不重叠的子数据集,分别训练深度语义分割网络,并将训练得到的多个深度语义分割网络协同更新标签,然后利用更新后的标签重复前述过程,重新训练深度语义分割网络,多次迭代后可以获得好的深度语义分割网络。在测试阶段,多源遥感影像经多个代表不同视角的深度语义分割网络分别预测,然后投票产生最后的水体检测结果。结果 为了验证本文方法的有效性,基于原始多源遥感影像数据创建了一个面向水体检测的多源遥感影像数据集,并与基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络进行比较,交并比（intersection-over-union,IoU）分别提升了5.5%和7.2%。结论 实验结果表明,本文方法具有收敛性,并且光学影像和合成孔径雷达（synthetic aperture radar,SAR）影像的融合有助于提高水体检测性能。在使用分辨率低、噪声多的水体标签进行训练的情况下,训练所得多视角模型的水体检测精度明显优于基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络。     

融合超像素和CNN的CT图像分割方法

提出了一种融合超像素和CNN的CT图像器官主动轮廓分割方法。用超像素SLIC方法将CT图像网格化并分配标签;将网格化后图像作为数据集训练CNN网络分割出器官（如肝脏、肺部等）边界超像素,并将这些超像素的种子点连接成为粗分割边界;将粗分割边界作为初始轮廓,进行模糊主动轮廓分割得到CT图像中器官的边界。经过实验对比,该方法对肺部CT图像的分割平均DC系数达到97%、平均ASD系数达到1.23 mm。在肝脏CT图像方面与参考算法进行相比,在保证分割精度的前提下,VOE系数平均减少1%,切片图像的分割时间平均提高10 s。     

高分辨率遥感影像的边缘损失增强地物分割

目的 针对高分辨率遥感影像语义分割中普遍存在的分割精度不高、目标边界模糊等问题,提出一种综合利用边界信息和网络多尺度特征的边缘损失增强语义分割方法。方法 对单幅高分辨率遥感影像,首先通过对VGG-16（visual geometry group 16-layer net）网络引入侧边输出结构,提取到图像丰富的特征细节;然后使用深度监督的短连接结构将从深层到浅层的侧边输出组合起来,实现多层次和多尺度特征融合;最后添加边缘损失增强结构,用以获得较为清晰的目标边界,提高分割结果的准确性和完整性。结果 为了验证所提方法的有效性,选取中国北方种植大棚遥感影像和Google Earth上的光伏板组件遥感影像进行人工标注,并制作实验数据集。在这两个数据集上,将所提方法与几种常用的语义分割方法进行对比实验。实验结果表明,所提方法的精度在召回率为00.9之间时均在0.8以上,在2个数据集上的平均绝对误差分别为0.079 1和0.036 2。同时,通过消融实验分析了各个功能模块对最终结果的贡献。结论 与当前先进方法相比,本文提出的边缘损失增强地物分割方法能够更加精确地从遥感影像的复杂背景中提取目标区域,使分割时提取到的目标拥有更加清晰的边缘。     

基于孪生自适应图卷积算法的点云分类与分割

点云数据具有稀疏性、不规则性和置换不变性,缺乏拓扑信息,导致它的特征难以被提取,为此,提出一种孪生自适应图卷积算法（SAGCA）进行点云分类与分割。首先,构建特征关系图挖掘不规则、稀疏点云特征间的拓扑关系;其次,引入共享卷积学习权重的孪生构图思想,保证点云的置换不变性,使拓扑关系表达更准确;最后,采用整体、局部两种结合方式,将SAGCA与各种处理点云数据的深度学习网络相结合,增强网络的特征提取能力。分别在ScanObjectNN、ShapeNetPart和S3DIS数据集上进行分类、对象部件分割和场景语义分割实验的结果表明,相较于PointNet++基准网络,基于同样的数据集和评价标准,SAGCA分类实验的类别平均准确率（mAcc）提高了2.80个百分点,对象部件分割实验的总体类别平均交并比（IoU）提高了2.31个百分点,场景语义分割实验的类别平均交并比（mIoU）提高了2.40个百分点,说明SAGCA能有效增强网络的特征提取能力,适用于多种点云分类分割任务。     

基于改进U-Net的水草图像分割方法

无人艇（USV）在河道水面作业过程中,水草会缠绕推进器,这是整个业界应用都遇到的困扰。针对水面图像中水草分布的全局性、分散性以及边缘和纹理的复杂性,对U-Net进行改进并用于对图像所有的像素进行分类,以减少网络特征信息的丢失,并加强全局和局部特征的提取,从而提高分割性能。首先,采集多地多时段水草图像数据,制作了一个比较全面的水草语义分割数据集;其次,提出在U-Net中引入三个尺度的图像输入,从而使得网络对特征进行充分提取,并引进三种上采样图像的损失函数来平衡三种尺度的输入图像带来的总体损失;此外,还提出了一种混合注意力模块并引入到网络中,其包含空洞卷积和通道注意增强两个分支;最后,在新构建的水草数据集上对所提网络进行验证。实验结果显示,所提方法的准确率、均交并比（mIoU）和平均像素精度（mPA）值分别可达96.8%、91.22%和95.29%,与U-Net（VGG16）分割方法相比,分别提高了4.62个百分点、3.87个百分点和3.12个百分点。所提方法可应用于水面无人艇对水草的检测,并进行相应的路径规划来实现水草避让。     

基于图卷积网络的文本分割模型

文本分割的主要任务是将文本按照主题相关的原则划分为若干个相对独立的文本块。针对现有文本分割模型提取文本段落结构信息、语义相关性及上下文交互等细粒度特征的不足,提出了一种基于图卷积网络（GCN）的文本分割模型TS-GCN。首先,基于文本段落的结构信息与语义逻辑构建出文本图;然后,引入语义相似性注意力来捕获文本段落节点间的细粒度相关性,并借助GCN实现文本段落节点高阶邻域间的信息传递,以此增强模型多粒度提取文本段落主题特征表达的能力。将所提模型与目前常用作文本分割任务基准的代表模型CATS及其基础模型TLT-TS进行对比。实验结果表明在Wikicities数据集上,TS-GCN在未增加任何辅助模块的情况下比TLT-TS的评价指标P_k 值下降了0.08个百分点;在Wikielements数据集上,相较于CATS和TLT-TS,所提模型的P_k 值分别下降了0.38个百分点和2.30个百分点,可见TLT-TS取得了较好的分割效果。     

基于语义信息的精细化边缘检测方法

边缘检测是在图像中准确地提取视觉上显著的边缘像素,以得到图像的边缘信息,然而传统基于全卷积网络的边缘检测方法通常存在预测边缘粗糙、模糊等问题。提出一种语义信息指导的精细化边缘检测方法。通过图像分割子网络将学习到的图像语义信息传递给边缘检测子网络,同时利用图像语义信息指导边缘检测子网络,其引入具有注意力机制与残差结构的特征融合模块,以生成精细的图像边缘,增强不同尺度的特征融合。在此基础上,结合图像分割任务和图像边缘检测任务中的代价函数定义新的模型代价函数并进行训练,进一步提高网络边缘检测质量。在BSDS500数据集上的实验结果验证了该方法的有效性,结果表明,该方法的固定轮廓阈值与图像最佳阈值分别达到0.818和0.841,相比HED、RCF等主流边缘检测方法,能够预测更精细的边缘图像,且鲁棒性更优。     

基于可分离金字塔的轻量级实时语义分割算法

针对现有语义分割算法参数量过多、内存占用巨大导致其很难满足自动驾驶需要等现实应用的问题,提出一种基于可分离金字塔模块（SPM）的新颖、有效且轻量的实时语义分割算法。首先,利用特征金字塔形式的分解卷积和扩张卷积来构建瓶颈结构,从而以一种简单但有效的方式提取局部和上下文信息;然后,提出基于计算机视觉注意力的上下文通道注意力（CCA）模块,来利用深层语义修改浅层特征图通道权重优化分割效果。实验结果显示：所提出的算法在Cityscapes测试集上以每秒91帧的速度达到了71.86%的平均交并比（mIoU）。相较高效残差分解卷积网络（ERFNet）,所提算法mIoU提高了3.86个百分点,处理速度是其2.2倍;与最新的非局部高效实时算法（LRNNet）相比,所提算法mIoU略低0.34个百分点,但处理速度每秒上升了20帧。实验结果表明,所提算法有助于完成如自动驾驶中要求的高效、准确的街道场景图像分割任务。     

自然场景下多区域特征融合的混合航拍图像分割算法

混合图像分割算法所包含的两个部件中,初始分割不能形成低误分割率的过分割区域集,而区域合并存在缺少区域合并标号选择机制,且存在确定区域合并停止时刻的方式常不满足场景需求的不足。针对以上问题,提出一种基于多级区域信息融合的混合图像分割算法（MRIHS）。首先,使用改进的马尔可夫模型平滑超像素块,以形成初始分割区域;其次,在对初始分割区域进行相似性度量并选定待合并区域对后,利用设计出的区域标号选择机制来选定合并后的区域标号;最后,定义一种最佳合并状态以确定合并停止时刻。为验证MRIHS性能,在视觉对象类别（VOC）、剑桥驾驶标签视频数据库（CamVid）、自建的河湖巡检（rli）数据集上,将其与基于多维特征融合的混合图像分割算法（MFHS）、改进的基于区域合并的FCM图像分割算法（IFRM）、基于段间和边界均质性的混合图像分割算法（IBHHS）、基于多维色彩变换与一致性的混合图像分割算法（MCCHS）进行对比。结果表明：MRIHS在VOC、rli数据集上的边缘召回率（BR）、可达分割精准度（ASA）、查全率、重合率至少分别比其余算法提高了0.43个百分点、0.35个百分点、0.41个百分点、0.84个百分点;欠分割误差（UE）至少减少了0.65个百分点。在CamVid数据集上,MRIHS的查全率、重合率指标至少比其余算法提高了1.11个百分点、2.48个百分点。     

面向医学图像分割的多注意力融合网络

在深度医学图像分割领域中,TransUNet是当前先进的分割模型之一。但其编码器未考虑相邻分块之间的局部联系,在解码器上采样过程中缺乏通道间信息的交互。针对以上问题,提出一种多注意力融合网络（MFUNet）模型。首先,在编码器部分引入特征融合模块（FFM）来增强模型对Transformer中相邻分块间的局部联系并且保持图片本身的空间位置关系;其次,在解码器部分引入双通道注意力（DCA）模块来融合多级特征的通道信息,以增强模型对通道间关键信息的敏感度;最后,通过结合交叉熵损失和Dice损失来加强模型对分割结果的约束。在Synapse和ACDC公共数据集上进行实验,可以看出,MFUNet的Dice相似系数（DSC）分别达到了81.06%和90.91%;在Synapse数据集上的Hausdorff距离（HD）与基线模型TransUNet相比减小了11.5%;在ACDC数据集中右心室和心肌两部分的分割精度与基线模型TransUNet相比分别提升了1.43个百分点和3.48个百分点。实验结果表明,MFUNet在医学图像的内部填充和边缘预测方面均能实现更好的分割效果,有助于提升医生在临床实践中的诊断效率。     

基于生成对抗网络的知识蒸馏数据增强

在图像分类和工业视觉检测过程中,缺陷样本量少导致神经网络分类器训练效率低及检测精度差,直接采用原始的离散标签又无法使网络分类器学习到不同类别间的相似度信息。针对上述问题,在区域丢弃算法的基础上,提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补,减少区域丢弃产生的非信息噪声。在补丁生成网络中,保留生成对抗网络的编码器-解码器结构,利用编码器卷积层提取特征,通过解码器对特征图上采样生成补丁。在样本标签生成过程中,采用知识蒸馏算法中的教师-学生训练模式,按照交叉检验方式训练教师模型,根据教师模型生成的软标签对学生模型的训练进行指导,提高学生模型对特征的学习能力。实验结果表明,与区域丢弃算法相比,该算法在CIFAR-100、CIFAR-10数据集图像分类任务上的Top-1 Err、Top-5 Err分别降低3.1、0.8、0.5、0.6个百分点,在汽车转向器轴承数据集语义分割任务上的平均交并比和识别准确率分别提高2.8、2.3个百分点。     

基于3D深度残差网络与级联U-Net的缺血性脑卒中病灶分割算法

为了解决人工勾画缺血性脑卒中病灶费时费力且易引入主观差异的问题,提出了一种基于三维（3D）深度残差网络与级联U-Net的自动分割算法。首先,为了有效利用图像的3D上下文信息并改善类不平衡现象,将脑卒中核磁共振图像（MRI）采样成图像块作为网络输入;然后,利用基于3D深度残差网络与级联U-Net的分割模型对图像块进行特征提取,获得粗分割结果;最后,对粗分割结果进行精分割处理。在ISLES数据集上的实验结果表明,该算法的Dice系数可达到0.81,精确度可达到0.81,灵敏度可达到0.81,平均对称表面距离（ASSD）距离系数为1.32,HD为22.67。所提算法与3D U-Net算法、基于水平集算法、基于模糊C均值（FCM）算法和基于卷积神经网络（CNN）算法相比分割性能更好。     

深浅层表示融合的半监督视频目标分割

为了解决半监督视频目标分割任务中,分割精度与分割速度难以兼顾以及无法对视频中与前景相似的背景目标做出有效区分的问题,提出一种基于深浅层特征融合的半监督视频目标分割算法。首先,利用预先生成的粗糙掩膜对图像特征进行处理,以获取更鲁棒的特征;然后,通过注意力模型提取深层语义信息;最后,将深层语义信息与浅层位置信息进行融合,从而得到更加精确的分割结果。在多个流行的数据集上进行了实验,实验结果表明：在分割运行速度基本不变的情况下,所提算法在DAVIS 2016数据集上的雅卡尔（J）指标相较于学习快速鲁棒目标模型的视频目标分割（FRTM）算法提高了1.8个百分点,综合评价指标为J和F得分的均值J&F相较于FRTM提高了2.3个百分点;同时,在DAVIS 2017数据集上,所提算法的J指标比FRTM提升了1.2个百分点,综合评价指标J&F比FRTM提升了1.1个百分点。以上结果充分说明所提算法能够在保持较快分割速度的情况下实现更高的分割精度,并且能够有效区别相似的前景与背景目标,具有较强的鲁棒性。可见所提算法在平衡速度与精度以及有效区分前景背景方面的优越性能。