基于三维全卷积网络的肝脏和肝癌分割算法研究

为了解决计算机断层扫描(computed tomography,CT)影像中肝脏和肝癌的准确分割问题,提出了基于三维全卷积网络的肝脏分割算法和肝癌分割算法。肝脏分割算法和肝癌分割算法都采用Vnet网络进行分割。在肝脏分割算法中,采用了形态学方法进行后处理,提高了肝脏分割准确率。在肝癌分割算法中,采用了组合损失函数训练Vnet网络,使得Vnet网络更好地收敛,并加入后处理提高了肝癌分割准确率。为了验证算法的性能,采用MICCAI 2017 Liver Tumor Segmentation Challenge(LiTS)数据集进行了肝脏分割和肝癌分割的5折交叉验证实验。肝脏分割算法在测试集的平均分割准确率为0.9510,高于Unet网络和3D Unet网络;肝癌分割算法的平均分割准确率为0.712。实验结果表明,肝脏分割算法可以准确地对肝脏进行分割,肝癌分割算法也达到了较高的准确率。     

结合全卷积网络的无监督视频目标分割

对视频中的目标进行像素级分割是计算机视觉领域的研究热点，完全没有用户标注的无监督视频分割对分割算法提出了更高的要求。近几年在分割中常使用基于帧间运动信息进行建模的方法，即用光流等运动信息预测目标轮廓，再结合颜色等特征建立模型进行分割。针对这些方法产生的前景背景混淆以及边缘粗糙等问题，本文提出结合全卷积网络的视频目标分割方法。首先通过全卷积网络预测视频序列中显著目标的轮廓，结合光流获得的运动显著性标签进行修正，然后建立时间-空间图模型，运用图割的方法获得最终的预测标签。在SegTrack v2以及DAVIS这2个通用数据集上进行评估，结果表明本文方法较基于帧间运动信息的方法在分割效果上有明显的提高。     

结合全卷积网络与CycleGAN的图像实例风格迁移

目的 传统的图像风格迁移主要在两个配对的图像间进行。循环一致性对抗网络（CycleGAN）首次将生成对抗网络应用于图像风格迁移,实现无配对图像之间的风格迁移,取得了一定的效果,但泛化能力较弱,当训练图像与测试图像之间差距较大时,迁移效果不佳。针对上述问题,本文提出了一种结合全卷积网络（FCN）与CycleGAN的图像风格迁移方法,使得图像能够实现特定目标之间的实例风格迁移。同时验证了训练数据集并非是造成CycleGAN风格迁移效果不佳的因素。方法 首先结合全卷积网络对图像进行语义分割,确定风格迁移的目标,然后将风格迁移后的图像与目标进行匹配,确定迁移对象实现局部风格迁移。为验证CycleGAN在训练图像和测试图像差距较大时风格转移效果不佳并非因缺少相应训练集,制作了训练数据集并带入原网络训练。结果 实验表明结合了全卷积网络与CycleGAN的图像风格迁移方法增加了识别能力,能够做到图像局部风格迁移而保持其余元素的完整性,相对于CycleGAN,该方法能够有效抑制目标之外区域的风格迁移,实验中所用4张图片平均只有4.03%的背景像素点发生了改变,实例迁移效果得到很好提升。而将自制训练集带入原网络训练后,依然不能准确地在目标对象之间进行风格迁移。结论 结合了全卷积网络与CycleGAN的方法能够实现图像的局部风格迁移而保持目标对象之外元素不发生改变,而改变训练数据集对CycleGAN进行实例风格迁移准确性的影响并不大。     

基于全卷积网络的图像语义分割方法综述

自全卷积网络(Fully Convolutional Network,FCN)提出以后,应用深度学习技术在图像语义分割领域受到了许多计算机视觉和机器学习研究者的关注,现在这一方向已经成为人工智能方向的研究热点.FCN的核心思想是搭建一个全卷积网络,输入任意尺寸的图像,经过模型的有效学习和推理得到相同尺寸的输出.FCN的...     

全卷积深度迁移网络的联合分割

近年来,随着超声空化在医疗上的应用,超声空化治疗又重新回到了人们的视野,因其在处理血管阻塞方面的天然的优势,引起了广泛的讨论和研究。为实现准确的实时治疗,提出了一种基于全卷积网络（Fully Convolutional Networks,FCN）的超声血管分割方法。全卷积深度迁移分割网络（Full Convolutional deep Aggregation Migration Network,AMFCN）通过对全卷积网络使用对称网络连接,深度聚合模式以深度提取图像特征,并优化数据增强方式,添加迁移学习模型等方法,有效地利用已有数据进行数据拓展,缓解医学图像数据过少的影响。实验结果表明,该研究方法在超声血管图像上取得了较好的分割性能,能准确地分割出血管区域。     

结合超像素和U型全卷积网络的胰腺分割方法

为了提高现有胰腺图像分割方法性能,提出一种超像素和U型全卷积网络(U-NET)结合的胰腺图像分割方法.首先,提出一种胰腺CT图像的超像素分割方法;然后,依据分割结果对图像进行映射降维得到腹部视觉概要图像,再将其与超像素位置信息作为U型全卷积网络的输入;最后,得到分割好的胰腺器官.在NIH胰腺公开数据集上的实验结果表明,文中方法将戴斯相似系数(DSC)提高到87.9%,高于目前已有的胰腺图像分割方法.并且其运算速度高于U-NET.     

全卷积深度学习网络的细胞显微图像分割

针对具有复杂纹理特征的细胞显微图像分割问题,提出了融合BN(Batch Normalization)与全卷积深度学习网络的细胞图像分割算法.构建全卷积增强型U-Net网络来获取细胞图像的特征信息;在构建的网络中融合改进的BN算法缓解训练时网络中间层数据分布改变而降低网络泛化能力的问题,既固定了每层数据的分布,又避免破坏...     

基于改进全卷积网络的小麦图像分割

针对漫水填充结合模板匹配的双面联合分割方法对小麦图像进行分割存在过分割以及欠分割现象,提出基于改进的全卷积网络的图像语义分割方法.该方法融入前二个池化层的输出信息作为Softmax层的输入,探讨并得出了只融入第二个池化层的输出信息的网络模型优于同时融入前两个池化层的网络模型,引入Batch Normalization层到网络层中,并且针对小麦图像的需要将原来的21类网络输出类别更换为2类输出.实验采用建立的小麦图像数据库,结果表明改进后的网络使得过分割和欠分割现象明显减少,分割效果得到了显著提升,并且使用F-measure定量分析了模型的有效性.     

轮廓指导的层级混合多任务全卷积网络

传统的深度多任务网络通常在不同任务之间共享网络的大部分层(即特征表示层).由于这样做会忽视不同任务各自的特殊性,所以往往会制约其适应数据的能力.提出了一种层级混合的多任务全卷积网络HFFCN,以解决CT图像中的前列腺分割问题.特别地,使用一个多任务框架来解决这个问题.这个框架包括一个分割前列腺的主任务和一个回归前列腺边界的辅助任务.这里,第2个任务主要是用来精确地描述在CT图像中模糊的前列腺边界.因此,HFFCN架构是一个双分支的结构,包含一个编码主干和两个解码分支.不同于传统的多任务网络,提出了一个信息共享模块,用以在两个解码分支之间共享信息.这使得HFFCN可以学习任务的通用层级信息,同时保留一些不同任务各自的特征表示.在一个包含有313个病人的313张计划阶段图片的CT图像数据集上做了详细的实验.实验结果证明了HFFCN网络可以超越现有其他先进的分割方法或者传统的多任务学习模型.     

基于全卷积神经网络的肝脏CT影像分割研究

针对腹部CT影像邻近器官对比度较低及因个体肝脏形状差异较大等引起肝脏分割困难的问题,提出了全卷积神经网络肝脏分割模型。首先通过卷积神经网络提取图像深层、抽象的特征,再通过反卷积运算对提取到的特征映射进行插值重构后得到分割结果。由于单纯进行反卷积得到的分割结果往往比较粗糙,因此,在反卷积之前,先融合高层与低层的特征,并且通过增加反卷积的层数、减少反卷积步长,得到了更为精确的分割结果。与传统卷积神经网络的分割方法相比,该模型可以充分利用CT影像的空间信息。实验数据表明该模型能够使腹部CT影像肝脏分割具有较高的精度。     

基于改进卷积神经网络的腹部动脉血管分割

腹部动脉血管分割对于胃癌淋巴结的转移和肝动脉变异类型的判断至关重要。针对腹部动脉血管分割精度低、易断裂等问题,提出一种改进卷积网络架构的腹部动脉分割方法。卷积网络的编码部分使用带有卷积注意的预训练模块(resnet34),避免了梯度消失且可更好地获取图像的特征信息。为了扩大感受野和聚集多尺度特征信息,提出了一种新的多尺度特征融合模块。此外,动脉血管的边缘结构信息的学习至关重要,引入注意力导向滤波作为信息扩展路径,使输出特征更加结构化,提升血管分割的精度。所提方法在腹部动脉血管分割的实验结果表明,与基础网络U-Net相比,所提方法在灵敏度和交并比上分别提升了2.84%和1.19%。与CE-Net网络相比,在灵敏度和交并比上分别提升了1.34%和161%。     

面向舌体分割的两阶段卷积神经网络设计

目的 由于舌体与周围组织颜色相似,轮廓模糊,传统的分割方法难以精准分割舌体,为此提出一种基于两阶段卷积神经网络的舌体分割方法。方法 首先,在粗分割阶段,将卷积层和全连接层相结合构建网络Rsnet,采用区域建议策略得到舌体候选框,从候选框中进一步确定舌体,从而实现对舌体的定位,去除大量的干扰信息;然后,在精分割阶段,将卷积层与反卷积层相结合构建网络Fsnet,对粗分割舌象中的每一个像素点进行分类进而实现精分割;最后,采用形态学相关算法对精分割后的舌体图像进行后续处理,进一步消除噪点和边缘粗糙点。结果 本文构建了包含2 764张舌象的数据集,在该数据集上进行五折交叉实验。实验结果表明,本文算法能够取得较为理想的分割结果且具有较快的处理速度。选取了精确度、召回率及F值作为评价标准,与3种常用的传统分割方法相比,在综合指标F值上分别提高了0.58、0.34、0.12,效率上至少提高6倍,与同样基于深度学习思想的MNC（multi-task network cascades）算法相比,在F值上提高0.17,效率上提高1.9倍。结论 将基于深度学习的方法应用到舌体分割中,有利于实现舌象的准确、鲁棒、快速分割。在分割之前,先对舌体进行定位,有助于进一步减少分割中的错分与漏分。实验结果表明,本文算法有效提升了舌体分割的准确性,能够为后续的舌象自动识别和分析奠定坚实的基础。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

基于全卷积神经网络的单幅隧道图像裂纹提取算法

提出一种基于全卷积神经网络的单幅隧道图像裂纹提取算法,能够有效避免复杂背景下的伪裂纹噪声点干扰,实现对隧道裂纹的精确分割。首先,构建深度残差网络模型提取裂纹特征;其次,使用改进的全卷积神经网络中的反卷积操作恢复裂纹特征图的尺寸和裂纹细节;为了提升裂缝提取的精细程度,提出一个细节修复模块来保持裂缝的完整性与边缘细节;最后,公开一个裂纹数据集NUAACrack-2000,包含2 000幅隧道裂纹图像与精准标注标签。实验表明,提出的算法在避免噪声点干扰方面优于传统图像分割算法;在保留提取裂纹的整体性以及边缘细节处理方面优于基于机器学习的主流裂纹提取算法。     

应用图像块和全卷积神经网络的肩关节MRI自动分割

目的 MRI正逐步代替CT进行骨头与关节的检查,肩关节MRI中骨结构的精确自动分割对于骨损伤和疾病的度量与诊断至关重要,现有骨头分割算法无法做到不用任何先验知识进行自动分割,且通用性和精准度相对较低,为此提出一种基于图像块和全卷积神经网络（PCNN和FCN）相结合的自动分割算法。方法 首先建立4个分割模型,包括3个基于U-Net的骨头分割模型（肱骨分割模型、关节骨分割模型、肱骨头和关节骨作为整体的分割模型）和一个基于块的AlexNet分割模型;然后使用4个分割模型来获取候选的骨头区域,并通过投票的方式准确检测到肱骨和关节骨的位置区域;最后在检测到的骨头区域内进一步使用AlexNet分割模型,从而分割出精确度在像素级别的骨头边缘。结果 实验数据来自美国哈佛医学院/麻省总医院骨科的8组病人,每组扫描序列包括100片左右图像,都已经分割标注。5组病人用于训练和进行五倍的交叉验证,3组病人用于测试实际的分割效果,其中Dice Coefficient、Positive Predicted Value（PPV）和Sensitivity平均准确率分别达到0.92±0.02、0.96±0.03和0.94±0.02。结论 本文方法针对小样本的病人数据集,仅通过2维医学图像上的深度学习,可以得到非常精确的肩关节分割结果。所提算法已经集成到我们开发的医学图像度量分析平台"3DQI",通过该平台可以展示肩关节骨头3D分割效果,给骨科医生提供临床的诊断指导作用。同时,所提算法框架具有一定的通用性,适应于小样本数据下CT和MRI中特定器官和组织的精确分割。     

基于全卷积神经网络和多核学习的显著性检测*

针对显著性检测过程中特征选择的个人主观片面性和预测过程中特征权重的难以协调性问题,提出了一种基于全卷积神经网络和多核学习的监督学习算法。首先通过MSRA10K图像数据库训练出的全卷积神经网络(FCNN),预测待处理图像的初步显著性区域图;然后在多尺度上选择置信度高的前景、背景超像素块作为多核SVM分类器的训学习样本集,选择并提取八种典型特征代表对应样本训练SVM,接着通过多核SVM分类器预测各超像素显著值;最后融合初步显著图和多核学习显著图,改善FCNN网络输出图的不足,得到最终的显著性目标。方法在SOD数据库和DUT-OMRON数据库上有更高的AUC值,F-Measure值,综合性能均优于对比方法,验证了方法在显著性检测中准确性的提高,为目标识别、机器视觉等应用提供更可靠的预处理结果。     

全卷积网络电线识别方法

目的 电线预警对于直升机和无人飞行器的低空飞行安全至关重要,利用可见光和红外图像识别电线是一个有效途径。传统识别方法需要人工设计的滤波器提取电线的局部特征,再使用Hough变换等方法找出直线,支持向量机和随机森林等机器学习方法仅给出图像中有无电线的识别结果。本文提出一种基于全卷积网络的电线识别方法,能在自动学习特征提取器的同时得到电线的具体位置等信息。方法 首先利用复杂背景生成大量包含电线图像和像素标签的成对仿真数据;然后改进U-Net网络结构以适应电线识别任务,使用仿真数据进行网络训练。由于图像中电线所占的像素很少,因此采用聚焦损失函数以平衡大量负样本的影响。结果 在一个同时包含红外图像和可见光图像各4 000幅的电力巡线数据集上,与VGG（visual geometry group）16等多种特征的随机森林方法相比,本文方法的电线识别率达到了99%以上,而虚警率不到2%;同时,本文方法输出的像素分割结果中,电线基本都能被识别出来。结论 本文提出的全卷积网络电线识别方法能够提取电线的光学图像特征,而且与传统机器学习方法相比能将电线从场景中精确提取出来,使得识别结果更加有判断的依据。     

轻量化卷积神经网络在SAR图像语义分割中的应用

针对合成孔径雷达图像的语义分割问题,构建了一个全新的TerraSAR-X语义分割数据集GDUT-Nansha。然后,为解决传统深度学习方法模型体积大,难以在样本数量偏少的合成孔径雷达图像数据集上应用的问题,对轻量化卷积神经网络ENet模型进行了分析和改造。提出了一种改进的轻量化卷积神经网络模型(revised weighted loss eNet,RWL-ENet);针对合成孔径雷达图像数据集样本不平衡问题,使用了带有权重的损失函数。通过和其他经典卷积神经网络语义分割模型的对比实验,验证了新数据集的可靠性;同时,在参数量和模型体积远远小于其他网络模型的前提下,RWL-ENet模型在像素精度、平均像素精度、平均交并比三个定量指标上分别达到了0.884、0.804和0.645。