CT图像肺及肺病变区域分割方法综述

计算机断层扫描(computed tomography, CT)技术能为新冠肺炎(corona virus disease 2019,COVID-19)和肺癌等肺部疾病的诊断与治疗提供更全面的信息,但是由于肺部疾病的类型多样且复杂,使得对肺CT图像进行高质量的肺病变区域分割成为计算机辅助诊断的重难点问题。为了对肺CT图像的肺及肺病变区域分割方法的现状进行全面研究,本文综述了近年国内外发表的相关文献：对基于区域和活动轮廓的肺CT图像传统分割方法的优缺点进行比较与总结,传统的肺CT图像分割方法因其实现原理简单且分割速度快等优点,早期使用较多,但其存在分割精度不高的缺点,目前仍有不少基于传统方法的改进策略;重点分析了基于卷积神经网络(convolutional neural network, CNN)、全卷积网络(fully convolutional network, FCN)、U-Net和生成对抗网络(generative adversarial network, GAN)的肺CT图像分割网络结构改进模型的研究进展,基于深度学习的分割方法具有分割精度高、迁移学习能力强和鲁棒性高等优点,特...     

基于深度学习和 CT 影像的新型冠状病毒肺炎病灶分割

胸部 CT 图像中新型冠状病毒肺炎(COVID-19)病灶的准确分割可以为诊断提供助力。新型冠 状病毒肺炎在 CT 影像上的表现包括磨玻璃影、实变、胸腔积液病灶等,这些征象的纹理、大小和位置 变化较大。该研究提出的深度神经网络 RCB-UNet＋＋,可以用于新型冠状病毒肺炎在 CT 影像上的分割 问题。该网络在 UNet＋＋网络的基础上,增加了残差模块和卷积块注意力模块。此架构能有效地提取底 层的纹理信息和高层的语义信息,并基于注意力机制优化模型效果。该研究所提出的 RCB-UNet＋＋模 型经过在 45 例样本上的训练后,在 50 例测试集上的 Dice 系数达到了 0.715,且敏感性和特异性分别达 到了 0.754 和 0.952,超过基于同样数据划分的其他已发表的深度学习模型。这表明所提出的算法有效 地提高了分割效果,具有从 CT 图像中全自动分割新型冠状病毒肺炎病灶的潜力。     

改进U-Net的新冠肺炎图像分割方法

新型冠状病毒肺炎（COVID-19）大流行疾病正在全球范围内蔓延。计算机断层扫描（CT）影像技术,在抗击全球 COVID-19 的斗争中起着至关重要的作用,诊断新冠肺炎时,如果能够从CT图像中自动准确分割出新冠肺炎病灶区域,将有助于医生进行更准确和快速的诊断。针对新冠肺炎病灶分割问题,提出基于U-Net改进模型的自动分割方法。在编码器中运用了在 ImageNet 上预训练好的 EfficientNet-B0网络,对有效信息进行特征提取。在解码器中将传统的上采样操作换成DUpsampling结构,以此来充分获取病灶边缘的细节特征信息,最后通过模型快照的集成提高分割的精度。在公开数据集上的实验结果表明,所提算法的准确率、召回率和Dice系数分别为84.24%、80.43%和85.12%,与其他的语义分割算法相比,该方法能有效分割新冠肺炎病灶区域,具有良好的分割性能。     

深度学习多部位病灶检测与分割

目的 多部位病灶具有大小各异和类型多样的特点,对其准确检测和分割具有一定的难度。为此,本文设计了一种2.5D深度卷积神经网络模型,实现对多种病灶类型的计算机断层扫描（computed tomography,CT）图像的病灶检测与分割。方法 利用密集卷积网络和双向特征金字塔网络组成的骨干网络提取图像中的多尺度和多维度信息,输入为带有标注的中央切片和提供空间信息的相邻切片共同组合而成的CT切片组。将融合空间信息的特征图送入区域建议网络并生成候选区域样本,再由多阈值级联网络组成的Cascade R-CNN（region convolutional neural networks）筛选高质量样本送入检测与分割分支进行训练。结果 本文模型在DeepLesion数据集上进行验证。结果表明,在测试集上的平均检测精度为83.15%,分割预测结果与真实标签的端点平均距离误差为1.27 mm,直径平均误差为1.69 mm,分割性能优于MULAN（multitask universal lesion analysis network for joint lesion detection,tagging and segmentation）和Auto RECIST（response evaluation criteria in solid tumors）,且推断每幅图像平均时间花费仅91.7 ms。结论 对于多种部位的CT图像,本文模型取得良好的检测与分割性能,并且预测时间花费较少,适用病变类别与DeepLesion数据集类似的CT图像实现病灶检测与分割。本文模型在一定程度上能满足医疗人员利用计算机分析多部位CT图像的需求。     

基于高效的多尺度特征提取的轻量级语义分割

近来移动端视觉应用的发展激发了对轻量级语义分割技术的需求.尽管取得了十分辉煌的成就,当前轻量级语义分割模型仍存在精度不足、参数过多的问题.本文的目的在于开发一个具有少量参数的高精度分割模型.为此,本文基于以下观察提出了一种新的轻量级分割模型MiniNet:(1)语义分割依赖于多尺度特征学习;(2)下采样是加速网络推理和扩大卷积感受野的最有效方法;(3)网络深度和卷积通道数之间的良好平衡对于轻量级模型至关重要.具体来说,MiniNet采用空间金字塔卷积(Spatial Pyramid Convolution,SPC)模块和空间金字塔池化(Spatial Pyramid Pooling,SPP)模块作为多尺度特征学习的基本单元.此外,MiniNet将大多数网络层和操作放在较小的尺度上,即原始图像分辨率的1/16,而不是先前模型中常用的1/8尺度.MiniNet还设法平衡网络深度和卷积通道数.在没有ImageNet预训练的情况下,MiniNet在Cityscapes测试数据集上仅以211K参数和94.3fps的速度即可达到66.3%的mIoU.     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

基于图卷积网络的脑胶质瘤核磁共振图像分割

近年来基于卷积神经网络(CNN)的图像分割应用已十分广泛, 在特征提取的部分取得了很大进展. 然而随着卷积层数越来越深, 感受野不断增大, 使模型丢失局部特征信息进而影响模型性能. 使用图卷积网络(GCN)处理图数据结构的信息, 能够在保留局部特征同时不随层数的加深而丢失局部信息. 本文主要研究将基于CNN结构的对称全卷积网络(U-Net)特征提取与基于GCN的图像分割结合, 提取全局与局部、浅层与深层的多尺度特征集应用于多模态脑胶质瘤核核磁共振(MR)序列图像分割, 可分为两个阶段: 第1阶段利用 U-Net 对多模态脑核磁共振胶质瘤MR序列图像进行特征提取, 通过多个池化层实现多尺度特征提取及上采样进行特征融合, 其中底层输出较低级别特征, 高层输出更加抽象的高级特征; 第2阶段通过膨胀邻域及稀疏化处理将 U-Net 获得的特征图数据转化为 GCN 所需的图结构数据, 将图像分割问题转化为图节点分类问题, 最后通过余弦相似度量对图结构数据进行分类. 在BraTS 2018公开数据库上的实验结果取得分割准确度0.996、灵敏度0.892的效果. 相比其他深度学习模型, 本方法通过多尺度特征融合, 利用GCN建立高低级别特征的拓扑连接, 确保局部信息不丢失以取得较好的分割效果, 能够胜任临床脑胶质瘤核磁共振图像的分析需求, 进而有效提高脑胶质瘤诊断精度.     

采用多尺度视觉注意力分割腹部CT和心脏MR图像

目的 医学图像分割是计算机辅助诊断和手术规划的重要步骤,但是由于人体器官结构复杂、组织边缘模糊等问题,其分割效果还有待提高。由于视觉Transformer(vision Transformer,ViT)在计算机视觉领域取得了成功,受到医学图像分割研究者的青睐。但是基于ViT的医学图像分割网络,将图像特征展平成一维序列,忽视了图像的二维结构,且ViT所需的计算开销相当大。方法 针对上述问题,提出了以多尺度视觉注意力（multi scale visual attention,MSVA）为基础、Transformer作为主干网络的U型网络结构MSVA-TransUNet。其采用的多尺度视觉注意力是一种由多个条状卷积实现的注意力机制,采用一个条状卷积对近似一个大核卷积的操作,采用不同的条状卷积对近似不同的大核卷积,从不同的尺度获取图像的信息。结果 在腹部多器官分割和心脏分割数据集上的实验结果表明：本文网络与基线模型相比,平均Dice分别提高了3.74%和1.58%,其浮点数运算量是多头注意力机制的1/278,网络参数量为15.31 M,是TransUNet的1/6.88。结论 本文网络媲美当前...     

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。     

基于圆形约束C-V水平集的肺部CT图像病灶分割

针对肺部CT图像中圆形病灶区域的分割问题,对Chan-Vese水平集图像分割方法进行了分析和改进,提出了基于圆形约束的C-V水平集模型,进而提出了基于圆形约束水平集的肺部图像病灶分割算法,解决了图像中大小不同的多圆检测问题。对合成图像和实际临床肺部CT图像进行了分割实验,结果表明,该方法可以较好地分割出图像中的多个圆形区域,算法具有较好的抗噪性,实现速度较快,有利于实现肺部CT图像肺结节自动检测。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

多尺度遥感语义分割网络

高分辨率遥感图像语义分割在国土规划、地理监测、智慧城市等领域有着广泛的应用价值,但是现阶段研究中存在相似地物和精细地物分割不准确问题。为解决这一问题,提出了一种新型的多尺度语义分割网络MSSNet。它由编码层、解码层和输出层组成。为解决相似地物的分割问题,编码层使用深层网络ResNet101充分提取地物特征,并在解码层的解码器中加入残差块,提高基于像素点的分类能力。为解决精细结构地物的分割问题,解码层中的解码器加入了空洞空间金字塔池化结构提取多尺度地物特征,以便精确分割不同尺度的地物。为了强化语义分割能力,输出层合并了多个解码器的输出,为最终的预测提供了更多的信息。在两个公开数据集Vaihingen和Potsdam上进行了实验,分别取得了87%和87.3%的全局精确度,超过了大多数已发表的方法。实验结果表明,提出的MSSNet能够精确地分割相似地物和精细地物,并且具有训练过程简单和易于使用的优点,非常适合进行高分辨率遥感图像语义分割。     

新型冠状病毒肺炎(COVID-19)医学影像AI诊断研究进展

2020年3月,世界卫生组织（World Health Organization,WHO）宣布新型冠状病毒肺炎（corona virus disease 2019,COVID-19）为世界大流行病,疫情的爆发给世界各地医疗系统带来巨大压力。现有的COVID-19诊断标准是核酸检测阳性,然而核酸检测假阴性率高达17%~25.5%,为避免漏诊,需要采用基于影像学的AI诊断方法筛查大量疑似病例,扼制疾病传播。本综述将回顾疫情爆发数月以来,基于医学影像的新冠肺炎AI辅助诊断的研究成果。首先介绍CT（computed tomography）和X光片的优缺点,以及COVID-19的放射学特征,然后对数据准备、图像分割和分类识别等AI诊断的关键步骤分别进行阐述,最后介绍COVID-19的跟踪和预后（预先对疾病后续发展过程及结果的判断和估计）。本文还整理了部分公开的COVID-19相关数据集,并对数据标注不足的问题提供了弱监督学习和迁移学习等解决方案。实验验证,AI系统诊断COVID-19的敏感性达到97.4%,特异性达到92.2%,优于放射科医生的诊断结果。其中表现尤为突出的是基于语义分割网络检测COVID-19感染区域,由此可以定量分析感染率。AI系统可以辅助医生诊断和治疗COVID-19,提高放射科医生阅读X光片和CT的效率。     

COVID-19医学影像数据集及研究进展

由于影像学技术在新型冠状病毒肺炎（COVID-19）的诊断和评估中发挥了重要作用,COVID-19相关数据集陆续被公布,但目前针对相关文献中数据集以及研究进展的整理相对较少。为此,通过COVID-19相关的期刊论文、报告和相关开源数据集网站,对涉及到的新冠肺炎数据集及深度学习模型进行整理和分析,包括计算机断层扫描（CT）图像数据集和X射线（CXR）图像数据集。对这些数据集呈现的医学影像的特征进行分析;重点论述开源数据集,以及在相关数据集上表现较好的分类和分割模型。最后讨论了肺部影像学技术未来的发展趋势。     

融合多头注意力机制的新冠肺炎联合诊断与分割

目的 新冠肺炎疫情席卷全球,为快速诊断肺炎患者,确认患者肺部感染区域,大量检测网络相继提出,但现有网络大多只能处理一种任务,即诊断或分割。本文提出了一种融合多头注意力机制的联合诊断与分割网络,能同时完成X线胸片的肺炎诊断分类和新冠感染区分割。方法 整个网络由3部分组成,双路嵌入层通过两种不同的图像嵌入方式分别提取X线胸片的浅层直观特征和深层抽象特征;Transformer模块综合考虑提取到的浅层直观与深层抽象特征;分割解码器扩大特征图以输出分割区域。为响应联合训练,本文使用了一种混合损失函数以动态平衡分类与分割的训练。分类损失定义为分类对比损失与交叉熵损失的和;分割损失是二分类的交叉熵损失。结果 基于6个公开数据集的合并数据实验结果表明,所提网络取得了95.37%的精度、96.28%的召回率、95.95%的F1指标和93.88%的kappa系数,诊断分类性能超过了主流的ResNet50、VGG16(Visual Geometry Group)和Inception＿v3等网络;在新冠病灶分割表现上,相比流行的U-Net及其改进网络,取得最高的精度(95.96%),优异的敏感度(78.89...     

基于空洞空间金字塔池化的雾天图像语义分割

针对雾天图像语义分割中分割精度不高的问题,基于空洞空间金字塔池化、Xception模块和残差网络,提出一种雾天图像语义分割算法.该算法一方面使用空洞空间金字塔池化和残差网络,以多个采样率的并行卷积以及卷积核大小为1×1的卷积对输入图像进行多尺度的上下文特征提取;另一方面,采用解码器结构使用预训练后的Xception模块对提取的特征进行分类,得到每一个像素的预测结果,用于增强分割边界的细化得到边界精细的分割结果.实验表明,所提算法在foggy cityscapes数据集上的平均交并比为73.03％、73.81％与74.50％,分割性能良好.     

SELDNet: Sequenced encoder and lightweight decoder network for COVID-19 infection region segmentation

Segmenting regions of lung infection from computed tomography (CT) images shows excellent potential for rapid and accurate quantifying of Coronavirus disease 2019 (COVID-19) infection and determining disease development and treatment approaches. However, a number of challenges remain, including the complexity of imaging features and their variability with disease progression, as well as the high similarity to other lung diseases, which makes feature extraction difficult. To answer the above challenges, we propose a new sequence encoder and lightweight decoder network for medical image segmentation model (SELDNet). (i) Construct sequence encoders and lightweight decoders based on Transformer and deep separable convolution, respectively, to achieve different fine-grained feature extraction. (ii) Design a semantic association module based on cross-attention mechanism between encoder and decoder to enhance the fusion of different levels of semantics. The experimental results showed that the network can effectively achieve segmentation of COVID-19 infected regions. The dice of the segmentation result was 79.1%, the sensitivity was 76.3%, and the specificity was 96.7%. Compared with several state-of-the-art image segmentation models, our proposed SELDNet model achieves better results in the segmentation task of COVID-19 infected regions.