基于深度学习的新型冠状病毒肺炎诊断研究综述

新型冠状病毒肺炎（COVID-19）具有高传染性和高致病性,严重威胁人民群众的生命安全和身体健康,快速准确地检测和诊断COVID-19对于疫情控制至关重要。目前COVID-19检测诊断方法主要包括核酸检测和基于医学影像的人工诊断,但是核酸检测耗时较长并且需要专用的测试盒,而基于医学影像的人工诊断过于依赖专业知识,分析耗时较长且难以发现隐匿病变。随着X射线图像和计算机断层扫描图像数据集的相继提出,科研人员在此基础上构建基于深度学习的COVID-19检测诊断模型,有效辅助了医学专家对COVID-19的高效诊断治疗。总结用于COVID-19检测诊断的主流影像数据集和相关评价指标,以模型任务和影像数据类型2个角度分类介绍现有基于深度学习的COVID-19检测诊断模型,从骨干网络、数据集、影像类型、性能表现、分类种类和开源情况6个维度进行比较与分析。此外,介绍用于抗击COVID-19的优秀应用系统,并探讨该领域的未来发展趋势。     

新型冠状病毒肺炎(COVID-19)医学影像AI诊断研究进展

2020年3月,世界卫生组织（World Health Organization,WHO）宣布新型冠状病毒肺炎（corona virus disease 2019,COVID-19）为世界大流行病,疫情的爆发给世界各地医疗系统带来巨大压力。现有的COVID-19诊断标准是核酸检测阳性,然而核酸检测假阴性率高达17%~25.5%,为避免漏诊,需要采用基于影像学的AI诊断方法筛查大量疑似病例,扼制疾病传播。本综述将回顾疫情爆发数月以来,基于医学影像的新冠肺炎AI辅助诊断的研究成果。首先介绍CT（computed tomography）和X光片的优缺点,以及COVID-19的放射学特征,然后对数据准备、图像分割和分类识别等AI诊断的关键步骤分别进行阐述,最后介绍COVID-19的跟踪和预后（预先对疾病后续发展过程及结果的判断和估计）。本文还整理了部分公开的COVID-19相关数据集,并对数据标注不足的问题提供了弱监督学习和迁移学习等解决方案。实验验证,AI系统诊断COVID-19的敏感性达到97.4%,特异性达到92.2%,优于放射科医生的诊断结果。其中表现尤为突出的是基于语义分割网络检测COVID-19感染区域,由此可以定量分析感染率。AI系统可以辅助医生诊断和治疗COVID-19,提高放射科医生阅读X光片和CT的效率。     

COVID-19肺部CT图像多尺度编解码分割

目的 新型冠状病毒肺炎（corona virus disease 2019,COVID-19）患者肺部计算机断层扫描（computed tomography,CT）图像具有明显的病变特征,快速而准确地从患者肺部CT图像中分割出病灶部位,对COVID-19患者快速诊断和监护具有重要意义。COVID-19肺炎病灶区域复杂多变,现有方法分割精度不高,且对假阴性的关注不够,导致分割结果往往具有较高的特异度,但灵敏度却很低。方法 本文提出了一个基于深度学习的多尺度编解码网络（MED-Net （multiscale encode decode network））,该网络采用资源利用率高、计算速度快的HarDNet68（harmonic densely connected network）作为主干,它主要由5个harmonic dense block （HDB）组成,首先通过5个空洞空间卷积池化金字塔（atrous spatial pyramid pooling,ASPP）对HarDNet68的第1个卷积层和第1、3、4、5个HDB提取多尺度特征。接着在并行解码器（paralleled partial decoder,PPD）基础上设计了一个多尺度的并行解码器（multiscale parallel partial decoder,MPPD）,通过对3个不同感受野的分支进行解码,解决了编码器部分的信息丢失及小病灶分割困难等问题。为了提升CT图像分割精度,降低网络学习难度,网络加入了深度监督机制,配合多尺度解码器,增加了对假阴性的关注,从而提高模型的灵敏度。结果 在COVID-19 CT segmentation数据集上对本文网络进行了测试。实验结果表明,MED-Net可以有效地应对数据集样本少,以及分割目标的纹理、尺寸和位置变异大等问题。在只有50幅训练图像和50幅测试图像的数据集上,分割结果的Dice系数为73.8%,灵敏度为77.7%,特异度为94.3%;与Inf-Net （lung infection segmentation deep network）网络相比,分别提升了8.21%、12.28%、7.76%。其中,Dice系数和灵敏度达到了目前基于该数据集相同划分方式的先进水平。结论 本文网络提高了COVID-19肺炎CT图像分割精确度,有效解决了数据集的数据量少、小病灶分割难度大等问题,具有全自动分割COVID-19肺炎CT图像的能力。     

基于深度学习的COVID-19智能诊断系统

本研究旨在探索运用深度学习的方法辅助医生利用胸部X光片进行COVID-19诊断的可行性和准确性。首先利用公开的COVID-QU-Ex Dataset训练集训练一个UNet分割模型,实现肺部ROI区域的自动分割。其次完成对该公共数据集肺部区域的自动提取预处理。再次利用预处理后的三分类影像数据（新冠肺炎、其它肺炎、正常）采用迁移学习的方式训练了一个分类模型MBCA-COVIDNET,该模型以MobileNetV2作为骨干网络,并在其中加入坐标注意力机制（CA）。最后利用训练好的模型和Hugging Face开源软件搭建了一套方便医生使用的COVID-19智能辅助诊断系统。该模型在COVID-QU-Ex Dataset测试集上取得了高达97.98%的准确率,而该模型的参数量和MACs仅有2.23M和0.33G,易于在硬件设备上进行部署。该智能诊断系统能够很好的辅助医生进行基于胸片的COVID-19诊断,提升诊断的准确率以及诊断效率。     

CT图像肺及肺病变区域分割方法综述

计算机断层扫描（computed tomography,CT）技术能为新冠肺炎（corona virus disease 2019,COVID-19）和肺癌等肺部疾病的诊断与治疗提供更全面的信息,但是由于肺部疾病的类型多样且复杂,使得对肺CT图像进行高质量的肺病变区域分割成为计算机辅助诊断的重难点问题。为了对肺CT图像的肺及肺病变区域分割方法的现状进行全面研究,本文综述了近年国内外发表的相关文献：对基于区域和活动轮廓的肺CT图像传统分割方法的优缺点进行比较与总结,传统的肺CT图像分割方法因其实现原理简单且分割速度快等优点,早期使用较多,但其存在分割精度不高的缺点,目前仍有不少基于传统方法的改进策略;重点分析了基于卷积神经网络（convolutional neural network,CNN）、全卷积网络（fully convolutional network,FCN）、U-Net和生成对抗网络（generative adversarial network,GAN）的肺CT图像分割网络结构改进模型的研究进展,基于深度学习的分割方法具有分割精度高、迁移学习能力强和鲁棒性高等优点,特别是在辅助诊断COVID-19病例时,基于深度学习方法的性能明显优于基于传统方法的性能;介绍肺及肺病变区域分割的常用数据集和评价指标,在解决如COVID-19数据样本量少等问题时,使用GAN以合成高质量的对抗性图像用以扩充数据集,从而增加训练样本的数量和多样性;讨论了肺CT图像的肺及肺病变区域的高精度分割策略的研究趋势、现有挑战和未来的研究方向。     

迁移学习应用于新型冠状病毒肺炎诊断综述

新型冠状病毒肺炎（COVID-19）疫情爆发以来,由于该病毒具有极强的传染性,所导致的感染人数与死亡人数持续增加。筛查疑似患者和早期诊断COVID-19是防止疫情恶化的重要措施之一。通过核酸检测和人工检查等方法在感染早期诊断出COVID-19是防止其在社会中爆发的最佳途径。然而核酸检测效率低下,仅仅依靠放射科专家诊断X射线图像和CT扫描图像存在耗时长且易出现诊断误差等问题。研究人员相继提出了基于迁移学习的计算机辅助诊断算法,可以最大程度地减少传统诊断方法所产生的问题,但目前关于迁移学习在新冠肺炎成像中的应用综述较少,因此总结和分析了当前国内外基于迁移学习技术诊断COVID-19的研究成果。针对模型类型进行分类讨论,分别从数据集来源、数据预处理方法、基于迁移学习的诊断模型、模型可视化、评价指标以及模型性能6个角度进行分析和比较。并指出了当前所面临的挑战和未来的发展方向,为今后进一步的研究工作奠定了基础。     

改进U-Net的新冠肺炎图像分割方法

新型冠状病毒肺炎（COVID-19）大流行疾病正在全球范围内蔓延。计算机断层扫描（CT）影像技术,在抗击全球 COVID-19 的斗争中起着至关重要的作用,诊断新冠肺炎时,如果能够从CT图像中自动准确分割出新冠肺炎病灶区域,将有助于医生进行更准确和快速的诊断。针对新冠肺炎病灶分割问题,提出基于U-Net改进模型的自动分割方法。在编码器中运用了在 ImageNet 上预训练好的 EfficientNet-B0网络,对有效信息进行特征提取。在解码器中将传统的上采样操作换成DUpsampling结构,以此来充分获取病灶边缘的细节特征信息,最后通过模型快照的集成提高分割的精度。在公开数据集上的实验结果表明,所提算法的准确率、召回率和Dice系数分别为84.24%、80.43%和85.12%,与其他的语义分割算法相比,该方法能有效分割新冠肺炎病灶区域,具有良好的分割性能。     

针对新型冠状病毒肺炎X射线图像识别的DD-CovidNet模型

受医疗资源紧张和医疗水平较低等因素的影响,新型冠状病毒肺炎(coronavirus disease 2019,COVID-19)尚未得到有效控制.利用深度学习方法在胸部X射线(chest X-ray,CXR)图像中检测感染者是一种安全有效的途径.针对上述问题,提出一种自动识别COVID-19的CXR图像的智能方法.根据CXR图像的特点,提出了对特征信息敏感的双路径多尺度特征融合(dual-path multi-scale fusion,DMFF)模块和密集空洞深度可分离卷积(dense dilated depthwise separable,D3S)模块,分别提取浅层特征与深层特征.在此基础上,设计了高效的轻量级卷积神经网络——DD-CovidNet.DMFF模块通过融合多尺度特征感知更丰富的浅层特征,D3S模块通过强化特征传递与增大感受野提取更有效的类别区分特征.在2个数据集上进行了实验验证,结果表明,DD-CovidNet模型对COVID-19识别的灵敏度为96.08％,精度与特异性均为100.00％,且具有较少的参数量与较快的分类速度.与其他模型相比,DD-CovidNet模型的检测速度更快,检测结果更准确.     

基于迁移学习与多标签平滑策略的图像自动标注

针对图像标注数据集标签分布不平衡问题,提出了基于标签平滑策略的多标签平滑单元（MLSU）。MLSU在网络模型训练过程中自动平滑数据集中的高频标签,使网络适当提升了低频标签的输出值,从而提升了低频标注词的标注性能。为解决图像标注数据集样本数量不足造成网络过拟合的问题,提出了基于迁移学习的卷积神经网络（CNN）模型。首先利用互联网上的大型公共图像数据集对深度网络进行预训练,然后利用目标数据集对网络参数进行微调,构建了一个多标签平滑卷积神经网络模型（CNN-MLSU）。分别在Corel5K和IAPR TC-12图像标注数据集上进行实验,在Corel5K数据集上,CNN-MLSU较卷积神经网络回归方法（CNN-R）的平均准确率与平均召回率分别提升了5个百分点和8个百分点;在IAPR TC-12数据集上,CNN-MLSU较两场K最邻近模型（2PKNN_ML）的平均召回率提升了6个百分点。实验结果表明,基于迁移学习的CNN-MLSU方法能有效地预防网络过拟合,同时提升了低频词的标注效果。     

基于深度神经网络的肺炎图像识别模型

当前的肺炎图像识别算法面临两个问题：一是肺炎特征提取器使用的迁移学习模型在源数据集与肺炎数据集上图像差异较大，所提取的特征不能很好地契合肺炎图像；二是算法使用的softmax分类器对高维特征处理能力不够强，在识别准确率上仍有提升的空间。针对这两个问题，提出了一种基于深度卷积神经网络的肺炎图像识别模型。首先使用ImageNet数据集训练好的GoogLeNet Inception V3网络模型进行特征提取；其次，增加了特征融合层，使用随机森林分类器进行分类预测。实验在Chest X-Ray Images肺炎标准数据集上进行。实验结果表明，该模型的识别准确率、敏感度、特异度的值分别达到96.77%、97.56%、94.26%。在识别准确率以及敏感度指标上，与经典的GoogLeNet Inception V3+Data Augmentation （GIV+DA）算法相比，所提模型分别提高了1.26、1.46个百分点，在特异度指标上已接近GIV+DA算法的最优结果。     

COVID-19 chest X-ray image classification in the presence of noisy labels

The Corona Virus Disease 2019 (COVID-19) has been declared a worldwide pandemic, and a key method for diagnosing COVID-19 is chest X-ray imaging. The application of convolutional neural network with medical imaging helps to diagnose the disease accurately, where the label quality plays an important role in the classification problem of COVID-19 chest X-rays. However, most of the existing classification methods ignore the problem that the labels are hardly completely true and effective, and noisy labels lead to a significant degradation in the performance of image classification frameworks. In addition, due to the wide distribution of lesions and the large number of local features of COVID-19 chest X-ray images, existing label recovery algorithms have to face the bottleneck problem of the difficult reuse of noisy samples. Therefore, this paper introduces a general classification framework for COVID-19 chest X-ray images with noisy labels and proposes a noisy label recovery algorithm based on subset label iterative propagation and replacement (SLIPR). Specifically, the proposed algorithm first obtains random subsets of the samples multiple times. Then, it integrates several techniques such as principal component analysis, low-rank representation, neighborhood graph regularization, and k-nearest neighbor for feature extraction and image classification. Finally, multi-level weight distribution and replacement are performed on the labels to cleanse the noise. In addition, for the label-recovered dataset, high confidence samples are further selected as the training set to improve the stability and accuracy of the classification framework without affecting its inherent performance. In this paper, three typical datasets are chosen to conduct extensive experiments and comparisons of existing algorithms under different metrics. Experimental results on three publicly available COVID-19 chest X-ray image datasets show that the proposed algorithm can effectively recover noisy labels and improve the accuracy of the image classification framework by 18.9% on the Tawsifur dataset, 19.92% on the Skytells dataset, and 16.72% on the CXRs dataset. Compared to the state-of-the-art algorithms, the gain of classification accuracy of SLIPR on the three datasets can reach 8.67%-19.38%, and the proposed algorithm also has certain scalability while ensuring data integrity.     

Stacked-autoencoder-based model for COVID-19 diagnosis on CT images

With the outbreak of COVID-19, medical imaging such as computed tomography (CT) based diagnosis is proved to be an effective way to fight against the rapid spread of the virus. Therefore, it is important to study computerized models for infectious detection based on CT imaging. New deep learning-based approaches are developed for CT assisted diagnosis of COVID-19. However, most of the current studies are based on a small size dataset of COVID-19 CT images as there are less publicly available datasets for patient privacy reasons. As a result, the performance of deep learning-based detection models needs to be improved based on a small size dataset. In this paper, a stacked autoencoder detector model is proposed to greatly improve the performance of the detection models such as precision rate and recall rate. Firstly, four autoencoders are constructed as the first four layers of the whole stacked autoencoder detector model being developed to extract better features of CT images. Secondly, the four autoencoders are cascaded together and connected to the dense layer and the softmax classifier to constitute the model. Finally, a new classification loss function is constructed by superimposing reconstruction loss to enhance the detection accuracy of the model. The experiment results show that our model is performed well on a small size COVID-2019 CT image dataset. Our model achieves the average accuracy, precision, recall, and F1-score rate of 94.7%, 96.54%, 94.1%, and 94.8%, respectively. The results reflect the ability of our model in discriminating COVID-19 images which might help radiologists in the diagnosis of suspected COVID-19 patients.

     

改进卷积神经网络的COVID-19CT影像分类方法研究

针对2019年12月在中国武汉发现的新型冠状病毒,由于RT-PCR检测具有假阴性率过高且得出结果会花费大量时间等问题,研究证明计算机断层扫描(CT)已经成为了辅助诊断和治疗新型冠状病毒肺炎的重要手段之一.由于目前公开的COVID-19 CT数据集较少,提出利用条件生成对抗网络进行数据增强以获得更多样本的CT数据集,以此...     

An Optimized CNN Model Architecture for Detecting Coronavirus (COVID-19) with X-Ray Images

This paper demonstrates empirical research on using convolutional neural networks (CNN) of deep learning techniques to classify X-rays of COVID-19 patients versus normal patients by feature extraction. Feature extraction is one of the most significant phases for classifying medical X-rays radiography that requires inclusive domain knowledge. In this study, CNN architectures such as VGG-16, VGG-19, RestNet50, RestNet18 are compared, and an optimized model for feature extraction in X-ray images from various domains involving several classes is proposed. An X-ray radiography classifier with TensorFlow GPU is created executing CNN architectures and our proposed optimized model for classifying COVID-19 (Negative or Positive). Then, 2,134 X-rays of normal patients and COVID-19 patients generated by an existing open-source online dataset were labeled to train the optimized models. Among those, the optimized model architecture classifier technique achieves higher accuracy (0.97) than four other models, specifically VGG-16, VGG-19, RestNet18, and RestNet50 (0.96, 0.72, 0.91, and 0.93, respectively). Therefore, this study will enable radiologists to more efficiently and effectively classify a patient’s coronavirus disease.     

新型冠状病毒肺炎的深度学习诊断方法综述

新型冠状病毒肺炎的高感染率导致其在全球范围内迅速传播,常用的逆转录-聚合酶反应（RT-PCR）检测方法存在耗时、假阴性率偏高和医学用具不足的缺陷,因此开发高效、准确、低成本的影像检测技术对新型冠状病毒肺炎的诊断和治疗至关重要。随着人工智能在医学领域的成功应用,深度学习技术成为辅助检验和识别新型冠状病毒肺炎的有效方法。对近年来涌现的新型冠状病毒肺炎的深度学习诊断方法进行了研究和总结：介绍了深度学习方法使用的两种新型冠状病毒肺炎数据集;介绍了基于VGGNet、Inception、ResNet、DenseNet、EfficientNet和CapsNet模型的六种深度学习诊断方法;介绍了三种深度学习与其他机器学习方法结合的诊断方法;对基于深度学习的新型冠状病毒肺炎诊断方法的研究趋势进行了展望。     

全景图像质量评价方法最新进展

随着虚拟现实技术的快速发展,全景视频图像已成为一种新的媒体展示形式被投入使用。全景图像的质量评价方法对促进虚拟现实技术具有重要的现实意义。研究了近五年来全景图像质量评价新方法。分析了全景图像客观评价指标,包括基于峰值信噪比的改进方法和基于结构相似性的改进方法。归纳总结了基于深度学习的全景图像质量评价方法以及其特有的缝合失真和投影失真的评价方法。搜集整理了常用的全景图像质量评价公共数据集与专有自建数据集。采用皮尔森相关系数、斯皮尔曼秩相关系数与均方根误差作为评价指标,根据客观评分与人眼主观感受的相关程度对现有全景图像质量评价方法进行了对比分析。对全景图像质量评价方法的发展方向进行展望。     

Role of additive manufacturing in medical application COVID-19 scenario: India case study

This paper reviews how the Additive Manufacturing (AM) industry played a key role in stopping the spread of the Coronavirus by providing customized parts on-demand quickly and locally, reducing waste and eliminating the need for an extensive manufacturer. The AM technology uses digital files for the production of crucial medical parts, which has been proven essential during the COVID-19 crisis. Going ahead, the 3D printable clinical model resources described here will probably be extended in various centralized model storehouses with new inventive open-source models. Government agencies, individuals, corporations and universities are working together to quickly development of various 3D-printed products especially when established supply chains are under distress, and supply cannot keep up with demand.     

基于深度学习的医学图像分析域自适应研究

深度学习技术的广泛应用有力推动了医学图像分析领域的发展,然而大多数深度学习方法通常假设训练集和测试集是独立同分布的,这个假设在模型临床部署时很难保证实现,因此常出现模型性能下降、场景泛化能力不强的困境。基于深度学习的域自适应技术是提升模型迁移能力的主流方法,其目的是使在一个数据集上训练的模型,能够在另一个没有或只有少量标签的数据集上也获得较好结果。由于医学图像存在着样本获取和标注困难、图像性质特殊、模态差异等情况,这给域自适应技术带来很多现实挑战。首先将介绍域自适应的定义及面临的主要挑战,进而从技术角度分类总结了近年来的相关算法,并对比分析其优缺点;然后详细介绍了域自适应常用的医学图像数据集以及相关算法结果情况;最后,从发展瓶颈、技术手段、交叉领域等方面,展望了面向医学图像分析的域自适应的未来研究方向。