医学图像分析深度学习方法研究与挑战

深度学习（Deep learning,DL）,特别是深度卷积神经网络（Convolutional neural networks,CNNs）,能够从医学图像大数据中自动学习提取隐含的疾病诊断特征,近几年已迅速成为医学图像分析研究热点.本文首先简述医学图像分析特点;其次,论述深度学习基本原理,总结深度CNNs在医学图像分析中的分类、分割框架;然后,分别论述深度学习在医学图像分类、检测、分割等各应用领域的国内外研究现状;最后,探讨归纳医学图像分析深度学习方法挑战及其主要应对策略和开放的研究方向.     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

深度卷积神经网络图像实例分割方法研究进展

图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展.实例分割任务实际上是目标检测和语义分割两项任务的结合,可以在像素层面完成识别图像中目标轮廓的任务.实例分割不仅可以定位图像中目标的位置,从像素层面上分割所有目标...     

深度学习的舌体分割研究综述

舌体分割是智能医学诊断的重要组成部分,其目的是通过分割舌诊图像生成精准的舌体轮廓.近年来,深度学习方法在图像处理领域得到了广泛的应用并取得了较好的结果.随着医学图像分割对性能的要求越来越高,许多研究人员将深度学习运用到舌体分割中.主要对基于深度学习的舌体分割方法研究现状进行分析梳理和归纳总结.在舌体分割应用领域中,以各种深度学习方法作为研究对象,将基于深度学习的舌体分割方法划分为卷积神经网络(CNN)、全卷积网络(FCN)、卷积模型与图形模型、基于编解码器的模型、基于区域卷积网络模型、扩张卷积模型结构、迁移学习以及其他方法.在每类方法中,针对其改进和扩展的研究成果进行了全面的论述,总结分析其优势与不足;并对基于深度学习的舌体分割常用的数据集和评价指标进行了视觉比较与性能评估;最后讨论了未来研究工作中的发展潜力.     

基于反卷积特征提取的深度卷积神经网络学习

在深度卷积神经网络的学习过程中,卷积核的初始值通常是随机赋值的.另外,基于梯度下降法的网络参数学习法通常会导致梯度弥散现象.鉴于此,提出一种基于反卷积特征提取的深度卷积神经网络学习方法.首先,采用无监督两层堆叠反卷积神经网络从原始图像中学习得到特征映射矩阵;然后,将该特征映射矩阵作为深度卷积神经网络的卷积核,对原始图像进行逐层卷积和池化操作;最后,采用附加动量系数的小批次随机梯度下降法对深度卷积网络微调以避免梯度弥散问题.在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,所提出方法可有效提高图像分类精度.     

级联稀疏卷积与决策树集成的病理图像细胞核分割方法

数字病理图像分析对于乳腺癌、肾癌等良恶性分级诊断具有重要意义, 其中细胞核的形态测量是病理量化分析的关键. 然而, 由于病理图像背景复杂, 细胞核高密度分布、细胞粘连等, 个体细胞核精准分割是一个挑战性问题. 本文提出一个级联稀疏卷积与决策树集成学习的细胞核分割模型. 该模型由稀疏可分离卷积模块和集成决策树学习的正则化回归模块堆叠级联组成, 其中: 前者采取秩-1张量分解学习机制, 可分层抽取细胞核的多尺度方向分布式抽象特征; 而后者采取随机采样、树剪枝以及正则化回归机制提升逐像素回归分类能力. 相比于现有深度学习模型, 该模型无需非线性激活和后向传播计算, 参数规模较小, 可实现端到端的学习. 通过乳腺、前列腺、肾脏、胃和膀胱等多组病理图像的分割实验表明: 该模型能够实现复杂数字病理图像中的高密度细胞核的快速个体目标检测和分割, 在Jaccard相似性系数、F1分数和平均边缘距离三个指标上均优于目前CNN2、CNN3和U-Net等深度学习方法, 具有较好应用前景.     

基于卷积神经网络的全景分割Transformer模型

提出一种基于卷积神经网络的Transformer模型来解决全景分割任务,方法借鉴CNN在图像特征学习方面的先天优势,避免了Transformer被移植到视觉任务中所导致的计算量增加.基于卷积神经网络的Transformer模型由执行特征域变换的映射器和负责特征提取的提取器这两种基本结构构成,映射器和提取器的有效结合构成了该模型的网络框架.映射器由一种Lattice卷积模型实现,通过对卷积滤波器进行设计和优化来模拟图像的空间关系.提取器由链式网络实现,通过链式单元堆叠提高特征提取能力.基于全景分割的结构和功能,构建了基于CNN的全景分割Transformer网络.在MS COCO和Cityscapes数据集的实验结果表明,所提方法具有优异的性能.     

面向大规模图像分类的深度卷积神经网络优化

在图像分类任务中,为了获得更高的分类精度,需要对图像提取不同层次的特征信息。深度学习被越来越多的应用于大规模图像分类任务中。本文提出了一种基于深度卷积神经网络的,可应用于大规模图像分类的深度学习框架。该框架在经典的深度卷积神经网络AlexNet基础上分别从网络框架和网络内部结构两个方面对网络做了优化和改进,进一步提升了网络的特征表达能力。同时,通过在全连接层引入隐层使得网络能够同时具备学习图像特征和二值哈希的功能,使得该框架具有处理大规模图像数据的能力。通过在三个标准数据库中的一系列比对实验,分析了不同优化方法在不同情况下的作用,并证明了本文所提优化方法的有效性。     

基于小样本学习融合随机深度和多尺度卷积的SDM-RNET网络

针对神经网络难以利用少量标注数据获取足够的信息来正确分类图像的问题,提出了一种融合随机深度网络和多尺度卷积的关系网络——SDM-RNET.首先在模型嵌入模块引入随机深度网络用于加深模型深度,然后在特征提取阶段采用多尺度深度可分离卷积替代普通卷积进行特征融合,经过骨干网络后再采用深浅层特征融合获取更丰富的图像特征,最终学习预测出图像的类别.在mini-ImageNet、RP2K、Omniglot这3个数据集上对比该方法与其他小样本图像分类方法,结果表明在5-way 1-shot和5-way 5-shot分类任务上该方法准确率最高.     

深度卷积神经网络在计算机视觉中的应用研究综述

随着大数据时代的到来,含更多 隐含层的深度卷积神经网络(Convolutional neural networks, CNNs)具有更复杂的网络结构,与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的 成绩。本文首先简要介绍深度学习和卷积神经网络的兴起与展,概述卷积神经网络的基本模型结构、卷积特征提取和池化操作。然后综述了基于深度学习的卷积神经网络模型在图像分类、物体检测、姿态估计、图像分割和人脸识别等多个计算机视觉应用领域中的研究现状 和发展趋势,主要从典型的网络结构的构建、训练方法和性能表现3个方面进行介绍。最后对目前研究中存在的一些问题进行简要的总结和讨论,并展望未来发展的新方向。     

基于膨胀腐蚀卷积块的单幅图像去雨算法

成像设备在雨天拍摄图像时由于雨雾和雨条纹的存在会导致图像质量严重退化,对后续图像处理性能造成极大影响.因此,图像的去雨算法研究引起了广泛关注,其中针对单幅图像的去雨算法由于没有先验知识的支持,面临较大挑战.近年来,深度学习因其高特征表示能力被应用在图像去雨算法研究中.本文基于小波变换,采取了一种深度学习与数字图像形态学处理相结合的算法来实现单幅图像去雨,具有训练参数少、训练时间短和去雨效果好等优点.首先对含雨图像进行小波变换,分为低频分量、水平高频分量、垂直高频分量和对角高频分量,然后对这4个分量分别构造深度学习神经网络,并在神经网络架构中根据雨的特征加入图像膨胀、腐蚀等形态学处理来进行去雨操作,大大简化了模型架构,并能取得较好的结果.     

深度学习在口腔医学影像中的应用与挑战

口腔医学影像是进行临床口腔疾病检测、筛查、诊断和治疗评估的重要工具,对口腔影像进行准确分析对于后续治疗计划的制定至关重要。常规的口腔医学影像分析依赖于医师的水平和经验,存在阅片效率低、可重复性低以及定量分析欠缺的问题。深度学习可以从大样本数据中自动学习并获取优良的特征表达,提升各类机器学习任务的效率和性能,目前已广泛应用于医学影像分析处理的各类任务之中。基于深度学习的口腔医学影像处理是目前的研究热点,但由于口腔医学领域内在的特殊性和复杂性,以及口腔医学影像数据样本量通常较小的问题,给深度学习方法在相关学习任务和场景的应用带来了新的挑战。本文从口腔医学影像领域常用的二维X射线影像、三维点云/网格影像和锥形束计算机断层扫描影像3种影像出发,介绍深度学习技术在口腔医学影像处理及分析领域应用的思路和现状,分析了各算法的优缺点及该领域所面临的问题和挑战,并对未来的研究方向和可能开展的临床应用进行展望,以助力智慧口腔建设。     

深度学习在组织病理学中的应用综述

组织病理学是临床上肿瘤诊断的金标准,直接关系到治疗的开展与预后的评估。来自临床的需求为组织病理诊断提出了质量与效率两个方面的挑战。组织病理诊断涉及大量繁重的病理切片判读任务,高度依赖医生的经验,但病理医生的培养周期长,人才储备缺口巨大,病理科室普遍超负荷工作。近年来出现的基于深度学习的组织病理辅助诊断方法可以帮助医生提高诊断工作的精度与速度,缓解病理诊断资源不足的问题,引起了研究人员的广泛关注。本文初步综述深度学习方法在组织病理学中的相关研究工作。介绍了组织病理诊断的医学背景,整理了组织病理学领域的主要数据集,重点介绍倍受关注的乳腺癌、淋巴结转移癌、结肠癌的病理数据及其分析任务。本文归纳了数据的存储与处理、模型的设计与优化以及小样本与弱标注学习这3项需要解决的技术问题。围绕这些问题,本文介绍了包括数据存储、数据预处理、分类模型、分割模型、迁移学习和多示例学习等相关研究工作。最后总结了面向组织病理学诊断的深度学习方法研究现状,并指出当下研究工作可能的改进方向。     

A survey on deep learning-based fine-grained object classification and semantic segmentation

The deep learning technology has shown impressive performance in various vision tasks such as image classification, object detection and semantic segmentation. In particular, recent advances of deep learning techniques bring encouraging performance to fine-grained image classification which aims to distinguish subordinate-level categories, such as bird species or dog breeds. This task is extremely challenging due to high intra-class and low inter-class variance. In this paper, we review four types of deep learning based fine-grained image classification approaches, including the general convolutional neural networks (CNNs), part detection based, ensemble of networks based and visual attention based fine-grained image classification approaches. Besides, the deep learning based semantic segmentation approaches are also covered in this paper. The region proposal based and fully convolutional networks based approaches for semantic segmentation are introduced respectively.     

Deep learning techniques for tumor segmentation: a review

Recently, deep learning, especially convolutional neural networks, has achieved the remarkable results in natural image classification and segmentation. At the same time, in the field of medical image segmentation, researchers use deep learning techniques for tasks such as tumor segmentation, cell segmentation, and organ segmentation. Automatic tumor segmentation plays an important role in radiotherapy and clinical practice and is the basis for the implementation of follow-up treatment programs. This paper reviews the tumor segmentation methods based on deep learning in recent years. We first introduce the common medical image types and the evaluation criteria of segmentation results in tumor segmentation. Then, we review the tumor segmentation methods based on deep learning from technique view and tumor view, respectively. The technique view reviews the researches from the architecture of the deep learning and the tumor view reviews from the type of tumors.

     

A systematic survey of deep learning in breast cancer

In recent years, we witnessed a speeding development of deep learning in computer vision fields like categorization, detection, and semantic segmentation. Within several years after the emergence of AlexNet, the performance of deep neural networks has already surpassed human being experts in certain areas and showed great potential in applications such as medical image analysis. The development of automated breast cancer detection systems that integrate deep learning has received wide attention from the community. Breast cancer, a major killer of females that results in millions of deaths, can be controlled even be cured given that it is detected at an early stage with sophisticated systems. In this paper, we reviewed breast cancer diagnosis, detection, and segmentation computer-aided (CAD) systems based on state-of-the-art deep convolutional neural networks. The available data sets also indirectly determine CAD systems' performance, so we introduced and discussed the details of public data sets. The challenges remaining in CAD systems for breast cancer are discussed at the end of this paper. The highlights of this survey mainly come from three following aspects. First, we covered a wide range of the basics of breast cancer from imaging modalities to popular databases in the community; Second, we presented the key elements in deep learning to form the compactness for methods mentioned in reviewed papers; Third and lastly, the summative details in each reviewed paper are provided so that interested readers can have a refined version of these works without referring to original papers. Therefore, this systematic survey suits readers with varied backgrounds and will be beneficial to them.     

多粒度融合的模糊规则系统图像特征学习

当前最流行的图像特征学习方法是深度神经网络,该类方法无需人工参与即可自动地通过特征学习提取高效的特征,用于分类识别等任务。然而,深度神经网络图像特征抽取方法目前也面临着诸多挑战,其有效性严重依赖大规模的数据,且通常被视为黑盒模型,解释性较差。针对上述挑战,以基于模糊规则推理的TSK模糊系统(TSK-FS)为基础,提出了一种适用于不同规模数据集且易于理解的特征学习方法——多粒度融合的模糊规则系统图像特征学习算法。该方法通过基于规则的TSK-FS抽取图像特征,因而特征学习过程是可以利用规则进行解释的。其次,多粒度扫描也使得其特征学习能力进一步提升。在不同规模的图像数据集上进行了充分的实验,实验结果表明该方法在图像数据集上具有较好的有效性。