基于深度学习的多模态医学影像分割研究综述

多模态医学影像分割是医学影像分析领域的研究热点之一。有效利用不同模态影像的互补信息,从多种层面提供病灶区域及其周围区域的更多信息,可提高临床诊断的准确性。为了分析深度学习在多模态医学影像分割领域的研究现状及发展方向,对该领域近些年的分割方法进行了整理和研究。在分析它们的特点及存在的问题的基础上,对未来研究方向进行了展望,可帮助相关研究者全面、快速地了解该领域的研究现状、存在的问题和未来研究方向。     

基于倒金字塔深度学习网络的三维医学图像分割

基于深度学习的医学图像分割对医学研究和临床疾病诊断具有重要意义。然而,现有三维脑图像分割网络仅依赖单一模态信息,且最后一层网络的特征表达不准确,导致分割精度降低。引入注意力机制,提出一种基于深度学习的多模态交叉重构的倒金字塔网络MCRAIP-Net。以多模态磁共振图像作为输入,通过三个独立的编码器结构提取各模态的特征信息,并将提取的特征信息在同一分辨率级进行初步融合。利用双通道交叉重构注意力模块实现多模态特征的细化与融合。在此基础上,采用倒金字塔解码器对解码器各阶段不同分辨率的特征进行整合,完成脑组织的分割任务。在MRBrainS13和IBSR18数据集上的实验结果表明,相比3D U-Net、MMAN、SW-3D-Unet等网络,MCRAIP-Net能够充分利用多模态图像的互补信息,获取更准确丰富的细节特征且具有较优的分割精度,白质、灰质、脑脊液的Dice系数分别达到91.67%、88.95%、84.79%。     

多模态深度学习综述

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。     

深度多模态表示学习的研究综述

尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。     

多模态深度学习综述

模态是指人接收信息的方式,包括听觉、视觉、嗅觉、触觉等多种方式。多模态学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示。多模态学习的目的是建立能够处理和关联来自多种模式信息的模型,它是一个充满活力的多学科领域,具有日益重要和巨大的潜力。目前比较热门的研究方向是图像、视频、音频、文本之间的多模态学习。着重介绍了多模态在视听语音识别、图文情感分析、协同标注等实际层面的应用,以及在匹配和分类、对齐表示学习等核心层面的应用,并针对多模态学习的核心问题:匹配和分类、对齐表示学习方面给出了说明。对多模态学习中常用的数据集进行了介绍,并展望了未来多模态学习的发展趋势。     

面向多模态磁共振脑瘤图像的小样本分割方法

针对脑肿瘤磁共振成像(MRI)模态多、训练数据少、类别不平衡以及各个私有数据库差异大等导致分割困难的问题,引入小样本分割方法,并提出基于U-net的原型网络(PU-net)模型用以对脑肿瘤磁共振(MR)图像进行分割.首先对U-net的结构进行调整来提取各类瘤体的特征用以计算原型;然后在原型网络的基础上,逐像素利用原型对...     

基于高低频特征分解的深度多模态医学图像融合网络

多模态医学图像融合旨在利用跨模态图像的相关性和信息互补性,以增强医学图像在临床应用中的可读性和适用性。然而,现有手工设计的模型无法有效地提取关键目标特征,从而导致融合图像模糊、纹理细节丢失等问题。为此,提出了一种新的基于高低频特征分解的深度多模态医学图像融合网络,将通道注意力和空间注意力机制引入融合过程,在保持全局结构的基础上保留了局部纹理细节信息,实现了更加细致的融合。首先,通过预训练模型VGG-19提取两种模态图像的高频特征,并通过下采样提取其低频特征,形成高低频中间特征图。其次,在特征融合模块嵌入残差注意力网络,依次从通道和空间维度推断注意力图,并将其用来指导输入特征图的自适应特征优化过程。最后,重构模块形成高质量特征表示并输出融合图像。实验结果表明,该算法在Harvard公开数据集和自建腹部数据集峰值信噪比提升8.29%,结构相似性提升85.07%,相关系数提升65.67%,特征互信息提升46.76%,视觉保真度提升80.89%。     

面向深度学习的多模态融合技术研究综述

面向深度学习的多模态融合技术是指机器从文本、图像、语音和视频等领域获取信息实现转换与融合以提升模型性能,而模态的普遍性和深度学习的热度促进了多模态融合技术的发展。在多模态融合技术发展前期,以提升深度学习模型分类与回归性能为出发点,阐述多模态融合架构、融合方法和对齐技术。重点分析联合、协同、编解码器3种融合架构在深度学习中的应用情况与优缺点,以及多核学习、图像模型和神经网络等具体融合方法与对齐技术,在此基础上归纳多模态融合研究的常用公开数据集,并对跨模态转移学习、模态语义冲突消解、多模态组合评价等下一步的研究方向进行展望。     

基于深度学习的行为识别多模态融合方法综述

行为识别是通过对视频数据进行处理分析从而让计算机理解人的动作和行为.不同模态数据在外观、姿态、几何、光照和视角等主要特征上各有优势,通过多模态融合将这些特征进行融合可以获得比单一模态数据更好的识别效果.本文对现有行为识别多模态融合方法进行介绍,对比了它们之间的特点以及获得的性能提升,包括预测分数融合、注意力机制、知识蒸馏等晚期融合方法,以及特征图融合、卷积、融合结构搜索、注意力机制等早期融合方法.通过这些分析和比较归纳出未来多模态融合的研究方向.     

基于深度学习的医学图像配准技术研究进展

医学图像配准技术对于病灶检测、临床诊断、手术规划,疗效评估等有着广泛的应用价值.系统性地总结了基于深度学习的配准算法,从深度迭代、全监督、弱监督到无监督学习的研究发展趋势,分析了各种方法的优势与局限.总体来看,无论是对数据的要求、配准精度,还是计算效率,无监督学习因其不依赖金标准和解剖标签,采用端到端的网络配准框架就可...     

多模态医疗图像分类

在疾病诊断过程当中通常会生成各种各样的医疗图像,利用计算机综合考虑来自不同模态的医疗图像来辅助诊断成了一个热门的研究方向.本方法利用深度神经网络获取不同模态的医疗图像的特征,通过设计损失函数的正则化项,使得这些特征在共同语义空间上保持结构上的相似性,来让网络学习到更加鲁棒的特征.本方法在CPM-RadPath2020和...     

医学图像图深度学习分割算法综述

精准分割医学图像中的器官或病灶,是医学图像智能分析领域的重要难题,其在临床上对于疾病的辅助诊疗有着重要应用价值。在解决医学图像信息表征及对非欧空间生理组织结构准确建模等挑战性问题方面,基于图深度学习的医学图像分割技术取得了重要突破,展现出显著的信息特征提取及表征优势,可获得更为精准的分割结果,已成为该领域新兴研究热点。为更好促进医学图像图深度学习分割算法的研究发展,对该领域的技术进展及应用现状做了系统的梳理总结。介绍了图的定义及图卷积网络的基本结构,详细阐述了谱图卷积和空域图卷积操作。根据GCN结合残差模块、注意力机制模块及学习模块三种技术结构模式,归纳并总结了其在医学图像分割中的研究进展。对图深度学习算法在医学图像分割领域的应用和发展做了概要总结和展望,为该领域的技术发展提供参考和新的研究思路。     

医学图像分割方法综述

医学图像分割是一项极具挑战性的任务,也是医学领域与计算机视觉领域的完美结合。本文通过对医学图像分割领域现状的了解和学习,对其进行了系统性梳理,首先介绍了阈值法、区域法、边缘检测法、聚类法这4种传统的医学图像分割方法,然后介绍了基于深度学习的自动分割方法,最后对医学图像分割的发展趋势做出展望。     

可见光-远红外图像的多模态能见度深度学习模型

为了增强能见度深度学习模型在小样本条件下的准确率和鲁棒性,提出一种基于可见光-远红外图像的多模态能见度深度学习方法.首先,利用图像配准获取视野范围与分辨率均相同的可见光-远红外输入图像对;然后,构造三分支并行结构的多模态特征融合网络;分别在可见光图像、远红外图像及其累加特征图中提取不同性质的大气特征,各分支的特征信息通过网络结构实现模态互补与融合;最后在网络末端输出图像场景所对应的能见度的等级.采用双目摄像机收集不同天气情况下的室外真实可见光-远红外图像作为实验数据,在不同性能指标、多角度下的实验结果表明,与传统单模态能见度深度学习模型相比,多模态能见度模型可显著提高小样本条件下能见度检测的准确率和鲁棒性.     

基于多模态互补特征学习的遥感影像语义分割

在遥感影像语义分割任务中,数字表面模型可以为光谱数据生成对应的几何表示,能够有效提升语义分割的精度。然而,大部分现有工作仅简单地将光谱特征和高程特征在不同的阶段相加或合并,忽略了多模态数据之间的相关性与互补性,导致网络对某些复杂地物无法准确分割。本文基于互补特征学习的多模态数据语义分割网络进行研究。该网络采用多核最大均值距离作为互补约束,提取两种模态特征之间的相似特征与互补特征。在解码之前互相借用互补特征,增强网络共享特征的能力。在国际摄影测量及遥感探测学会 (international society for photogrammetry and remote sensing, ISPRS)的Potsdam与Vaihingen公开数据集上验证所提出的网络,证明了该网络可以实现更高的分割精度。     

医学图像融合方法综述

多模态医学图像能够为医疗诊断、治疗规划和手术导航等临床应用提供更为全面和准确的医学图像描述。由于疾病的类型多样且复杂,无法通过单一模态的医学图像进行疾病类型诊断和病灶定位,而多模态医学图像融合方法可以解决这一问题。融合方法获得的融合图像具有更丰富全面的信息,可以辅助医学影像更好地服务于临床应用。为了对医学图像融合方法的现状进行全面研究,本文对近年国内外发表的相关文献进行综述。对医学图像融合技术进行分类,将融合方法分为传统方法和深度学习方法两类并总结其优缺点。结合多模态医学图像成像原理和各类疾病的图像表征,分析不同部位、不同疾病的融合方法的相关技术并进行定性比较。总结现有多模态医学图像数据库,并按分类对25项常见的医学图像融合质量评价指标进行概述。总结22种基于传统方法和深度学习领域的多模态医学图像融合算法。此外,本文进行实验,比较基于深度学习与传统的医学图像融合方法的性能,通过对3组多模态医学图像融合结果的定性和定量分析,总结各技术领域医学图像融合算法的优缺点。最后,对医学图像融合技术的现状、重难点和未来展望进行讨论。     

基于多小波变换域特征的多模态医学图像融合

多小波是小波理论的扩展,在图像处理方面具有单小波所不具有的优点.它能够为图像提供一种比小波多分辨率分析更加精确的分析方法.在研究了多小波变换域上同一尺度多个子带间相关性、子带内相邻系数的相关性以及能量的低聚性的特性后,提出了一种基于离散多小波变换域特征的融合方法,并将不同模态的医学脑部CT图像和MR图像利用此方法进行融合,相比于传统小波域内的图像融合方法.该方法不仅能够完好地显示源图像各自的信息,很好地将源图像的细节融合在一起,而且得到的融合图像具有更良好的视觉效果和更优的量化指标,体现出更好的融合效果.     

基于二元树复小波变换的多模态医学图像融合

在研究了二元树复小波变换(DT-CWT)近似的移动不变性、良好的方向选择性等优点后,提出了一种基于二元树复小波变换的融合方法.将该方法应用于医学脑部CT图像和MR图像的融合,通过与基于传统离散小波变换(DWT)融合方法得到的融合图像进行主观评判和客观效果评价,证实了该方法具有更良好的视觉效果和更优的量化指标,体现出更强的融合性能。