多模态融合的膝关节损伤预测

膝关节磁共振成像（MRI）是诊断膝关节损伤的首选方法。然而,MRI影像的人工诊断是费时的,而且容易出现诊断错误。为了更准确地预测膝关节损伤,辅助临床医生做出诊断,提出一种多模态特征融合的深度学习模型,用于检测一般异常、前交叉韧带撕裂和半月板撕裂。提取梯度方向直方图（Histogram of Oriented Gradients, HOG）特征和局部二值模式（Local Binary Pattern,LBP）特征,经contact融合后利用PCA选取特征贡献度超过95%的特征作为传统特征;在VGG16模型的基础上加入金字塔融合的思想,将多个feature map的信息融合作为深度特征;将传统特征和深度特征经多层神经网络的能量模型进行相关性融合,作为多模态的特征,并得到预测概率。实验结果表明,上述模型在一般异常、前交叉韧带撕裂和半月板撕裂下ROC曲线下的面积（AUC）值分别为0.941?0、0.970?8和0.847?9,与传统特征和深度特征的效果相比,具有明显的优势,可以实现更有效的预测。     

基于多模态融合的人脸反欺骗技术

在先前的人脸反欺骗方法中大多使用手工提取的特征或者仅使用单一模态上的人 脸特征,并且很少注意到多通道色度的差异,因此得到的人脸反欺骗模型的鲁棒性较差以至于 无法有效地区分真假面孔。鉴于此,卷积神经网络(CNN)被用作特征提取器来代替手工特征的 提取,并且一种有效的多输入 CNN 模型被提出,以融合多种模态上的人脸特征以实现更具有 鲁棒性的人脸反欺骗。通过对人脸图像上的 2 个不同颜色特征(即 HSV 和 YCbCr)以及时间特征 进行联合建模,探索了人脸反欺骗的最佳鲁棒表示。在 REPLAY_ATTACK 和 CASIA-FASD 2 个基准数据集上进行的大量实验表明,该方法可实现最先进的性能。且在 REPLAY_ATTACK 上获得 0.23%的错误率(ERR)与 0.49%的半错误率(HTER)和在 CASIA-FASD 数据库上获得 1.76％的错误率与 3.05%的半错误率。     

以图像为主的多模态感知与多源融合技术发展及应用综述

不同模态的表现方式不同,描述目标的角度也会不同。多模态感知与多源融合技术是将两种或两种以上的模态组合起来,融合不同传感器、不同平台收集到的数据、特征信息,兼顾不同图像的优势,在遥感监测、军事安防、自动驾驶等领域有着广泛的运用。介绍了热成像、高光谱成像、偏振成像、合成孔径雷达(SAR)、激光雷达(LiDAR)等多模态感知技术,总结了不同成像方式的特点与联系,简述了多源融合相关概念及其技术发展历程,重点分析了不同模态下图像融合案例,在此基础上归纳多模态感知和多源融合技术的发展趋势,最后基于融合算法、系统整体性、评价指标总结出进一步发展方向。     

融合MRI信息的PET图像去噪: 基于图小波的方法

正电子发射断层成像(Positron emission tomography, PET)是一种强大的核医学功能成像模式, 广泛应用于临床诊断, 但PET图像的空间分辨率低且含有噪声, 有必要对PET图像进行去噪以提升PET图像的质量. 随着PET/MR (Magnetic resonance)等一体化成像设备的出现, 磁共振成像(Magnetic resonance imaging, MRI)的先验信息可用于PET图像去噪, 提高PET图像质量. 针对动态PET图像, 提出了一种融合MRI先验信息的PET图像图小波去噪新方法. 首先构建PET合成图像; 再将PET合成图像与MRI信息通过硬阈值方法进行融合; 接着在融合图像上构造图拉普拉斯矩阵; 最后通过图小波变换(Graph wavelet transfrom, GWT)对动态PET图像去噪. 仿真实验结果表明, 与单独的图滤波、图小波去噪方法以及其他结合MRI的PET图像去噪方法相比, 本文方法有更高的信噪比(Signal-to-noise ratio, SNR), 更好地保留了病灶信息; 本文方法的去噪性能与VGG (Visual Geometry Group)深度神经网络等基于学习的方法相当, 但不需要大量数据的训练, 计算复杂度低.     

定量磁共振图像的深度学习重建方法进展

磁共振成像是一种应用广泛的无创医学成像方法,因其丰富的软组织对比度可以成像人体几乎所有内部结构,包括器官、骨骼、肌肉和血管,已成为临床医学影像诊断的利器。然而磁共振成像存在两大公认的瓶颈：成像速度慢、扫描操作烦琐。深度学习给磁共振成像带来莫大的契机,给传统磁共振加速成像带来新的可能。鉴于该领域的快速发展性质,本文旨在总结文献中报道的大量深度学习和磁共振图像重建相结合的方法,以更好地了解该领域。本文简单介绍磁共振成像在多通道线圈接收的并行加速和压缩感知加速下的深度学习重建方法,其中单对比度图像可通过多通道接收线圈提供的冗余度用于加速,多对比度图像可额外使用不同对比度图像这一维度用于加速,动态图像与多对比度图像类似可额外使用时间维度用于加速,本文也将介绍深度学习在这些方面的发展。随着磁共振成像近年来由定性多对比度成像向定量多参数成像的发展,其中定量成像的图像中可内含多对比度图像,如何借用深度学习提供的能力将定性多对比度图像映射到参数图也是一个难点,近年来这一方向也获得了较快的发展,文中也将针对这方面内容进行调研并介绍。针对上述内容,分别介绍国际研究现状和国内研究现状,拟更好地总结国内外研究的发展的异同和趋势。最后对深度学习助力定量磁共振成像方面进行了展望。     

胎儿脑磁共振图像分割研究进展

医学影像是产前筛查、诊断、治疗引导和评估的重要工具,能有效避免胎儿脑的发育异常。近年来,磁共振成像在产前诊断中愈加重要,而实现自动、定量、精确地分析胎儿脑磁共振图像依赖于可靠的图像分割。因此,胎儿脑磁共振图像分割具有十分重要的临床意义与研究价值。由于胎儿图像中存在组织器官多、图像质量差及结构变化快等问题,胎儿脑磁共振图像的分割面临着巨大的困难与挑战。目前,尚未有文献对该领域的方法进行系统性的总结和分析,尤其是基于深度学习的方法。本文针对胎儿脑磁共振图像分割方法进行综述,首先,对胎儿脑磁共振图像的主要公开图谱/数据集进行详细说明;接着,对脑实质提取、组织分割和病灶分割方法进行全面的分类与分析;最后,对胎儿脑磁共振图像分割面临的挑战及未来的研究方向进行总结与展望。     

针刺效应的神经影像学研究

介绍了研究针刺机理的神经影像技术方法:fMRI(functional magnetic resonance imaging),PET(positron emission tomography),EEG(electroencephalography)和MEG(magnetoencephalography).介绍了针刺研究中穴位点和对照方法的选取.分别从针刺对于大脑网络、边缘系统和自主神经系统的调节3个方面概述了针刺效应神经生理机制的研究成果.指出了目前的研究所存在的问题,并对未来的研究进行展望.总结和概述了目前针刺效应的神经影像学研究和进展,希望有助于加速针刺机理的研究和认识,早日揭示针刺机理,发扬祖国传统医学.     

自适应模态融合双编码器MRI脑肿瘤分割网络

目的 评估肿瘤的恶性程度是临床诊断中的一项具有挑战性的任务。因脑肿瘤的磁共振成像呈现出不同的形状和大小,肿瘤的边缘模糊不清,导致肿瘤分割具有挑战性。为有效辅助临床医生进行肿瘤评估和诊断,提高脑肿瘤分割精度,提出一种自适应模态融合双编码器分割网络D3D-Net(double3DNet)。方法 本文提出的网络使用多个编码器和特定的特征融合的策略,采用双层编码器用于充分提取不同模态组合的图像特征,并在编码部分利用特定的融合策略将来自上下两个子编码器的特征信息充分融合,去除冗余特征。此外,在编码解码部分使用扩张多纤维模块在不增加计算开销的前提下捕获多尺度的图像特征,并引入注意力门控以保留细节信息。结果 采用BraTS2018(brain tumor segmentation 2018)、BraTS2019和BraTS2020数据集对D3D-Net网络进行训练和测试,并进行了消融实验。在BraTS2018数据集上,本模型在增强肿瘤、整个肿瘤、肿瘤核心的平均Dice值与3D U-Net相比分别提高了3.6%,1.0%,11.5%,与DMF-Net(dilatedmulti-fibernetwork...     

Multiscaled combination of MR and SPECT images in neuroimaging: A simplex method based variable-weight fusion

Single-photon emission computed tomography (SPECT) images alone are difficult to understand in diagnosis, since anatomical structures are absent from the data. Studies on combination attempt to locate functional changes of the SPECT image by the magnetic resonance (MR) image. Due to the low similarity between original images, fused results are always darkened, obscured or loss some crucial anatomical structures. This paper has solved these problems by the variable-weight matrix which is estimated by minimizing the cost function using the simplex method. Under the generalized intensity-hue-saturation (GIHS) framework, the multiscaled analysis is presented for a better detail preservation. Besides, interactive approaches are discussed for the gradual variation between original images and the control of detail performance. The similarity assessment evaluates several different methods on a normal brain atlas. Two clips show the interactive property of the proposed method, while two medical cases demonstrate its clinical values. We conclude that the proposed method is superior to traditional methods, when considering the definition and the information capacity of fused results.     

肺部肿瘤跨模态图像融合的并行分解自适应融合模型

目的 跨模态像素级医学图像融合是精准医疗领域的研究热点。针对传统的像素级图像融合算法存在融合图像对比度不高和边缘细节不能较好保留等问题,本文提出并行分解图像自适应融合模型。方法 首先,使用NSCT(non-subsampled contourlet transform)提取原图像的细节方向信息,将原图像分为低频子带和高频子带,同时使用潜在低秩表示方法(latent low-rank representation, LatLRR)提取原图像的显著能量信息,得到低秩部分、显著部分和噪声部分。然后,在低频子带融合方面,NSCT分解后得到的低频子带包含原图像的主要能量,在融合过程中存在多对一的模糊映射关系,因此低频子带融合规则采用基于模糊逻辑的自适应方法,使用高斯隶属函数表示图像模糊关系;在高频子带融合方面,NSCT分解后得到高频子带系数间有较强的结构相似性,高频子带包含图像的轮廓边缘信息,因此高频子带采用基于Piella框架的自适应融合方法,引入平均结构相似性作为匹配测度,区域方差作为活性测度,设计自适应加权决策因子对高频子带进行融合。结果 在5组CT(computed tomography...     

MRI脑肿瘤图像分割的深度学习方法综述

磁共振成像（MRI）作为一种典型的非侵入式成像技术，可产生高质量的无损伤和无颅骨伪影的脑影像，为脑肿瘤的诊断和治疗提供更为全面的信息，是脑肿瘤诊疗的主要技术手段。MRI脑肿瘤自动分割利用计算机技术从多模态脑影像中自动将肿瘤区（坏死区、水肿区、非增强肿瘤区和增强肿瘤区）和正常组织区进行分割和标注，对于辅助脑肿瘤的诊疗具有重要作用。本文对MRI脑肿瘤图像分割的深度学习方法进行了总结与分析，给出了各类方法的基本思想、网络架构形式、代表性改进方案以及优缺点总结等，并给出了部分典型方法在BraTS（multimodal brain tumor segmentation）数据集上的性能表现与分析结果。通过对该领域研究方法进行综述，对现有基于深度学习的MRI脑肿瘤分割研究方法进行了梳理，作为新的发展方向，MRI脑肿瘤图像分割的深度学习方法较传统方法已取得明显的性能提升，已成为领域主流方法并持续展现出良好的发展前景，有助于进一步推动MRI脑肿瘤分割在临床诊疗上的应用。     

深度学习与生物医学图像分析2020年综述

医学大数据主要包括电子健康档案数据（electronic health record,EHR）、医学影像数据和基因信息数据等,其中医学影像数据占现阶段医学数据的绝大部分。如何将医学大数据应用于临床实践?这是计算机科学研究人员非常关注的问题,医学人工智能提供了一个很好的答案。通过结合医学图像大数据分析方向截至2020年的最新研究进展,以及医学图像大数据分析领域最近的工作,梳理了当前在医学图像领域以核磁共振影像、超声影像、病理和电信号为代表的4个子领域以及部分其他方向使用深度学习进行图像分析的方法理论和主要流程,对不同算法进行结果评价。本文分析了现有算法的优缺点以及医学影像领域的重难点,介绍了智能成像和深度学习在大数据分析以及疾病早期诊断领域的应用,同时展望了本领域未来的发展热点。深度学习在医学影像领域发展迅速,发展前景广阔,对疾病的早期诊断有重要作用,能有效提高医生工作效率并减轻负担,具有重要的理论研究和实际应用价值。     

MRI脑肿瘤图像分割研究进展及挑战

脑肿瘤分割是医学图像处理中的一项重要内容,其目的是辅助医生做出准确的诊断和治疗,在临床脑部医学领域具有重要的实用价值。核磁共振成像（MRI）是临床医生研究脑部组织结构的主要影像学工具,为了使更多研究者对MRI脑肿瘤图像分割理论及其发展进行探索,本文对该领域研究现状进行综述。首先总结了用于MRI脑肿瘤图像分割的方法,并对现有方法进行了分类,即分为监督分割和非监督分割;然后重点综述了基于深度学习的脑肿瘤分割方法,在研究其关键技术基础上归纳了优化策略;最后介绍了脑肿瘤分割（BraTS）挑战,并结合挑战中所用方法展望了脑肿瘤分割领域未来的发展趋势。MRI脑肿瘤图像分割领域的研究已经取得了一些显著进展,尤其是深度学习的发展为该领域的研究提供了新的思路。但由于脑肿瘤在大小、形状和位置方面的高度变化,以及脑肿瘤图像数据有限且类别不平衡等问题,使得脑肿瘤图像分割仍是一个极具挑战的课题。由于分割过程缺乏可解释性和透明性,如何将全自动分割方法应用于临床试验,还需要进行深入研究。