基于深度学习的肝脏CT-MR图像无监督配准

多模态配准是医学图像分析中的关键环节,在肝癌辅助诊断、图像引导的手术治疗中具有重要作用。针对传统的迭代式肝脏多模态配准计算量大、耗时长、配准精度低等问题,提出一种基于多尺度形变融合和双输入空间注意力的无监督深度学习配准算法。利用多尺度形变融合框架提取不同分辨率的图像特征,实现肝脏的逐阶配准,在提高配准精度的同时避免网络陷入局部最优。采用双输入空间注意力模块在编解码阶段融合不同水平的空间和文本信息提取图像间的差异特征,增强特征表达。引入基于邻域描述符的结构信息损失项进行网络迭代优化,不需要任何先验信息即可实现精确的无监督配准。在临床肝脏CT-MR数据集上的实验结果表明,与传统的Affine、Elastix、VoxelMorph等算法相比,该算法达到最优的DSC值和TRE值,分别为0.926 1±0.018 6和6.39±3.03 mm,其平均配准时间为0.35±0.018 s,相比Elastix算法提升了近380倍,能准确地提取特征及估计规则的形变场,具有较高的配准精度和较快的配准速度。     

基于P样条和局部互信息的非刚性医学图像配准*

为了克服互信息仅考虑两幅图像相应像素的灰度信息,忽略了图像本身的内在空间信息,以及B样条变换模型存在形变场奇异点的缺陷,提出一种基于P样条和局部互信息的非刚性医学图像配准方法。该方法以局部互信息为相似性测度,采用P样条变换模型模拟待配准图像的几何形变,然后使用三次插值算法对图像像素进行赋值,结合对大规模参数优化效率高的LBFGS算法对配准参数进行优化。实验结果表明,该方法较传统的互信息和B样条变换模型都有效地提高了配准的精度。     

集成注意力增强和双重相似性引导的多模态脑部图像配准

目的 医学图像配准是医学图像处理和分析的关键环节,由于多模态图像的灰度、纹理等信息具有较大差异,难以设计准确的指标来量化图像对的相似性,导致无监督多模态图像配准的精度较低。因此,本文提出一种集成注意力增强和双重相似性引导的无监督深度学习配准模型（ensemble attention-based and dual similarity guidance registration network,EADSG-RegNet）,结合全局灰度相似性和局部特征相似性共同引导参数优化,以提高磁共振T2加权图像和T1加权模板图像配准的精度。方法 EADSG-RegNet模型包含特征提取、变形场估计和重采样器。设计级联编码器和解码器实现图像对的多尺度特征提取和变形场估计,在级联编码器中引入集成注意力增强模块（integrated attention augmentation module,IAAM）,通过训练的方式学习提取特征的重要程度,筛选出对配准任务更有用的特征,使解码器更准确地估计变形场。为了能够准确估计全局和局部形变,使用全局的灰度相似性归一化互信息（normalized mutual information,NMI）和基于SSC （self-similarity context）描述符的局部特征相似性共同作为损失函数训练网络。在公开数据集和内部数据集上验证模型的有效性,采用Dice分数对配准结果在全局灰质和白质以及局部组织解剖结构上作定量分析。结果 实验结果表明,相比于传统配准方法和深度学习配准模型,本文方法在可视化结果和定量分析两方面均优于其他方法。对比传统方法ANTs （advanced normalization tools）、深度学习方法voxelMorph和ADMIR （affine and deformable medical image registration）,在全局灰质区域,Dice分数分别提升了3.5%,1.9%和1.5%。在全局白质区域分别提升了3.4%,1.6%和1.3%。对于局部组织结构,Dice分数分别提升了5.2%,3.1%和1.9%。消融实验表明,IAAM模块和SSC损失分别使Dice分数提升1.2%和1.5%。结论 本文提出的集成注意力增强的无监督多模态医学图像配准网络,通过强化有用特征实现变形场的准确估计,进而实现图像中细小区域的准确配准,对比实验验证了本文模型的有效性和泛化能力。     

基于深度卷积特征光流的形变医学图像配准算法

光流法是一种基于光流场模型的重要而有效的形变配准算法。针对现有光流法所用特征质量不高使得配准结果不够准确的问题，将深度卷积神经网络特征和光流法相结合，提出了基于深度卷积特征光流（DCFOF）的形变医学图像配准算法。首先利用深度卷积神经网络稠密地提取图像中每个像素所在图像块的深度卷积特征，然后基于固定图像和浮动图像间的深度卷积特征差异求解光流场。通过提取图像的更为精确和鲁棒的深度学习特征，使求得的光流场更接近真实形变场，提升了配准精度。实验结果表明，所提算法能够更有效地解决形变医学图像配准问题，其配准精度优于Demons算法、尺度不变特征变换(SIFT) Flow算法以及医学图像专业配准软件Elastix。     

基于分块互信息的图像配准

针对传统互信息缺乏利用空间信息而容易导致误配的缺点,提出了基于分块互信息的多模图像配准方法,并运用于可见光与红外图像之间的配准。该方法首先将可见光与红外图像分块,求得每个可见光与红外图像块对的互信息,并由块对中可见光与红外图像的质心间的距离为参数,确定块对的配准系数,求得每个块对的互信息与配准系数的乘积的和,定义为分块互信息,并以此为配准准则。实验表明,该方法运用与可见光与红外光配准,在配准精度上优于传统互信息方法。     

融合双注意力与深度神经网络的遥感图像配准北大核心

在多视角遥感图像配准中,部分方法在复杂场景下存在配准精度不高或实时性低等问题,针对以上不足,提出融合双注意力机制的网络中网络作为特征提取器的端到端图像配准算法。算法分为特征提取、特征匹配和参数预测三部分,首先使用网络中网络改进模型对于复杂特征的提取能力,同时引入双注意力机制提升对特征的分辨和定位效果;然后在特征匹配层使用双向的相关运算改善特征匹配精度,匹配层输出的匹配图输入参数预测网络,预测从待配准图像到参考图像的变换参数。实验表明,与传统算法对比,配准精度平均提升10%以上,速度至少提升20%,所提方法有效提升了多视角遥感图像配准的效果。     

融合密集残差块和GAN变体的医学图像非刚性配准

目的 现有的医学图像配准算法在处理较大非刚性形变的医学图像时,存在配准精度低和泛化能力不足的问题。针对该问题,提出结合密集残差块和生成对抗网络（generative adversarial network,GAN）的图像配准方法,用于多模态医学图像的非刚性配准。方法 将密集残差块引入到生成器,提取待配准图像对的更多高层特征,从而提高配准精度;在GAN中采用最小二乘损失代替逻辑回归构造的交叉熵损失,由于最小二乘损失的收敛条件更严格,同时能缓解梯度消失和过拟合,从而提高配准模型的稳定性;在判别器网络中引入相对平均GAN（relative average GAN,RaGAN）,即在标准判别器的基础上增加一项梯度惩罚因子,降低判别器的判别误差,从而相对减少配准模型的配准误差,有助于稳定配准精度。结果 在DRIVE（digital retinal images for vessel extraction）数据集上进行训练和验证,在Sunybrook Cardiac数据集和Brain MRI数据集上进行泛化性能测试,并与几种主流医学图像非刚性配准算法进行对比实验,表明,本文配准模型在精度和泛化能力上均有一定程度的提升,相比其他方法,视网膜图像、心脏图像和脑部图像的配准Dice值分别提升了3.3%、3.0%、1.5%。结论 提出的配准方法能够获取更多高层特征信息,从而提升配准精度;同时基于最小二乘法构建损失函数并对判别器进行加强,能够使得配准模型在训练阶段快速收敛,提高了配准模型的稳定性和泛化能力,适合存在较大非刚性形变的医学图像的配准。     

残差密集相对平均CGAN的脑部图像配准

目的 针对图像合成配准算法中鲁棒性差及合成图像特征信息不足导致配准精度不高的问题,提出了基于残差密集相对平均条件生成对抗网络（residual dense-relativistic average conditional generative adversarial network,RD-RaCGAN）的多模态脑部图像配准方法。方法 相对平均生成对抗网络中的相对平均鉴别器能够增强模型稳定性,条件生成对抗网络加入条件变量能提高生成数据质量,结合两种网络特点,利用残差密集块充分提取深层网络特征的能力,构建RD-RaCGAN合成模型。然后,待配准的参考CT（computed tomography）和浮动MR（magnetic resonance）图像通过已训练好的RD-RaCGAN合成模型双向合成对应的参考MR和浮动CT图像。采用区域自适应配准算法,从参考CT和浮动CT图像中选取骨骼信息的关键点,从浮动MR和参考MR图像中选取软组织信息的关键点,通过提取的关键点指导形变场的估计。从浮动CT图像到参考CT图像估计一个形变场。类似地,从浮动MR图像到参考MR图像估计一个形变场。另外,采用分层对称的思想进一步优化两个形变场,当两个形变场之间的差异达到最小时,将两个形变场融合得到最终的形变场,并将形变场作用于浮动图像完成配准。结果 实验结果表明,与其他6种图像合成方法相比,本文模型合成的目标图像在视觉效果和客观评价指标上均优于其他方法。对比Powell优化的MI（mutual information）法、ANTs-SyN（advanced normalization toolbox-symmetric normalization）、D.Demons（diffeomorphic demons）、Cue-Aware Net（cue-aware deep regression network）和I-SI（intensity and spatial information）的图像配准方法,归一化互信息分别提高了43.71%、12.87%、10.59%、0.47%、5.59%,均方根误差均值分别下降了39.80%、38.67%、15.68%、4.38%、2.61%。结论 本文提出的多模态脑部图像配准方法具有很强的鲁棒性,能够稳定、准确地完成图像配准任务。     

基于改进深度学习的图像敏感信息识别研究

对网站图像敏感信息识别检测问题，提出一种基于改进深度学习的图像敏感信息识别方法。通过特征融合网络，将经全局优化后的区域检测网络与全局识别网络提取特征相融合，并引入注意力机制，对图像中包含敏感部位的区域进行加权聚焦，提高模型检测效率和准确性。实验证明，采用通过全局特征优化后的区域检测网络，平均检测精度提高1%,相较于SSD、Faster R-CNN等目标生成网络，平均检测精度高8.54%与10.63%,提取结果更精准；融合局部特征的全局识别网络，识别精度随着局部特征提取准确度上升而上升，当提取种类到达10种时，识别精度比未加入高1.8%;通过引入注意力机制，本模型检测准确率提升明显，当聚焦点数为7时，比未引入高0.7%;最终，相较于未包含局部特征的ResNet50网络、虽然未包含局部特征但结构更复杂的ResNet101网络，与虽然考虑局部特征，但未与全局特征进行融合的DMCNet网络，本模型检测准确率平均高出3.25%、2.15%和6%,且耗费时间较短，具有更高的鉴别力和检测效率。     

基于多通道稀疏编码的非刚性多模态医学图像配准

针对稀疏编码相似性测度在非刚性医学图像配准中对灰度偏移场具有较好的鲁棒性,但只适用于单模态医学图像配准的问题,提出基于多通道稀疏编码的非刚性多模态医学图像配准方法。该方法将多模态配准问题视为一个多通道配准问题来解决,每个模态在一个单独的通道下运行;首先对待配准的两幅图像分别进行合成和正则化,然后划分通道和图像块,使用K奇异值分解（K-SVD）算法训练每个通道中的图像块得到分析字典和稀疏系数,并对每个通道进行加权求和,采用多层P样条自由变换模型来模拟非刚性几何形变,结合梯度下降法优化目标函数。实验结果表明,与局部互信息、多通道局部方差和残差复杂性（MCLVRC）、多通道稀疏诱导的相似性测度（MCSISM）、多通道Rank Induced相似性测度（MCRISM）多模态相似性测度相比,均方根误差分别下降了30.86%、22.24%、26.84%和16.49%。所提方法能够有效克服多模态医学图像配准中灰度偏移场对配准的影响,提高配准的精度和鲁棒性。     

基于残差融合网络的定量磁敏感图像与T1加权图像配准

医学图像配准对医学图像处理和分析至关重要, 由于定量磁敏感图像 (quantitative susceptibility mapping, QSM) 与T1加权图像的灰度、纹理等信息存在较大的差异, 现有的医学图像配准算法难以高效精确地完成两者配准. 因此, 本文提出了一个基于残差融合的无监督深度学习配准模型RF-RegNet (residual fusion registration network, RF-RegNet). RF-RegNet由编解码器、重采样器以及上下文自相似特征提取器3部分组成. 编解码器用于提取待配准图像对的特征和预测两者的位移矢量场 (displacement vector field, DVF), 重采样器根据估计的DVF对浮动QSM图像重采样, 上下文自相似特征提取器分别用于提取参考T1加权图像和重采样后的QSM图像的上下文自相似特征并计算两者的平均绝对误差 (mean absolute error, MAE) 以驱动卷积神经网络 (convolutional neural network, ConvNet) 学习. 实验结果表明本文提出的方法显著地提高了QSM图像与T1加权图像的配准精度, 满足临床的配准需求.     

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block, scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union, MIo U)相较于传统U-Net网络分别提...     

SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness

Image fusion aims to integrate complementary information in source images to synthesize a fused image comprehensively characterizing the imaging scene. However, existing image fusion algorithms are only applicable to strictly aligned source images and cause severe artifacts in the fusion results when input images have slight shifts or deformations. In addition, the fusion results typically only have good visual effect, but neglect the semantic requirements of high-level vision tasks. This study incorporates image registration, image fusion, and semantic requirements of high-level vision tasks into a single framework and proposes a novel image registration and fusion method, named SuperFusion. Specifically, we design a registration network to estimate bidirectional deformation fields to rectify geometric distortions of input images under the supervision of both photometric and end-point constraints. The registration and fusion are combined in a symmetric scheme, in which while mutual promotion can be achieved by optimizing the naive fusion loss, it is further enhanced by the mono-modal consistent constraint on symmetric fusion outputs. In addition, the image fusion network is equipped with the global spatial attention mechanism to achieve adaptive feature integration. Moreover, the semantic constraint based on the pre-trained segmentation model and Lovasz-Softmax loss is deployed to guide the fusion network to focus more on the semantic requirements of high-level vision tasks. Extensive experiments on image registration, image fusion, and semantic segmentation tasks demonstrate the superiority of our SuperFusion compared to the state-of-the-art alternatives. The source code and pre-trained model are publicly available at https://github.com/Linfeng-Tang/SuperFusion.      

基于特征融合和动态多尺度空洞卷积的超声甲状腺分割网络

针对甲状腺超声影像中甲状腺组织大小和形态的多样性以及周边组织的复杂性,提出了一种基于特征融合和动态多尺度空洞卷积的超声甲状腺分割网络。首先,利用不同膨胀率的空洞卷积和动态滤波器来融合不同感受野下的全局语义特征与不同范围的上下文详情的语义特征,从而提升网络对多尺度目标的适应性与准确度;然后,在特征降维时采用混合上采样方式,以增强高维语义特征的空间信息和低维空间特征的上下文信息;最后,采用空间注意力机制来优化图像的低维特征,并采用高低维特征融合的方式使高低维特征信息在保留重要特征的同时摒弃冗余信息以及使网络对于图像前背景的区分能力得到增强。实验结果表明,所提方法在甲状腺超声影像公开数据集上达到了0.963±0.026的准确率、0.84±0.03的召回率和0.79±0.03的dice系数。可见所提方法能较好地解决组织形态差异性大以及周边组织复杂的问题。