自适应多模态特征融合胶质瘤分级网络

目的 胶质瘤的准确分级是辅助制定个性化治疗方案的主要手段,但现有研究大多数集中在基于肿瘤区域的分级预测上,需要事先勾画感兴趣区域,无法满足临床智能辅助诊断的实时性需求。因此,本文提出一种自适应多模态特征融合网络（adaptive multi-modal fusion net,AMMFNet）,在不需要勾画肿瘤区域的情况下,实现原始采集图像到胶质瘤级别的端到端准确预测。方法 AMMFNet方法采用4个同构异义网络分支提取不同模态的多尺度图像特征;利用自适应多模态特征融合模块和降维模块进行特征融合;结合交叉熵分类损失和特征嵌入损失提高胶质瘤的分类精度。为了验证模型性能,本文采用MICCAI （Medical Image Computing and Computer Assisted Intervention Society）2018公开数据集进行训练和测试,与前沿深度学习模型和最新的胶质瘤分类模型进行对比,并采用精度以及受试者曲线下面积（area under curve,AUC）等指标进行定量分析。结果 在无需勾画肿瘤区域的情况下,本文模型预测胶质瘤分级的AUC为0.965;在使用肿瘤区域时,其AUC高达0.997,精度为0.982,比目前最好的胶质瘤分类模型——多任务卷积神经网络同比提高1.2%。结论 本文提出的自适应多模态特征融合网络,通过结合多模态、多语义级别特征,可以在未勾画肿瘤区域的前提下,准确地实现胶质瘤分级预测。     

基于动态卷积的体素内不相干运动成像参数估计

体素内不相干运动(IVIM)磁共振成像是一种能够表征生物组织内水分子扩散和灌注的无创技术. 传统IVIM参数估计方法受到图像噪声的影响, 参数估计效果不佳. 为了准确、快速地确定组织区域的扩散和灌注参数信息, 本文充分考虑来自于体素信号之间的上下文信息和b值对于IVIM参数的贡献程度, 提出一种基于动态卷积模块的一维卷积神经网络(dynamic convolutional neural network, DCNN)估计IVIM参数. 在具有不同噪声水平的测试仿真数据和真实采集图像上, 与传统的IVIM参数估计方法进行了比较. 实验结果表明, 本文提出的DCNN方法能够降低IVIM参数的变异系数、偏差和相对均方根误差, 提高了参数一致性和鲁棒性的同时, 仍具有较高的IVIM参数视觉质量.     

基于残差融合网络的定量磁敏感图像与T1加权图像配准

医学图像配准对医学图像处理和分析至关重要, 由于定量磁敏感图像 (quantitative susceptibility mapping, QSM) 与T1加权图像的灰度、纹理等信息存在较大的差异, 现有的医学图像配准算法难以高效精确地完成两者配准. 因此, 本文提出了一个基于残差融合的无监督深度学习配准模型RF-RegNet (residual fusion registration network, RF-RegNet). RF-RegNet由编解码器、重采样器以及上下文自相似特征提取器3部分组成. 编解码器用于提取待配准图像对的特征和预测两者的位移矢量场 (displacement vector field, DVF), 重采样器根据估计的DVF对浮动QSM图像重采样, 上下文自相似特征提取器分别用于提取参考T1加权图像和重采样后的QSM图像的上下文自相似特征并计算两者的平均绝对误差 (mean absolute error, MAE) 以驱动卷积神经网络 (convolutional neural network, ConvNet) 学习. 实验结果表明本文提出的方法显著地提高了QSM图像与T1加权图像的配准精度, 满足临床的配准需求.     

深度多尺度不变特征网络预测胶质瘤1p/19q缺失状态

准确预测胶质瘤染色体1p/19q的缺失状态对于制定合适的治疗方案和评估胶质瘤的预后有着重要的意义.虽然已有研究能够基于磁共振图像和机器学习方法实现胶质瘤1p/19q状态的准确预测,但大多数方法需要事先准确勾画肿瘤边界,无法满足计算机辅助诊断的实际需求.因此,提出一种深度多尺度不变特征网络（deep multi-scale invariant features-based network,DMIF-Net）预测1p/19q的缺失状态.首先利用小波散射网络提取多尺度、多方向不变特征,同时基于深度分离转聚合网络提取高级语义特征,然后通过多尺度池化模块对特征进行降维并融合,最后在仅输入肿瘤区域定界框图像的情况下,实现胶质瘤1p/19q状态的准确预测.实验结果表明,在不需要准确勾画肿瘤边界的前提下,DMIF-Net预测胶质瘤1p/19q缺失状态的AUC （area under curve）可达0.92（95% CI=[0.91,0.94]）,相比于最优的主流深度学习模型其AUC增加了4.1%,灵敏度和特异性分别增加了4.6%和3.4%,相比于最好的胶质瘤分类前沿模型,其AUC与精度分别增加了4.9%和5.5%.此外,消融实验证明了本文所提出的多尺度不变特征提取网络可以有效地提高模型的预测性能,说明结合深度高级语义特征和多尺度不变特征可以在不勾画肿瘤边界的情况下,显著增加对胶质瘤1p/19q缺失状态的预测能力,进而为低级别胶质瘤的个性化治疗方案制定提供一种辅助手段.     

语义拉普拉斯金字塔多中心乳腺肿瘤分割网络

目的 乳腺肿瘤分割对乳腺癌的辅助诊疗起着关键作用,但现有研究大多集中在单中心数据的分割上,泛化能力不强,无法应对临床的复杂数据。因此,本文提出一种语义拉普拉斯金字塔网络（semantic Laplacian pyramids network,SLAPNet）,实现多中心数据下乳腺肿瘤的准确分割。方法 SLAPNet主要包含高斯金字塔和语义金字塔两个结构,前者负责得到多尺度的图像输入,后者负责提取多尺度的语义特征并使语义特征能在不同尺度间传播。结果 网络使用Dice相似系数（Dice similarity coefficient,DSC）作为优化目标。为了验证模型性能,采用多中心数据进行测试,与AttentionUNet、PSPNet （pyramid scene parsing network）、UNet 3+、MSDNet （multiscale dual attention network）、PyConvUNet （pyramid convolutional network）等深度学习模型进行对比,并利用DSC和Jaccard系数（Jaccard coefficient,JC）等指标进行定量分析。使用内部数据集测试时,本文模型乳腺肿瘤分割的DSC为0.826;使用公开数据集测试时,DSC为0.774,比PyConvUNet提高了约1.3%,比PSPNet和UNet3+提高了约1.5%。结论 本文提出的语义拉普拉斯金字塔网络,通过结合多尺度和多级别的语义特征,可以在多中心数据上准确实现乳腺癌肿瘤的自动分割。     

基于光流场与语义特征融合的心脏Cine-MRI左心室心肌分割方法

由于运动原因会造成活体心脏MRI图像中左心室心内膜与心肌边缘轮廓模糊, 进而导致分割不准确以及分割精度较低, 针对这些问题, 本文提出一种基于光流场与语义特征融合的心脏4D Cine-MRI (magnetic resonance imaging)左心室心肌分割模型OSFNet. 该模型包含了光流场计算和语义分割网络: 将光流场计算得到的运动特征与图像语义特征进行融合, 通过网络学习达到了最优的分割效果. 模型采用编码器-解码器结构, 本文提出的多感受野平均池化模块用于提取多尺度语义特征, 减少了特征丢失; 解码器部分使用了多路上采样方法和跳跃连接, 保证了语义特征被有效还原. 本文使用ACDC公开数据集对模型进行训练与测试, 并分别与DenseNet和U-Net在左心室内膜分割、左心室内膜和心肌分割目标上进行对比. 实验结果表明, OSFNet在Dice和HD等多个指标上取得了最佳效果.     

基于多种正则化的改进超分辨率重建算法

为了解决超分辨率图像重建过程中无法同时降低平滑区域噪声和保持图像细节的问题,结合改进的非局部变分（NLTV）和全变分（TV）正则项方法提出一种新的超分辨率重建算法。首先,根据图像重尾分布特性,结合高斯分布、拉普拉斯分布及柯西分布改进了传统NLTV正则项系数,提出了改进的ANLTV正则项。然后利用ANLTV正则项基于分裂Bregman算法重建了初始的高分辨率图像。最后结合TV正则项对重建的高分辨率图像进行去模糊操作,进而得到最终的超分辨率图像重建结果。为验证所提算法的性能,分别利用该算法与传统的TV和NLTV算法进行超分辨率图像重建并对比。实验结果表明,所提出的方法相比于传统的TV和NLTV重建算法,其峰值信噪比、信噪比和结构相似度均有所提高,能够同时满足超分辨率图像重建过程中抑制噪声和保持边缘细节的需求。     

一种利用偏振干涉原理测量表面粗糙度的方法

近年来,对精加工表面质量的要求日益增高,使得表面粗糙度的测量具有越来越重要的地位.提出了一种新颖的,利用光的干涉原理测量光滑物体表面粗糙度的方法.该光路使用一个半波片改变一路光束的偏振态,避免了以前广泛使用的类似测量系统中光路具有可逆性的问题,保证了系统的稳定性.使用一个1/4波片使接收端的光束的偏振态方向一致,使干涉信号最强.采用两光束共光路、同心聚焦扫描方法可实现表面粗糙度的绝对测量.通过对一标准量块的测量验证了方案的可行性,结果表明该系统在实验室现有条件下可以测量轮廓算术平均偏差Ra为0.012 μm的粗糙度量块.     

集成注意力增强和双重相似性引导的多模态脑部图像配准

目的 医学图像配准是医学图像处理和分析的关键环节,由于多模态图像的灰度、纹理等信息具有较大差异,难以设计准确的指标来量化图像对的相似性,导致无监督多模态图像配准的精度较低。因此,本文提出一种集成注意力增强和双重相似性引导的无监督深度学习配准模型（ensemble attention-based and dual similarity guidance registration network,EADSG-RegNet）,结合全局灰度相似性和局部特征相似性共同引导参数优化,以提高磁共振T2加权图像和T1加权模板图像配准的精度。方法 EADSG-RegNet模型包含特征提取、变形场估计和重采样器。设计级联编码器和解码器实现图像对的多尺度特征提取和变形场估计,在级联编码器中引入集成注意力增强模块（integrated attention augmentation module,IAAM）,通过训练的方式学习提取特征的重要程度,筛选出对配准任务更有用的特征,使解码器更准确地估计变形场。为了能够准确估计全局和局部形变,使用全局的灰度相似性归一化互信息（normalized mutual information,NMI）和基于SSC （self-similarity context）描述符的局部特征相似性共同作为损失函数训练网络。在公开数据集和内部数据集上验证模型的有效性,采用Dice分数对配准结果在全局灰质和白质以及局部组织解剖结构上作定量分析。结果 实验结果表明,相比于传统配准方法和深度学习配准模型,本文方法在可视化结果和定量分析两方面均优于其他方法。对比传统方法ANTs （advanced normalization tools）、深度学习方法voxelMorph和ADMIR （affine and deformable medical image registration）,在全局灰质区域,Dice分数分别提升了3.5%,1.9%和1.5%。在全局白质区域分别提升了3.4%,1.6%和1.3%。对于局部组织结构,Dice分数分别提升了5.2%,3.1%和1.9%。消融实验表明,IAAM模块和SSC损失分别使Dice分数提升1.2%和1.5%。结论 本文提出的集成注意力增强的无监督多模态医学图像配准网络,通过强化有用特征实现变形场的准确估计,进而实现图像中细小区域的准确配准,对比实验验证了本文模型的有效性和泛化能力。     

深度迭代融合的脑部磁共振图像颅骨去除网络

目的 去除颅骨是脑部磁共振图像处理和分析中的重要环节。由于脑部组织结构复杂以及采集设备噪声的影响导致现有方法不能准确分割出脑部区域,为此提出一种深度迭代融合的卷积神经网络模型实现颅骨的准确去除。方法 本文DIFNet（deep iteration fusion net）模型的主体结构由编码器和解码器组成,中间的跳跃连接方式由多个上采样迭代融合构成。其中编码器由残差卷积组成,以便浅层语义信息更容易流入深层网络,避免出现梯度消失的现象。解码器网络由双路上采样模块构成,通过具有不同感受野的反卷积操作,将输出的特征图相加后作为模块输出,有效还原更多细节上的特征。引入带有L2正则的Dice损失函数训练网络模型,同时采用内部数据增强方法,有效提高模型的鲁棒性和泛化能力。结果 为了验证本文模型的分割性能,分别利用两组数据集与传统分割算法和主流的深度学习分割模型进行对比。在训练数据集同源的NFBS（neurofeedback skull-stripped）测试数据集上,本文方法获得了最高的平均Dice值和灵敏度,分别为99.12%和99.22%。将在NFBS数据集上训练好的模型直接应用于LPBA40（loni probabilistic brain atlas 40）数据集,本文模型的Dice值可达98.16%。结论 本文提出的DIFNet模型可以快速、准确地去除颅骨,相比于主流的颅骨分割模型,精度有较高提升,并且模型具有较好的鲁棒性和泛化能力。