4D卷积神经网络的自闭症功能磁共振图像分类

静息态功能磁共振图像是随着时间变化的一系列三维图像。已有的3D卷积过程本质上是对三维图像数据或二维图像+时间维数据进行处理,无法有效地融合静息态功能磁共振图像的时间轴信息。为此,本文提出了新型的4D卷积神经网络识别模型。具体而言,通过对输入的fMRI使用四维卷积核执行四维卷积,在自闭症患者的功能磁共振图像中,从空间和时间上提取特征,从而捕获图像在时间序列上的变化信息。所开发的模型从输入图像中生成多个信息通道,最终的特征表示结合了所有通道的信息。实验结果表明,在保证模型泛化性能的前提下,该方法融合了功能像的全局信息,并且采集了功能像随时间变化的趋势信息,进而解决了用卷积神经网络处理三维图像随时间变化的分类问题。     

自监督对比特征学习的多模态乳腺超声诊断

超声图像的乳腺癌自动诊断具有重要的临床价值。然而,由于缺乏大量人工标注数据,构建高精度的自动诊断方法极具挑战。近年来,自监督对比学习在利用无标签自然图像产生具有辨别性和高度泛化性的特征方面展现出巨大潜力。然而,采用自然图像构建正负样本的方法在乳腺超声领域并不适用。为此,本文引入超声弹性图像(elastography ultrasound, EUS),利用超声图像的多模态特性,提出一种融合多模态信息的自监督对比学习方法。该方法采用同一病人的多模态超声图像构造正样本;采用不同病人的多模态超声图像构建负样本;基于模态一致性、旋转不变性和样本分离性来构建对比学习的目标学习准则。通过在嵌入空间中学习两种模态的统一特征表示,从而将EUS信息融入模型,提高了模型在下游B型超声分类任务中的表现。实验结果表明本文提出的方法能够在无标签的情况下充分挖掘多模态乳腺超声图像中的高阶语义特征,有效提高乳腺癌的诊断正确率。