自监督对比特征学习的多模态乳腺超声诊断

超声图像的乳腺癌自动诊断具有重要的临床价值。然而,由于缺乏大量人工标注数据,构建高精度的自动诊断方法极具挑战。近年来,自监督对比学习在利用无标签自然图像产生具有辨别性和高度泛化性的特征方面展现出巨大潜力。然而,采用自然图像构建正负样本的方法在乳腺超声领域并不适用。为此,本文引入超声弹性图像(elastography ultrasound, EUS),利用超声图像的多模态特性,提出一种融合多模态信息的自监督对比学习方法。该方法采用同一病人的多模态超声图像构造正样本;采用不同病人的多模态超声图像构建负样本;基于模态一致性、旋转不变性和样本分离性来构建对比学习的目标学习准则。通过在嵌入空间中学习两种模态的统一特征表示,从而将EUS信息融入模型,提高了模型在下游B型超声分类任务中的表现。实验结果表明本文提出的方法能够在无标签的情况下充分挖掘多模态乳腺超声图像中的高阶语义特征,有效提高乳腺癌的诊断正确率。     

乳腺X线图像计算机辅助诊断技术综述

近年来,乳腺癌严重威胁全球女性的身体健康,乳腺X线摄影是乳腺癌筛查的有效影像检查手段.乳腺X线图像计算机辅助诊断(computer aided diagnosis,CAD)运用计算机视觉、图像处理、机器学习等人工智能先进技术,自动分析处理乳腺X线图像,可为医生在临床中提供重要的诊断参考.主要面向肿块和微钙化病变检测、分...     

基于深度迁移学习的肺结节辅助诊断方法

在肺癌早期筛查过程中,人工诊断胸部CT扫描图像费时费力,而深度学习网络缺乏足够的医学数据进行训练。为此,提出一种渐进式微调(PFT)策略,将其应用于深度迁移学习网络以辅助诊断肺结节良恶性。利用神经网络在粗粒度的自然图像大数据集中学习特征知识,经重构网络分类层将所学到的特征信息迁移至肺结节的细粒度小数据集。采用PFT策略从全连接分类层开始,逐层释放、微调训练卷积层直至所有网络层,并通过定量分析各层微调后肺结节良恶性分类的AUC值,确定最佳微调深度。此外,采用梯度加权类激活映射图和t-SNE算法为网络预测结果提供相应的视觉支持与解释。在LIDC数据集中的实验结果表明,该方法对肺结节良恶性诊断的准确率可达91.44%,其AUC值为0.962 1。     

深度迁移学习辅助的阿尔兹海默氏症早期诊断

目前越来越多的老人正在遭受着阿尔茨海默氏症AD(Alzheimer's Disease)带来的痛苦。临床研究显示,轻度认知障碍MCI(mild cognitive impairment)转化为阿尔兹海默氏症的概率很高,但是若能在MCI阶段对其进行药物治疗是可以康复的,因此提高根据核磁共振图像MRI医学图像诊断的准确率很有必要有。由于医学领域的特点,构建带标注信号的一定规模的数据集非常困难,导致现有机器学习/深度学习方法难以应用于医学影像分析以至于深度学习的结果并不理想。采用数据增广方式对原来数据集的规模进行一定数量的扩充。然后采用一种针对MRI识别的端到端的深度神经网络分类器(MCINet)。结合迁移学习方式对MCINet模型进行有效训练而不至于过拟合。实验结果表明,该方法在较少带标记训练样本的情形下,也获得较高的准确率。     

迁移学习应用于新型冠状病毒肺炎诊断综述

新型冠状病毒肺炎（COVID-19）疫情爆发以来,由于该病毒具有极强的传染性,所导致的感染人数与死亡人数持续增加。筛查疑似患者和早期诊断COVID-19是防止疫情恶化的重要措施之一。通过核酸检测和人工检查等方法在感染早期诊断出COVID-19是防止其在社会中爆发的最佳途径。然而核酸检测效率低下,仅仅依靠放射科专家诊断X射线图像和CT扫描图像存在耗时长且易出现诊断误差等问题。研究人员相继提出了基于迁移学习的计算机辅助诊断算法,可以最大程度地减少传统诊断方法所产生的问题,但目前关于迁移学习在新冠肺炎成像中的应用综述较少,因此总结和分析了当前国内外基于迁移学习技术诊断COVID-19的研究成果。针对模型类型进行分类讨论,分别从数据集来源、数据预处理方法、基于迁移学习的诊断模型、模型可视化、评价指标以及模型性能6个角度进行分析和比较。并指出了当前所面临的挑战和未来的发展方向,为今后进一步的研究工作奠定了基础。     

基于深度学习与结构磁共振成像的抑郁症辅助诊断

抑郁症是致残率和发病率最高的疾病之一,全球约有3亿人正遭受着抑郁症的困扰.然而,目前并没有有效的生物特征和临床方法能够帮助医生对抑郁症进行准确的诊断.针对此任务,本文将计算机视觉领域的前沿深度学习模型进行优化与适配,应用于抑郁症的辅助诊断,并在此基础上引入迁移学习,取得了很好的效果.实验结果表明,同前沿算法模型相比,本...     

基于深度迁移学习的大鼠肝纤维化诊断

针对肝纤维化临床诊断方法具有有创性和传统机器学习方法特征提取的不完全性的缺陷,本文采用深度迁移学习方法利用预训练的ResNet-18和VGGNet-11模型用于肝纤维化分期诊断.使用南方医科大学提供的大鼠肝纤维化核磁共振影像数据集进行不同程度的迁移训练.将两种模型在通过4种不同参数采集的核磁共振影像数据集上,分别使用6种网络迁移配置训练.实验结果表明,使用T1RHO-FA参数采集的核磁共振影像和采用VGGNet-11模型更能提高肝纤维化分期诊断的准确率.同时相对于ResNet-18模型,深度模型迁移学习方法能稳定提升VGGNet-11模型进行肝纤维化分期诊断的准确率和训练速度.     

基于深度学习的显微图像计算机辅助诊断

根据世界卫生组织发布的报告,全球疟疾、结核病的发病率仍高居不下。手动显微镜检查厚薄载玻片和痰涂片是疟疾和结核病诊断的重要手段,这种方法的缺点之一是高度依赖医学检验师,容易出现主观误判。在低收入和发展中国家的偏远地区高技能实验室人员缺乏,加上显微图像中疟原虫和结核杆菌存在形状多变、体积较小和某些细胞体不确定等因素,导致疟原虫和结核杆菌检测困难。本文提出一种基于Faster R-CNN的改进算法,用于从显微图像中自动筛选疟原虫和结核杆菌。首先在原始Faster R-CNN框架上加入卷积滤波器层,采用深度残差网络提取特征,来提升模型的检测性能,然后评估改进后的模型在2种不同显微任务上的性能：在厚血涂片疟疾显微图像数据集上AP值达到94.55%,在痰涂片结核病显微图像数据集上AP值为97.96%,比原始Faster R-CNN模型提升了7.40个百分点和8.04个百分点。结果表明,修改后Faster R-CNN模型可以从智能手机的显微镜目镜上捕获的图像中检测疟疾寄生虫和结核杆菌位点,减少手动显微镜检查的依赖,辅助研究人员诊断,表明该模型适合部署在资源匮乏的地区。     

融合深度网络和浅层纹理特征的甲状腺结节癌变超声图像诊断

目的 在甲状腺结节图像中对甲状腺结节进行良恶性分析,对于甲状腺癌的早期诊断有着重要的意义。随着医疗影像学的发展,大部分的早期甲状腺结节可以在超声图像中准确地检测出来,但对于结节的性质仍然缺乏准确的判断。因此,为实现更为准确的早期甲状腺结节良恶性超声图像诊断,避免不必要的针刺或其他病理活检手术、减轻病患生理痛苦和心理压力及其医疗费用,提出一种基于深度网络和浅层纹理特征融合的甲状腺结节良恶性分类新算法。方法 本文提出的甲状腺结节分类算法由4步组成。首先对超声图像进行尺度配准、人工标记以及图像复原去除以增强图像质量。然后,对增强的图像进行数据扩展,并作为训练集对预训练过的GoogLeNet卷积神经网络进行迁移学习以提取图像中的深度特征。同时,提取图像的旋转不变性局部二值模式（LBP）特征作为图像的纹理特征。最后,将深度特征与图像的纹理特征相融合并输入至代价敏感随机森林分类器中对图像进行良恶性分类。结果 本文方法在标准的甲状腺结节癌变数据集上对甲状腺结节图像取得了正确率99.15%,敏感性99.73%,特异性95.85%以及ROC曲线下面积0.997 0的的好成绩,优于现有的甲状腺结节图像分类方法。结论 实验结果表明,图像的深度特征可以描述医疗超声图像中病灶的整体感官特征,而浅层次纹理特征则可以描述超声图像的边缘、灰度分布等特征,将二者统一的融合特征则可以更为全面地描述图像中病灶区域与非病灶区域之间的差异以及不同病灶性质之间的差异。因此,本文方法可以准确地对甲状腺结节进行分类从而避免不必要手术、减轻病患痛苦和压力。     

面向乳腺癌辅助诊断的改进支持向量机方法

根据针吸细胞学方法影像中提取的特征值, 设计了一种改进的支持向量机分类方法, 并应用于乳腺癌的辅助诊断。通过对几种常用核函数的对比分析, 所建立的新核函数在诊断中具有很好的综合性能。使用实际临床数据分析显示, 该方法比模因佩雷托(memetic Pareto artificial neural network, MPANN)与一种改进型人工神经网络(evolutionary artificial neural network, EANN)方法在乳腺癌辅助诊断中具有更好的效果, 可以为医疗机构对该疾病的诊断提供有力的决策支持。     

面向微小振动故障诊断的匹配小波深度迁移学习

针对传统方法在微小振动故障诊断中存在的特征识别效率低和样本数量有限等问题,提出匹配小波深度模型迁移学习方法。首先利用Morse连续小波对一维故障信号进行匹配升维,捕捉微小变化,得到可视化强化特征图像;其次对深度迁移网络源域模型进行有效迁移,该模型具有高效的图像学习经验,可降低目标域训练样本数量;最后在模型迁移中根据有限数据进行流程的参数优化。实验证明,该方法泛化能力强,可对多工况下微小特征进行检测与定位,并有效减少对数据的依赖,能够极大提高运算速度和诊断精度。     

面向乳腺超声图像分割的混合监督双通道反馈U-Net

目的 基于超声图像的乳腺病灶分割是实现乳腺癌计算机辅助诊断和定量分析的基本预处理步骤。由于乳腺超声图像病灶边缘通常较为模糊,而且缺乏大量已标注的分割图像,增加了基于深度学习的乳腺超声图像分割难度。本文提出一种混合监督双通道反馈U-Net（hybrid supervised dual-channel feedback U-Net,HSDF-U-Net）算法,提升乳腺超声图像分割的准确性。方法 HSDF-U-Net通过融合自监督学习和有监督分割实现混合监督学习,并且进一步通过设计双通道反馈U-Net网络提升图像分割准确性。为了改善标记数据有限的问题,首先在自监督学习框架基础上结合标注分割图像中的标签信息,设计一种边缘恢复的辅助任务,以实现对病灶边缘表征能力更强的预训练模型,然后迁移至下游图像分割任务。为了提升模型在辅助边缘恢复任务和下游分割任务的表现,将循环机制引入经典的U-Net网络,通过将反馈的输出结果重新送入另一个通道,构成双通道编码器,然后解码输出更精确的分割结果。结果 在两个公开的乳腺超声图像分割数据集上评估HSDF-U-Net算法性能。HSDF-U-Net对Dataset B数据集中的图像进行分割获得敏感度为0.848 0、Dice为0.826 1、平均对称表面距离为5.81的结果,在Dataset BUSI（breast ultrasound images）数据集上获得敏感度为0.803 9、Dice为0.803 1、平均对称表面距离为6.44的结果。与多种典型的U-Net分割算法相比,上述结果均有提升。结论 本文所提HSDF-U-Net算法提升了乳腺超声图像中的病灶分割的精度,具备潜在的应用价值。     

磁共振影像深度学习在精神分裂症诊断中的应用综述

精神分裂症是一种大脑存在结构和功能异常的严重精神疾病,目前尚无十分有效的诊疗手段。许多研究者尝试采用基于磁共振影像的机器学习方法辅助诊断精神分裂症。深度学习由于其强大的特征表示能力,在医学影像等领域得到了广泛的应用,表现出比传统机器学习方法更优异的性能。目前已有论文对深度学习在医学影像领域内的应用进行了详细的总结和分析,却很少有论文对其在具体某一疾病（例如精神分裂症）诊断中的应用进行系统的梳理和总结。因此,本文主要关注深度学习在基于磁共振影像的精神分裂症诊断中的应用。首先介绍了基于磁共振影像的精神分裂症诊断中常用的几种深度学习模型;其次按照数据的不同模态将相关研究划分为：基于结构磁共振成像的方法、基于功能磁共振成像的方法以及基于多模态数据的方法,并对各类方法的具体应用进行了总结;最后针对目前的研究现状,进一步分析和总结出样本量偏小、样本类别不均衡、模型可解释性低、多模态分析中缺失模态数据以及缺少有效融合策略等,是目前该领域研究中存在的主要问题。多中心及纵向数据分析以及针对不同症状亚型的个体化精准诊断模型的构建,是未来该领域研究发展的趋势。本文系统地总结了深度学习在基于磁共振影像的精神分裂症诊断中的应用,分析了该领域面临的问题和下一步的研究方向,对该领域的研究具有一定的参考和指导意义。     

深度学习在口腔医学影像中的应用与挑战

口腔医学影像是进行临床口腔疾病检测、筛查、诊断和治疗评估的重要工具,对口腔影像进行准确分析对于后续治疗计划的制定至关重要。常规的口腔医学影像分析依赖于医师的水平和经验,存在阅片效率低、可重复性低以及定量分析欠缺的问题。深度学习可以从大样本数据中自动学习并获取优良的特征表达,提升各类机器学习任务的效率和性能,目前已广泛应用于医学影像分析处理的各类任务之中。基于深度学习的口腔医学影像处理是目前的研究热点,但由于口腔医学领域内在的特殊性和复杂性,以及口腔医学影像数据样本量通常较小的问题,给深度学习方法在相关学习任务和场景的应用带来了新的挑战。本文从口腔医学影像领域常用的二维X射线影像、三维点云/网格影像和锥形束计算机断层扫描影像3种影像出发,介绍深度学习技术在口腔医学影像处理及分析领域应用的思路和现状,分析了各算法的优缺点及该领域所面临的问题和挑战,并对未来的研究方向和可能开展的临床应用进行展望,以助力智慧口腔建设。     

基于深度学习的超声图像左心耳自动分割方法

从超声图像中分割出左心耳（LAA）是得出临床诊断指标的重要步骤,而准确自动分割的首要步骤和难点就是实现目标的自动定位。针对这一问题,提出了一种结合基于深度学习框架的自动定位和基于模型的分割算法的方法来实现超声图像中LAA的自动分割。首先,训练YOLO模型作为LAA自动定位的网络架构;其次,通过验证集确定最优的权重文件,并预测出LAA的最小包围盒;最后,在正确定位的基础上,将YOLO预测的最小包围盒放大1.5倍作为初始轮廓,利用C-V模型完成LAA的自动分割。分割结果用5项指标加以评价：正确性、敏感性、特异性、阴性、阳性。实验结果表明,所提方法能够实现不同分辨率条件和不同显示模式下LAA的自动定位,小样本数据在1000次迭代时已经达到最优的定位效果,正确定位率达到72.25%,并且在正确定位的基础上,C-V模型的分割准确率能够达到98.09%。因此,深度学习技术在实现LAA超声图像的自动分割上具备较大的潜力,能够为基于轮廓的分割算法提供良好的初始轮廓。     

Automated breast cancer detection and classification using ultrasound images: A survey

Breast cancer is the second leading cause of death for women all over the world. Since the cause of the disease remains unknown, early detection and diagnosis is the key for breast cancer control, and it can increase the success of treatment, save lives and reduce cost. Ultrasound imaging is one of the most frequently used diagnosis tools to detect and classify abnormalities of the breast. In order to eliminate the operator dependency and improve the diagnostic accuracy, computer-aided diagnosis (CAD) system is a valuable and beneficial means for breast cancer detection and classification. Generally, a CAD system consists of four stages: preprocessing, segmentation, feature extraction and selection, and classification. In this paper, the approaches used in these stages are summarized and their advantages and disadvantages are discussed. The performance evaluation of CAD system is investigated as well.     

乳腺超声图像中易混淆困难样本的分类方法

目的 超声诊断常作为乳腺肿瘤首选的影像学检查和术前评估方法,但存在良恶性结节的图像表现重叠、诊断严重依赖医生经验,以及需要较多人机交互等问题。为减少误诊和不必要的穿刺活检率,以及提高诊断自动化程度,本文提出一种端到端的模型,实现结节区域自动提取及良恶性鉴别。方法 就超声图像散斑噪声问题使用基于边缘增强的各向异性扩散去噪模型（edge enhanced anisotropic diffusion,EEAD）实现数据预处理,之后针对结节良恶性特征提出一个改进的损失函数以增强鉴别性能,通过形状描述符组合挖掘因形状与其他类别相似从而易导致错判的困难样本,为使该部分困难样本具有更好的区分性,应用改进的损失函数,并在此基础上构建困难样本形状约束损失项,用来调整形状相似但类别不同样本间的特征映射。结果 为验证算法的有效性,构建了一个包含1 805幅图像的乳腺超声数据集,在该数据集上具有5年资历医生的平均判断准确率为85.3%,而本文方法在该数据集上分类正确率为92.58%,敏感性为90.44%,特异性为93.72%,AUC （area under curve）为0.946,均优于对比算法;相对传统Softmax损失函数,各评价指标提高了5% 12%。结论 本文提出了一个端到端的乳腺超声图像分类方法,实用性强;通过将医学知识融合到优化模型,增加的困难样本形状约束损失项可提高乳腺肿瘤良恶性诊断的准确性和鲁棒性,各项评价指标均高于超声科医生,具有临床应用价值。