TransAS-UNet：融合Swin Transformer和UNet的乳腺癌区域分割

目的 乳腺癌在女性中是致病严重且发病率较高的疾病,早期乳腺癌症检测是全世界需要解决的重要难题。如今乳腺癌的诊断方法有临床检查、影像学检查和组织病理学检查。在影像学检查中常用的方式是X光、CT （computed tomography）、磁共振等,其中乳房X光片已用于检测早期癌症,然而从本地乳房X线照片中手动分割肿块是一项非常耗时且容易出错的任务。因此,需要一个集成的计算机辅助诊断（computer aided diagnosis,CAD）系统来帮助放射科医生进行自动和精确的乳房肿块识别。方法 基于深度学习图像分割框架,对比了不同图像分割模型,同时在UNet结构上采用了Swin架构来代替分割任务中的下采样和上采样过程,实现局部和全局特征的交互。利用Transformer来获取更多的全局信息和不同层次特征来取代短连接,实现多尺度特征融合,从而精准分割。在分割模型阶段也采用了Multi-Attention ResNet分类网络对癌症区域的等级识别,更好地对乳腺癌进行诊断医疗。结果 本文模型在乳腺癌X光数据集INbreast上实现肿块的准确分割,IoU （intersection over union）值达到95.58%,Dice系数为93.45%,与其他的分割模型相比提高了4%~6%,将得到的二值化分割图像进行四分类,Accuracy值达到95.24%。结论 本文提出的TransAS-UNet图像分割方法具有良好的性能和临床意义,该方法优于对比的二维图像医学分割方法。     

多级特征交互Transformer的多器官图像分割

多器官医学图像分割有助于医生做出临床诊断. 针对CNN提取全局特征能力弱, Transformer提取局部特征能力弱, 以及Transformer具有二次方计算复杂度的问题, 提出了用于多器官医学图像分割的多级特征交互Transformer模型. 所提模型采用CNN提取局部特征, 局部特征经Swin Transformer输出全局特征; 通过下采样分别产生多级局部和全局特征, 每级局部和全局特征经过交互并增强; 每级增强后的特征经多级特征融合模块进行交叉融合; 再次融合后的特征经过上采样和分割头输出分割掩码. 所提模型在Synapse和ACDC数据集上进行实验, 平均DSC和平均HD95系数值为80.16%和19.20 mm, 均优于LGNet和RFE-UNet等代表性模型. 该模型对多器官医学图像分割是有效的.     

利用运动向量差值改善深度学习视频隐写分析

目的 针对现有深度学习视频隐写分析网络准确率不够高的问题,本文从视频压缩编码的原理出发,发掘嵌密编码参数与其他参数之间的关系,通过拓展检测空间,构造新的检测通道,改善现有深度学习视频隐写分析网络的检测性能。方法 以H. 265/HEVC(high efficiency video coding)压缩视频为例,首先通过分析运动向量的嵌密修改对运动向量差值的影响,指出可将运动向量差值作为新增的采样对象(或称检测对象);接着,提出一个构造运动向量差值检测矩阵的方法,解决了空域上采样样本稀疏、时域上样本空间位置无法对齐的问题;最后,将运动向量差值矩阵直接用于改善现有的VSRNet(video steganalysis residual network)、SCA-VSRNet(selection-channel-aware VSRNet)以及Q-VSRNet(quantitative VSRNet)等3个H. 265/HEVC深度学习视频隐写分析网络,分别得到IVSRNet(improved VSRNet)、SCA-IVSRNet(selection-channel-aware improved...     

基于自适应采样与Dense机制的颅内动脉瘤血管多结构分割

颅内动脉瘤是一种具有较高致死和致残率的常见脑血管疾病。近年来,临床对基于影像的智能化和精准化的疾病诊断策略提出了迫切需求,其中血管及病灶的精准分割是其重要基础。本文提出了一种新型的颅内动脉瘤血管多结构分割框架,利用血管先验灰度特征建立了自适应的数据采样方法,并设计了一种基于Dense机制的深度网络模型实现血管分割。本文收集了135例颅内动脉瘤患者（年龄分布：54.7±12.7岁, 75名男性）的飞行时间磁共振血管影像进行模型的训练和测试。相比于原空间采样和图像压缩方法（平均Dice相似性系数：0.829和0.780）,自适应采样方法可以明显提升血管分割的精度（平均Dice相似性系数：0.858）;与经典的3D UNet、SegNet和DeepLabV3+网络相比（平均Dice相似性系数：0.854,0.824和0.800）,基于Dense机制的网络能够利用更少的计算资源实现更优的分割效果,对于不同位置和大小的动脉瘤也表现出良好的分割鲁棒性。     

低尺度血管检测在视网膜血管分割中的应用

视网膜图像分析成为目前诊断多种疾病非侵入的主要方式,其中血管的提取是最重要的一步。监督学习的方法在血管提取上有很好的效果,为了进一步提高检测的精度,提出了低尺度血管检测(LVD)算法。该网络除了有一个提取输入原尺度下特征的子网络外,还增加了两个低尺度下的特征提取子网络,并将低尺度下的单一输出融合原尺寸下的特征,降维后得到最后的输出结果。考虑到眼底血管结构特性,在LVD中设计了具有较深层数和较少参数的非对称固定深度子网络(ADS)。在公共的数据库DRIVE中进行测试,仅采用彩色眼底图像的绿色分量和B-COSFIRE滤波响应作为特征输入,其敏感性、特异性、准确率以及AUC指标分别为0.819 2、0.984 2、0.969 5、0.978 2,达到了先进水平。     

深度学习在视网膜血管分割上的研究进展

视网膜血管分割得到的视网膜特征可以用于辅助糖尿病视网膜病变等眼病的诊断.近年来基于深度学习的血管自动分割算法以自动提取图像特征、精度高、速度快的这些优点吸引了大量研究.对近年基于深度学习的视网膜血管分割研究进行回顾,包括常见的眼底图像数据库、常用的数据增强、图像预处理、图像切片的操作.从网络架构的角度将近期的深度学习血管分割算法归类为级联结构神经网络、多路径神经网络、多尺度神经网络,并对网络进行介绍、对比、性能分析、复杂度分析、缺点分析.同时对于神经网络现实部署的研究也进行了介绍.结果表明,现有眼底图像数据库的数据量还较少,数据增强和图像预处理较多使用方法分别为水平竖直翻转和图像灰度化.从现有研究达到的性能上看,级联结构和多路径的神经网络较为适合视网膜血管的分割;从现有的复杂度来看,部分模型的推断时间可以达到毫秒级,计算消耗可以达到兆以下;从现有算法的缺点看,某个算法只能解决部分现有挑战.在移动设备硬件资源限制的情况下,轻量级的神经网络是一个值得探索的方向.     

基于CNN与Transformer的医学图像分割

医学图像对疾病的诊断、治疗和评估均有所帮助,准确分割医学图像中的器官对于辅助医生的诊断具有重要的实际意义.由于医学图像中各器官部位与周围组织的图像对比度低,不同器官的边缘和形状也会存在很大差异,从而增加了分割的难度.针对这些问题,本文提出了一种基于卷积神经网络和Transformer的医学图像语义分割网络,有效提高了医学图像语义分割的精度.特征提取部分使用ResNet-50网络结构,在特征提取后使用Transformer模块来扩大感受野.在上采样过程中加入多个跳跃连接层,充分利用各阶段的特征提取信息,来恢复至与输入图像相近的分辨率.在胃肠道医学图像分割数据集上的实验结果证明本文的方法可以有效分割医学图像中的器官组织,提升分割准确率.     

融合稀疏注意力和实例增强的雷达点云分割

目的 雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法 针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果 本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧...     

基于融合相位特征的视网膜血管分割算法

针对相位一致性特征对血管中心检测不足问题,提出基于融合相位特征的眼底视网膜血管分割算法。首先,预处理原始的视网膜图像;然后,对图像中每个像素构造4D的特征向量（包括Hessian矩阵、Gabor变换、条带选择组合位移滤波响应（B-COSFIRE）滤波、相位特征）;最后,采用支持向量机（SVM）进行像素分类,实现眼底视网膜血管的分割。其中,相位特征是将分别提取的相位一致性特征与Hessian矩阵特征进行小波融合后得到的一种新的融合相位特征。该特征既保留了相位一致性特征良好的血管边缘信息,又克服了相位一致性特征对血管中心检测的不足。在用于血管提取的数字视网膜图像（DRIVE）数据库上测得基于融合相位特征的视网膜血管分割算法的平均准确率（Acc）为0.9574,平均受试者工作曲线面积（AUC）为0.9702;且在单一特征进行像素分类提取血管的实验中,与使用相位一致性特征相比,使用融合相位特征进行像素分类提取血管的Acc由0.9191提高到0.9478,AUC由0.9359提高到0.9578。实验结果表明,融合相位特征比相位一致性特征更适用于基于像素分类的眼底视网膜血管分割算法。     

融合双注意力机制3D U-Net的肺肿瘤分割

目的 精确的肺肿瘤分割对肺癌诊断、手术规划以及放疗具有重要意义。计算机断层扫描（computed tomography,CT）是肺癌诊疗中最重要的辅助手段,但阅片是一项依靠医生主观经验、劳动密集型的工作,容易造成诊断结果的不稳定,实现快速、稳定和准确的肺肿瘤自动分割方法是当前研究的热点。随着深度学习的发展,使用卷积神经网络进行肺肿瘤的自动分割成为了主流。本文针对3D U-Net准确度不足,容易出现假阳性的问题,设计并实现了3维卷积神经网络DAU-Net（dual attention U-Net）。方法 首先对数据进行预处理,调整CT图像切片内的像素间距,设置窗宽、窗位,并通过裁剪去除CT图像中的冗余信息。DAU-Net以3D U-Net为基础结构,将每两个相邻的卷积层替换为残差结构,并在收缩路径和扩张路径中间加入并联在一起的位置注意力模块和通道注意力模块。预测时,采用连通域分析对网络输出的二值图像进行后处理,通过判断每个像素与周围26个像素的连通关系获取所有的连通域,并清除最大连通域外的其他区域,进一步提升分割精度。结果 实验数据来自上海胸科医院,总共1 010例肺癌患者,每例数据只包含一个病灶,专业的放射科医师提供了金标准,实验采用十折交叉验证。结果表明,本文提出的肺肿瘤分割算法与3D U-Net相比,Dice系数和哈斯多夫距离分别提升了2.5%和9.7%,假阳性率减少了13.6%。结论 本文算法能够有效提升肺肿瘤的分割精度,有助于实现肺癌的快速、稳定和准确分割。     

CT图像肺及肺病变区域分割方法综述

计算机断层扫描(computed tomography, CT)技术能为新冠肺炎(corona virus disease 2019,COVID-19)和肺癌等肺部疾病的诊断与治疗提供更全面的信息,但是由于肺部疾病的类型多样且复杂,使得对肺CT图像进行高质量的肺病变区域分割成为计算机辅助诊断的重难点问题。为了对肺CT图像的肺及肺病变区域分割方法的现状进行全面研究,本文综述了近年国内外发表的相关文献：对基于区域和活动轮廓的肺CT图像传统分割方法的优缺点进行比较与总结,传统的肺CT图像分割方法因其实现原理简单且分割速度快等优点,早期使用较多,但其存在分割精度不高的缺点,目前仍有不少基于传统方法的改进策略;重点分析了基于卷积神经网络(convolutional neural network, CNN)、全卷积网络(fully convolutional network, FCN)、U-Net和生成对抗网络(generative adversarial network, GAN)的肺CT图像分割网络结构改进模型的研究进展,基于深度学习的分割方法具有分割精度高、迁移学习能力强和鲁棒性高等优点,特...     

CT影像肺结节分割研究进展

准确分割肺结节在临床上具有重要意义。计算机断层扫描（computer tomography,CT）技术以其成像速度快、图像分辨率高等优点广泛应用于肺结节分割及功能评价中。为了进一步对肺部CT影像中的肺结节分割方法进行探索,本文对基于CT影像的肺结节分割方法研究进行综述。1）对传统的肺结节分割方法及其优缺点进行了归纳比较;2）重点介绍了包括深度学习、深度学习与传统方法相结合在内的肺结节分割方法;3）简单介绍了肺结节分割方法的常用评价指标,并结合部分方法的指标表现展望了肺结节分割方法研究领域的未来发展趋势。传统的肺结节分割方法各有优缺点和其适用的结节类型,深度学习分割方法因普适性好等优点成为该领域的研究热点。研究者们致力于如何提高分割结果的准确度、模型的鲁棒性及方法的普适性,为了实现此目的本文总结了各类方法的优缺点。基于CT影像的肺结节分割方法研究已经取得了不小的成就,但肺结节形状各异、密度不均匀,且部分结节与血管、胸膜等解剖结构粘连,给结节分割增加了困难,结节分割效果仍有很大提升空间。精度高、速度快的深度学习分割方法将会是研究者密切关注的方法,但该类方法仍需解决数据需求量大和网络模型超参数的确定等问题。     

结合深度学习与支持向量机的金属零件识别

目的 在视觉引导的工业机器人自动拾取研究中，关键技术难点之一是机器人抓取目标区域的识别问题。特别是金属零件，其表面的反光、随意摆放时相互遮挡等非结构化因素都给抓取区域的识别带来巨大的挑战。因此，本文提出一种结合深度学习和支持向量机的抓取区域识别方法。方法 分别提取抓取区域的方向梯度直方图（HOG）和局部二进制模式（LBP）特征，利用主成分分析法（PCA）对融合后的特征进行降维，以此来训练支持向量机（SVM）分类器。通过训练Mask R-CNN（regions with convolutional neural network）神经网络完成抓取区域的初步分割。然后利用SVM对Mask R-CNN识别的抓取区域进行二次分类，完成对干扰区域的剔除。最后计算掩码完成实例分割，以此达到对抓取区域的精确识别。结果 对于随机摆放的铜质金属零件，本文算法与单一的Mask R-CNN及多特征融合的SVM算法就识别准确率、错检率、漏检率3个指标进行了比较，结果表明本文算法在识别准确率上较Mask R-CNN和SVM算法分别提高了7%和25%，同时有效降低了错检率与漏检率。结论 本文算法结合了Mask R-CNN与SVM两种方法，对于反光和遮挡情况具有一定的鲁棒性，同时有效地提升了目标识别的准确率。     

基于深度学习的超声图像左心耳自动分割方法

从超声图像中分割出左心耳（LAA）是得出临床诊断指标的重要步骤,而准确自动分割的首要步骤和难点就是实现目标的自动定位。针对这一问题,提出了一种结合基于深度学习框架的自动定位和基于模型的分割算法的方法来实现超声图像中LAA的自动分割。首先,训练YOLO模型作为LAA自动定位的网络架构;其次,通过验证集确定最优的权重文件,并预测出LAA的最小包围盒;最后,在正确定位的基础上,将YOLO预测的最小包围盒放大1.5倍作为初始轮廓,利用C-V模型完成LAA的自动分割。分割结果用5项指标加以评价：正确性、敏感性、特异性、阴性、阳性。实验结果表明,所提方法能够实现不同分辨率条件和不同显示模式下LAA的自动定位,小样本数据在1000次迭代时已经达到最优的定位效果,正确定位率达到72.25%,并且在正确定位的基础上,C-V模型的分割准确率能够达到98.09%。因此,深度学习技术在实现LAA超声图像的自动分割上具备较大的潜力,能够为基于轮廓的分割算法提供良好的初始轮廓。     

深度学习多部位病灶检测与分割

目的 多部位病灶具有大小各异和类型多样的特点,对其准确检测和分割具有一定的难度。为此,本文设计了一种2.5D深度卷积神经网络模型,实现对多种病灶类型的计算机断层扫描（computed tomography,CT）图像的病灶检测与分割。方法 利用密集卷积网络和双向特征金字塔网络组成的骨干网络提取图像中的多尺度和多维度信息,输入为带有标注的中央切片和提供空间信息的相邻切片共同组合而成的CT切片组。将融合空间信息的特征图送入区域建议网络并生成候选区域样本,再由多阈值级联网络组成的Cascade R-CNN（region convolutional neural networks）筛选高质量样本送入检测与分割分支进行训练。结果 本文模型在DeepLesion数据集上进行验证。结果表明,在测试集上的平均检测精度为83.15%,分割预测结果与真实标签的端点平均距离误差为1.27 mm,直径平均误差为1.69 mm,分割性能优于MULAN（multitask universal lesion analysis network for joint lesion detection,tagging and segmentation）和Auto RECIST（response evaluation criteria in solid tumors）,且推断每幅图像平均时间花费仅91.7 ms。结论 对于多种部位的CT图像,本文模型取得良好的检测与分割性能,并且预测时间花费较少,适用病变类别与DeepLesion数据集类似的CT图像实现病灶检测与分割。本文模型在一定程度上能满足医疗人员利用计算机分析多部位CT图像的需求。     

基于支持向量机的连续超声图像集分割算法

针对传统的支持向量机（SVM）模型对连续超声图像集进行分割时需要为图像集中每张图片提取样本点来建立分割模型的问题,提出了一个对整个连续超声图像集的统一的SVM分割模型。首先,从图像的灰度直方图中提取灰度特征作为表征图像集中图像连续性的特征;其次,从图像集中选取部分图像作为样本,并从中提取像素点的灰度特征;最后,将各像素点的灰度特征与各像素点所在图像中表征图像集连续性的特征相结合,用SVM的方法训练出分割模型对整个图像集进行分割。实验结果表明,与传统SVM分割方法相比,新模型在面对大量的有连续变化的图像集的分割问题上,大幅地减少了人工选取样本点的工作量,并且在分割的准确率上也有保证。     

融合密集连接与自适应加权损失的血管壁图像分割

针对传统深度神经网络在对血管壁图像分割中难以提取具有针对性有效特征的问题,提出一种融合密度连接与自适应加权损失的血管壁图像分割方法。首先通过构建密集连接的分割网络学习更多的边界和轮廓表征以促进特征复用融合;然后设计了改进的自适应加权损失和边界紧凑性损失约束训练网络,利用自适应加权损失自动调整不同区域分割产生的损失比例来引导网络向最佳方向学习,同时引入边界紧凑性损失约束以充分利用边界信息,提升对血管壁图像的分割精度;最后对包含2 544张MRI的MERGE血管壁数据集进行了验证实验。结果表明,提出的改进方法能够有效提取血管壁图像的特征信息,在管腔和外壁轮廓分割中的Dice分别达到了93.65%和95.81%,设计的消融实验也充分证明了所提各个模块和网络的有效性,能够更好地实现高精度的图像分割。     

基于级联Vnet-S网络的CT影像单一器官自动分割算法

为了快速准确地对计算机断层扫描（CT）影像中的器官进行分割，提出基于级联Vnet-S网络的单一器官自动分割算法。首先，使用第一个Vnet-S网络对CT影像中的器官进行粗分割；然后，选择分割结果中的最大连接通量做两次膨胀，根据膨胀后的最大连接通量确定器官边界并提取器官区域；最后，使用第二个Vnet-S网络对器官进行细分割。为了验证算法的性能，采用MICCAI 2017 Liver Tumor Segmentation Challenge （LiTS）数据集进行肝脏分割实验，采用ISBI LUng Nodule Analysis 2016（LUNA16）数据集进行肺分割实验。级联Vnet-S算法在LiTS的70例线上测试数据上的Dice系数为0.9600，在LUNA16的288例测试数据上的Dice系数为0.9810，均高于Vnet-S网络和Vnet网络。实验结果表明，基于级联Vnet-S网络的单一器官分割算法可以准确地对器官进行分割，而且级联Vnet-S算法的计算量小于Unet网络和Vnet网络。     

基于深度迁移学习的肺结节分割方法

针对U-Net分割小体积肺结节效果较差的问题,提出一种基于深度迁移学习的分割方法,利用分块式叠加微调（BSFT）策略辅助分割肺结节。首先,利用卷积神经网络学习自然图像大数据集的特征信息;然后,将所学特征迁移到进行肺结节图像小数据集分割的网络,从该网络最后一个下采样层开始逐块释放、微调训练,直到网络完成最后一层的叠加;最后,定量分析Dice相似性系数,以确定最佳分割网络。实验结果表明,BSFT在LUNA16肺结节公开数据集上的Dice值达到0.917 9,该策略的性能明显优于主流肺结节分割算法。     

肝脏肿瘤CT图像深度学习分割方法综述

肝脏肿瘤的精确分割是肝脏疾病诊断、手术计划和术后评估的重要步骤。计算机断层成像（computed tomography,CT）能够为肝脏肿瘤的诊断和治疗提供更为全面的信息,分担了医生繁重的阅片工作,更好地提高诊断的准确性。但是由于肝脏肿瘤的类型多样复杂,使得分割成为计算机辅助诊断的重难点问题。肝脏肿瘤CT图像的深度学习分割方法较传统的分割方法取得了明显的性能提升,并获得快速的发展。通过综述肝脏肿瘤图像分割领域的相关文献,本文介绍了肝脏肿瘤分割的常用数据库,总结了肝脏肿瘤CT图像的深度学习分割方法：全卷积网络（fully convolutional network,FCN）、U-Net网络和生成对抗网络（generative adversarial network,GAN）方法,重点给出了各类方法的基本思想、网络架构形式、改进方案以及优缺点等,并对这些方法在典型数据集上的性能表现进行了比较。最后,对肝脏肿瘤深度学习分割方法的未来研究趋势进行了展望。