跨模态注意力YOLOv5的PET/CT肺部肿瘤检测

目的 肺部肿瘤早期症状不典型易导致错过最佳治疗时间,有效准确的肺部肿瘤检测技术在计算机辅助诊断中变得日益重要,但在肺部肿瘤PET/CT（positron emission computed tomography/computed tomography）多模态影像中,肿瘤与周围组织粘连导致边缘模糊和对比度低,且存在病灶区域小、大小分布不均衡等问题。针对上述问题,提出一种跨模态注意力YOLOv5（cross-modal attention you only look once v5,CA-YOLOv5）的肺部肿瘤检测模型。方法 首先,在主干网络中设计双分支并行的自学习注意力,利用实例归一化学习比例系数,同时利用特征值与平均值之间差值计算每个特征所包含信息量,增强肿瘤特征和提高对比度;其次,为充分学习多模态影像的多模态优势信息,设计跨模态注意力对多模态特征进行交互式学习,其中Transformer用于建模深浅层特征的远距离相互依赖关系,学习功能和解剖信息以提高肺部肿瘤识别能力;最后,针对病灶区域小、大小分布不均衡的问题,设计动态特征增强模块,利用不同感受野的多分支分组扩张卷积和分组可变形卷积,使网络充分高效挖掘肺部肿瘤特征的多尺度语义信息。结果 在肺部肿瘤PET/CT数据集上与其他10种方法进行性能对比,CA-YOLOv5获得了97.37%精度、94.01%召回率、96.36%mAP（mean average precision）和95.67%F1的最佳性能,并且在同设备上训练耗时最短。在LUNA16（lung nodule analysis 16）数据集中本文同样获得了97.52%精度和97.45%mAP的最佳性能。结论 本文基于多模态互补特征提出跨模态注意力YOLOv5检测模型,利用注意力机制和多尺度语义信息,实现了肺部肿瘤检测模型在多模态影像上的有效识别,使模型识别更加准确和更具鲁棒性。     

深度学习多部位病灶检测与分割

目的 多部位病灶具有大小各异和类型多样的特点,对其准确检测和分割具有一定的难度。为此,本文设计了一种2.5D深度卷积神经网络模型,实现对多种病灶类型的计算机断层扫描（computed tomography,CT）图像的病灶检测与分割。方法 利用密集卷积网络和双向特征金字塔网络组成的骨干网络提取图像中的多尺度和多维度信息,输入为带有标注的中央切片和提供空间信息的相邻切片共同组合而成的CT切片组。将融合空间信息的特征图送入区域建议网络并生成候选区域样本,再由多阈值级联网络组成的Cascade R-CNN（region convolutional neural networks）筛选高质量样本送入检测与分割分支进行训练。结果 本文模型在DeepLesion数据集上进行验证。结果表明,在测试集上的平均检测精度为83.15%,分割预测结果与真实标签的端点平均距离误差为1.27 mm,直径平均误差为1.69 mm,分割性能优于MULAN（multitask universal lesion analysis network for joint lesion detection,tagging and segmentation）和Auto RECIST（response evaluation criteria in solid tumors）,且推断每幅图像平均时间花费仅91.7 ms。结论 对于多种部位的CT图像,本文模型取得良好的检测与分割性能,并且预测时间花费较少,适用病变类别与DeepLesion数据集类似的CT图像实现病灶检测与分割。本文模型在一定程度上能满足医疗人员利用计算机分析多部位CT图像的需求。     

改进Faster R-CNN模型的CT图磨玻璃密度影目标检测

目的 针对Faster R-CNN （faster region convolutional neural network）模型在肺部计算机断层扫描（computed tomography，CT）图磨玻璃密度影目标检测中小尺寸目标无法有效检测与模型检测速度慢等问题，对Faster R-CNN模型特征提取网络与区域候选网络（region proposal network，RPN）提出了改进方法。方法 使用特征金字塔网络替换Faster R-CNN的特征提取网络，生成特征金字塔；使用基于位置映射的RPN产生锚框，并计算每个锚框的中心到真实物体中心的远近程度（用参数“中心度”表示），对RPN判定为前景的锚框进一步修正位置作为候选区域（region proposal），并将RPN预测的前景/背景分类置信度与中心度结合作为候选区域的排序依据，候选区域经过非极大抑制筛选出感兴趣区域（region of interest，RoI）。将RoI对应的特征区域送入分类回归网络得到检测结果。结果 实验结果表明，在新冠肺炎患者肺部CT图数据集上，本文改进的模型相比于Faster R-CNN模型，召回率（recall）增加了7%，平均精度均值（mean average precision，mAP）增加了3.9%，传输率（frames per second，FPS）由5帧/s提升至9帧/s。特征金字塔网络的引入明显提升了模型的召回率与mAP指标，基于位置映射的RPN显著提升了模型的检测速度。与其他最新改进的目标检测模型相比，本文改进的模型保持了双阶段目标检测模型的高精度，并拉近了与单阶段目标检测模型在检测速度指标上的距离。结论 本文改进的模型能够有效检测到患者肺部CT图的磨玻璃密度影目标区域，对小尺寸目标同样适用，可以快速有效地为医生提供辅助诊断。     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

改进Mask R-CNN模型的海洋锋检测

目的 海洋锋的高效检测对海洋生态环境变化、渔业资源评估、渔情预报及台风路径预测等具有重要意义。海洋锋具有边界信息不明显且多变的弱边缘性,传统基于梯度阈值法及边缘检测的海洋锋检测方法,存在阈值选择不固定、判定指标不一致导致检测精度较低的问题。针对上述问题,基于Mask R-CNN（region convolutional neural network）提出一种改进的海洋锋自动检测方法。方法 兼顾考虑海洋锋的小数据量及弱边缘性,首先对数据扩增,并基于不同算法对海表温度（sea surface temperatures,SST）遥感影像进行增强;其次,基于迁移学习的思想采用COCO（common objects in context）数据集对网络模型进行初始化;同时,对Mask R-CNN中残差神经网络（residual neural network,ResNet）和特征金字塔模型（feature pyramid network,FPN）分别进行改进,在充分利用低层特征高分辨率和高层特征的高语义信息的基础上,对多个尺度的融合特征图分别进行目标预测,提升海洋锋的检测精度。结果 为验证本文方法的有效性,从训练数据和实验模型上分别设计多组对比实验。实验结果表明,相比常用的Mask R-CNN和YOLOv3（you only look once）神经网络,本文方法对SST梯度影像数据集上的海洋锋检测效果最好,海洋锋的定位准确率（intersection over union,IoU）及检测平均精度均值（mean average precision,mAP）达0.85以上。此外,通过对比分析实验结果发现,本文方法对强海洋锋的检测效果明显优于弱海洋锋。结论 本文根据专家经验设立合理的海洋锋检测标准,更好地考虑了海洋锋的弱边缘性。通过设计多组对比实验,验证了本文方法对海洋锋的高精度检测效果。     

多尺度深度特征提取的肝脏肿瘤CT图像分类

目的 肝脏肿瘤是人体最具侵袭性的恶性肿瘤之一,传统的肿瘤诊断依靠观察患者的CT（computed tomography）图像,工作量大时易造成疲劳,难免会产生误诊,为此使用计算机辅助的方法进行诊断,但现有的深度学习方法中存在肿瘤分类准确率低、网络的特征表达能力和特征提取能力较弱等问题。对此,本文设计了一种多尺度深度特征提取的分类网络模型。方法 首先在原始CT图像中选取感兴趣区域,然后根据CT图像的头文件进行像素值转换,并进行数据增强来扩充构建数据集,最后将处理后的数据输入到本文提出的分类网络模型中输出分类结果。该网络通过多尺度特征提取模块来提取图像的多尺度特征并增加网络的感受野,使用深度特征提取模块降低背景噪声信息,并着重关注病灶区域有效特征,通过集成并行的空洞卷积使得尺度多元化,并将普通卷积用八度卷积替换来减少参数量,提升分类性能,最终实现了对肝脏肿瘤的精确分类。结果 本文模型达到了87.74%的最高准确率,比原始模型提升了9.92%;与现有主流分类网络进行比较,多项评价指标占优,达到了86.04%的召回率,87%的精准率,86.42%的F1分数;此外,通过消融实验进一步验证了所提方法的有效性。结论 本文方法可以较为准确地对肝脏肿瘤进行分类,将此方法结合到专业的医疗软件当中去,能够为医生早期的诊断和治疗提供可靠依据。     

增强小目标特征的航空遥感目标检测

目的 航空遥感图像中多为尺寸小、方向错乱和背景复杂的目标。传统的目标检测算法由于模型的特征提取网络对输入图像进行多次下采样,分辨率大幅降低,容易造成目标特征信息丢失,而且不同尺度的特征图未能有效融合,检测目标之间存在的相似特征不能有效关联,不仅时间复杂度高,而且提取的特征信息不足,导致目标漏检率和误检率偏高。为了提升算法对航空遥感图像目标的检测准确率,本文提出一种基于并行高分辨率结构结合长短期记忆网络（long short-term memory,LSTM）的目标检测算法。方法 首先,构建并行高分辨率网络结构,由高分辨率子网络作为第1阶段,分辨率从高到低逐步增加子网络,将多个子网并行连接,构建子网时对不同分辨率的特征图反复融合,以增强目标特征表达;其次,对各个子网提取的特征图进行双线性插值上采样,并拼接通道特征;最后,使用双向LSTM整合通道特征信息,完成多尺度检测。结果 将本文提出的检测算法在COCO （common objects in context）2017数据集、KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）车辆检测和UCAS-AOD （University of Chinese Academy of Sciences-Aerial Object Detection）航空遥感数据集上进行实验验证,平均检测准确率（mean average precision,mAP）分别为41.6%、69.4%和69.3%。在COCO 2017、KITTI和VCAS-AOD数据集上,本文算法与SSD513算法相比,平均检测准确率分别提升10.46%、7.3%、8.8%。结论 本文方法有效提高了航空遥感图像中目标的平均检测准确率。     

多尺度特征图融合的目标检测

目的 自然场景图像中,特征提取的质量好坏是决定目标检测性能高低的关键因素。大多数检测算法都是利用卷积神经网络（CNN）强大的学习能力来获得目标的先验知识,并根据这些知识进行目标检测。卷积神经网络的低层次特征缺乏特征的代表性,而高层次的特征则对小尺度目标的监测能力弱。方法 利用原始SSD（single shot multiBox detector）网络提取特征图,通过1×1卷积层将提取的特征图统一为256维;通过反卷积操作增加自顶向下特征图的空间分辨率;通过对应元素相加的操作,将两个方向的特征图进行融合。将融合后的特征图采用3×3的卷积核进行卷积操作,减小特征图融合后的混叠效应。根据以上步骤构建具有较强语义信息的特征图,同时保留原有特征图的细节信息;对预测框进行聚合,利用非极大抑制（NMS）实现最终的检测效果。结果 在PASCAL VOC 2007和PASCAL VOC 2012数据集上进行实验测试,该模型的mAP（mean average precision）为78.9%和76.7%,相对于经典的SSD算法,分别提高了1.4%和0.9%;此外,本文方法在检测小尺度目标时相较于经典SSD模型mAP提升了8.3%。结论 提出了一种多尺度特征图融合的目标检测算法,以自顶向下的方式扩展了语义信息,构造了高强度语义特征图用于实现精确目标检测。     

融合多层特征的多尺度行人检测

目的 行人检测在自动驾驶、视频监控领域中有着广泛应用,是一个热门的研究话题。针对当前基于深度学习的行人检测算法在分辨率较低、行人尺度较小的情况下存在误检和漏检问题,提出一种融合多层特征的多尺度的行人检测算法。方法 首先,针对行人检测问题,删除了深度残差网络的一部分,仅采用深度残差网络的3个区域提取特征图,然后采用最邻近上采样法将最后一层提取的特征图放大两倍后再用相加法,将高层语义信息丰富的特征和低层细节信息丰富的特征进行融合;最后将融合后的3层特征分别输入区域候选网络中,经过softmax分类,得到带有行人的候选框,从而实现行人检测的目的。结果 实验结果表明,在Caltech行人检测数据集上,在每幅图像虚警率（FPPI）为10%的条件下,本文算法丢失率仅为57.88%,比最好的模型之一——多尺度卷积神经网络模型（MS-CNN）丢失率（60.95%）降低3.07%。结论 深层的特征具有高语义信息且感受野较大的特点,而浅层的特征具有位置信息且感受野较小的特点,融合两者特征可以达到增强深层特征的效果,让深层的特征具有较为丰富的目标位置信息。融合后的多层特征图具有不同程度的细节和语义信息,对检测不同尺度的行人有较好的效果。所以利用融合后的特征进行行人检测,能够提高行人检测性能。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

结合轻量化骨干与多尺度融合的单阶段检测器

目的 基于卷积神经网络的单阶段目标检测网络具有高实时性与高检测精度,但其通常存在两个问题：1)模型中存在大量冗余的卷积计算;2)多尺度特征融合结构导致额外的计算开销。这导致单阶段检测器需要大量的计算资源,难以在计算资源不足的设备上应用。针对上述问题,本文在YOLOv5(you only look once version 5)的结构基础上,提出一种轻量化单阶段目标检测网络架构,称为E-YOLO(efficient-YOLO)。方法 利用E-YOLO架构构建了E-YOLOm(efficient-YOLO medium)与E-YOLOs(efficient-YOLO small)两种不同大小的模型。首先,设计了多种更加高效的特征提取模块以减少冗余的卷积计算,对模型中开销较大的特征图通过下采样、特征提取、通道升降维与金字塔池化进行了轻量化设计。其次,为解决多尺度特征融合带来的冗余开销,提出了一种高效多尺度特征融合结构,使用多尺度特征加权融合方案减少通道降维开销,设计中层特征长跳连接缓解特征流失。结果 实验表明,E-YOLOm、E-YOLOs与YOLOv5m、YOLOv5s相比,参数量分别下降...     

多特征融合的文档图像版面分析

目的 在文档图像版面分析上,主流的深度学习方法克服了传统方法的缺点,能够同时实现文档版面的区域定位与分类,但大多需要复杂的预处理过程,模型结构复杂。此外,文档图像数据不足的问题导致文档图像版面分析无法在通用的深度学习模型上取得较好的性能。针对上述问题,提出一种多特征融合卷积神经网络的深度学习方法。方法 首先,采用不同大小的卷积核并行对输入图像进行特征提取,接着将卷积后的特征图进行融合,组成特征融合模块;然后选取DeeplabV3中的串并行空间金字塔策略,并添加图像级特征对提取的特征图进一步优化;最后通过双线性插值法对图像进行恢复,完成文档版面目标,即插图、表格、公式的定位与识别任务。结果 本文采用mIOU（mean intersection over union）以及PA（pixel accuracy）两个指标作为评价标准,在ICDAR 2017 POD文档版面目标检测数据集上的实验表明,提出算法在mIOU与PA上分别达到87.26%和98.10%。对比FCN（fully convolutional networks）,提出算法在mIOU与PA上分别提升约14.66%和2.22%,并且提出的特征融合模块对模型在mIOU与PA上分别有1.45%与0.22%的提升。结论 本文算法在一个网络框架下同时实现了文档版面多种目标的定位与识别,在训练上并不需要对图像做复杂的预处理,模型结构简单。实验数据表明本文算法在训练数据较少的情况下能够取得较好的识别效果,优于FCN和DeeplabV3方法。     

融合上下文和多尺度特征的胸部多器官分割

目的 肿瘤周围高危器官的准确分割是图像引导放射治疗中的关键步骤,也是对抗肺癌和食道癌,规划有效治疗策略的重要组成部分。为了解决不同患者之间器官形状和位置的复杂变化情况以及计算机断层扫描（computed tomography,CT）图像中相邻器官之间软组织对比度低等问题,本文提出了一种深度学习算法对胸部CT图像中的高危器官进行细分。方法 以U-Net神经网络结构为基础,将冠状面下的3个连续切片序列即2.5D （2.5 dimention）数据作为网络输入来获取切片联系,同时利用高效全局上下文实现不降维的跨通道交互、捕获单视图下切片序列间的长距离依赖关系、加强通道联系和融合空间全局上下文信息。在编码部分使用金字塔卷积和密集连接的集成提取多尺度信息,扩大卷积层的感受野,并将解码器与编码器每层进行连接来充分利用多尺度特征,增强特征图的辨识度。考虑到CT图像中多器官形状不规则且紧密相连问题,加入深度监督来学习不同层的特征表示,从而精准定位器官和细化器官边界。结果 在ISBI （International Symposium on Biomedical Imaging）2019 SegTHOR （segmentation of thoracic organs at risk in CT images）挑战赛中,对40个胸部多器官训练样本进行分割,以Dice系数和HD （Hausdorff distance）距离作为主要评判标准,该方法在测试样本中食道、心脏、气管和主动脉的Dice系数分别达到0.855 1、0.945 7、0.923 0和0.938 3,HD距离分别为0.302 3、0.180 5、0.212 2和0.191 8。结论 融合全局上下文和多尺度特征的算法在胸部多器官分割效果上更具竞争力,有助于临床医师实现高效的诊断与治疗。     

融合注意力机制和特征金字塔网络的CT图像肺结节检测

目的 针对现有肺结节检测算法存在的因肺部计算机断层扫描（computed tomography,CT）图像肺结节与周边组织复杂性导致结节本身结构差异性不明显的问题,以及特征提取网络多次下采样造成图像分辨率降低进而导致检测结果差、仅使用网络顶层特征图进行预测造成图像空间信息丢失进而导致小结节漏检等问题,提出了一种基于注意力机制和特征金字塔的肺结节检测算法。方法 根据语义与空间特征补偿机制以及卷积神经网络中网络深度所提取特征的信息量不同,在以ResNet为骨干网络的特征提取网络中设计通道—空间注意力机制,尽可能同时获取含有较多上下文语义以及空间位置信息的特征信息。在网络预测部分设计特征金字塔网络,将高维带有丰富语义信息的特征图与低维带有位置信息的特征图融合进行多尺度预测,增强网络对于小结节以及近血管结节等非显著性目标的检测性能。结果 在LUNA16（lung nodule analysis 16）数据集上进行十折交叉验证显示,当平均假阳性个数为25.99时敏感度达到了97.13%,与基准方法相比,敏感度提高了2.53%,平均假阳性降低了28.54,实现了高敏感度低假阳性;在0.125、0.25、0.5、1、2、4、8这7个假阳率点的敏感度平均值为0.854,其中在每个扫描4次和8次假阳性时敏感度分别达到了0.940和0.951,其效果优于主流的结节检测方法。结论 提出的结节检测模型,可以提高对3~10 mm小结节、近血管结节等非显著性目标的检测性能,并具有较低的假阳率。     

改进YOLOv3的遥感影像小目标检测方法

针对当前目标检测任务中对小目标检测识别率低,漏检率高的问题,提出一种基于门控通道注意力机制（EGCA）和自适应上采样模块的改进YOLOv3算法。该算法采用DarkNet-53作为主干网络进行图片基础特征提取;引入自适应上采样模块对低分辨率卷积特征图进行扩张,有效增强了不同尺度卷积特征图的融合效果;在三个尺度通道输出预测结果之前分别加入EGCA注意力机制以提高网络对小目标的特征表达和检测能力。将改进的算法在公开数据集RSOD（remote sensing object detection）上进行实验,小目标检测精度提升了8.2个百分点,最为显著,平均精度AP值达到56.3%,较原算法提升了7.9个百分点。实验结果表明,改进的算法相比于传统YOLOv3算法和其他算法拥有更好的小目标检测能力。     

面向非对称特征注意力和特征融合的太赫兹图像检测

目的 太赫兹由于穿透性强、对人体无害等特性在安检领域中得到了广泛关注。太赫兹图像中目标尺寸较小、特征有限,且图像分辨率低,目标边缘信息模糊,目标信息容易和背景信息混淆,为太赫兹图像检测带来了一定困难。方法 本文在YOLO(you only look once)算法的基础上提出了一种融合非对称特征注意力和特征融合的目标检测网络AFA-YOLO(asymmetric feature attention-YOLO)。在特征提取网络CSPDarkNet53(cross stage paritial DarkNet53)中设计了非对称特征注意力模块。该模块在浅层网络中采用非对称卷积强化了网络的特征提取能力,帮助网络模型在目标特征有限的太赫兹图像中提取到更有效的目标信息;使用通道注意力和空间注意力机制使网络更加关注图像中目标的重要信息,抑制与目标无关的背景信息;AFA-YOLO通过增加网络中低层到高层的信息传输路径对高层特征进行特征融合,充分利用到低层高分辨率特征进行小目标的检测。结果 本文在太赫兹数据集上进行了相关实验,相比原YOLOv4算法,AFA-YOLO对phone的检测精度为81.15%...     

一种基于注意力机制的小目标检测深度学习模型

小目标检测用来识别图像中小像素尺寸目标.传统目标识别算法泛化性差,而通用的深度卷积神经网络算法容易丢失小目标的特征,对小目标识别的效果不甚理想.针对以上问题,提出了一种基于注意力机制的小目标检测深度学习模型AM-R-CNN,该模型在ResNet101主干网络和候选区域生成网络中使用了通道域注意力和空间域注意力,通道域注...     

基于尺度感知的多路径特征融合目标检测

在通用的目标检测算法中,目标多变的尺度和特征融合利用一直是限制目标检测任务的难题.针对上述问题,首先文中提出了多路径特征融合模块,模块采用跨尺度跨路径特征融合的方法,强化输入输出特征之间的联系,缓解了特征信息在传递时的稀释问题.同时,文中通过改进注意力模型提出了尺度感知模块,该模块能根据目标的尺度自行地选择感受野大小,从而使模型易于识别多尺度目标.将尺度感知模块嵌入到多路径特征融合模块中,使模型的特征提取和利用能力均得到提升.经实验验证,文中提出的算法在数据集PASCAL VOC和MS COCO上的平均检测精度分别达到了82.2%和38.0%,相比基线FPN Faster RCNN分别提升了1.3%和0.6%,其中对小尺度目标的检测效果提升最为显著.     

多分支深度特征融合的中医脑卒中辅助诊断

目的 脑卒中发病征兆不明显,发病速度快且致死率高,目前医学领域的主要诊疗手段仍是针对脑卒中病时和病后,但在病前预测方面缺少有效办法。中医对于治未病等效果显著,其中望诊更是中医诊疗的重要方式。本文结合中医望诊,基于面部与手部图像提出了一种多分支深度特征融合的中医脑卒中辅助诊断方法。方法 针对不同部位图像,分别构建两部位的双分支特征提取模块,将面部和手部的重点区域作为主体分支提取主要特征。根据中医望诊在面部与手部诊疗的特点,进一步将眉心的纹理特征和掌心的颜色特征作为辅助信息提取辅助特征;在此基础上提出信息交互模块(information interaction module, IIM),将主要特征与辅助特征进行有效信息交互,从而辅助主体分支提取更有区别性的信息;最终将两部位的特征进行融合降维用于脑卒中辅助诊断。结果 本文将采集的3 011例面部和手部图像数据进行筛查扩充后作为实验数据集,并在不同评价指标下与当前主流的分类模型进行对比。实验结果表明,本文方法在准确性上达到了83.36%,相比ResNet-34、DenseNet121、VGG16(Visual Geometry Group 1...     

U-Net通道变换网络在腺体图像分割中的应用

目的 腺体医学图像分割是将医学图像中的腺体区域与周围组织分离出来的过程,对分割精度有极高要求。传统模型在对腺体医学图像分割时,因腺体形态多样性和小目标众多的特点,容易出现分割不精细或误分割等问题,对此根据腺体医学图像的特点对U-Net型通道变换网络分割模型进行改进,实现对腺体图像更高精度分割。方法 首先在U-Net型通道变换网络的编码器前端加入ASPP_SE （spatial pyramid pooling_squeeze-and-excitation networks）模块与ConvBatchNorm模块的组合,在增强编码器提取小目标特征信息能力的同时,防止模型训练出现过拟合现象。其次在编码器与跳跃连接中嵌入简化后的密集连接,增强编码器相邻模块特征信息融合。最后在通道融合变换器（channel cross fusion with Transformer,CCT）中加入细化器,将自注意力图投射到更高维度,提高自注意机制能力,增强编码器全局模块特征信息融合。简化后的密集连接与CCT结合使用,模型可以达到更好效果。结果 改进算法在公开腺体数据集MoNuSeg （multi-organ nuclei segmentation challenge）和Glas （gland segmentation）上进行实验。以Dice系数和IoU （intersection over union）系数为主要指标,在MoNuSeg的结果为80.55%和67.32%,在Glas数据集的结果为92.23%和86.39%,比原U-Net型通道变换网络分别提升了0.88%、1.06%和1.53%、2.43%。结论 本文提出的改进算法在腺体医学分割上优于其他现有分割算法,能满足临床医学腺体图像分割要求。