Transformer与卷积神经网络相结合的皮肤镜图像自动分割算法EI北大核心CSCD

皮肤镜图像的病灶区域与背景像素相似度高,且病灶存在形状多样,边缘模糊,人工或毛发遮挡等情况,为了获得更高精度的皮肤病变分割,提出了一种皮肤镜图像自动分割算法.首先,使用ResNet 34提取多种分辨率特征,在上下文部分使用Transformer模块对输入的特征进行全局建模;其次,通过混合池化模块聚合上下文特征的多尺度信息,在对应连接编解码器的跳跃连接间设计一个高效卷积模块以提高跳跃路径的边缘细化和抗干扰能力;最后,利用解码器恢复图像分辨率,并逐层融合其他浅层分辨率特征,利用Focal Loss函数改善难分割目标的精度.文中算法在ISIC2017,ISIC2018数据集上获得的Dice系数、准确率、Jaccard指数、灵敏度得分分别为88.83%,94.77%,81.43%,88.49%和89.46%,94.50%,82.56%,94.62%,与其他算法相比具有一定的优势,证明了该算法的有效性.     

基于PiT的皮肤镜图像分类方法研究

随着计算机技术的进步,现有的Transformer被 扩展成处理计算机视觉任务的网络结 构。为提高黑色素瘤的早期确诊率以提高皮肤病患者的治愈率,本文提出一种改进的基于 PiT(pyramid pooling transformer)的网络模型来实现对7种皮肤病变的皮肤镜图像进行自 动 分类。本文模型主要由PiT模块和抗干扰模块等2个部分组成,Pit继承了ViT的优点,并通 过池化进行空间尺寸转换来提高模型的鲁棒性,经过预训练的PiT网络拥有大量的自然图像 特征,且PiT部分网络可为下游的分类任务提供所需的图像特征,本文设计出抗干扰模块, 用来抵抗皮肤镜图像中的干扰因素(如毛发、异物遮挡)的影响,从而提高模型性能、提高分 类精度。实验结果表明,本文模型 在 ISIC 2018验证集上的分类准确 率、精确率、召回率、 F1-score值分别高达91.58%、83.59%、89.92%、86.34%,每秒传输帧数(frames per second,FPS)达到85Hz与 现有的几种先进的分类网络相比,分类性能和模型效率都有所提高,具有相对优势,证明本 文模型具有一定的实用价值。