结合自注意力与卷积神经网络的腺体及息肉分割方法

腺体和息肉的自动分割是人工智能辅助结直肠腺癌诊断的基础，但医学图像中的分割目标大小、形状多变，基于单一的卷积神经网络的自动分割方法已陷入瓶颈。基于此，提出了一种卷积神经网络和自注意力相结合的双分支网络（LG UNet），用以提升分割的精度。首先，基于U-Net设计了Local UNet分支，利用卷积神经网络的优势，学习分割目标的局部信息。然后在Global Transformer分支中，利用Transformer全局依赖关系的学习能力来优化分割细节。最后在编码过程中通过交叉融合模块将Local分支和Global分支的特征图进行融合，将两者优势互补。在腺体分割挑战数据集Glas的两个测试子集Test A和Test B上，以Dice系数和交并比（IOU）系数为主要评价指标，LG UNet的测试结果分别为93.62%、88.44%和88.17%、80.49%。在息肉分割数据集Kvasir-SEG上，LG UNet的Dice系数和IOU系数分别为85.63%和77.82%。实验结果表明，结合Transformer和卷积神经网络优势的LG UNet在腺体和息肉分割上取得了更好的性能。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

一种针对膝关节CT图像分割的卷积神经网络

针对现有的膝关节CT图像分割方法耗时长、精度低的问题,文中提出一种改进U-Net的卷积神经网络。首先,该网络将添加批归一化层的残差模块作为U-Net编码过程的主要单元,以增加对图像特征的提取能力,克服网络训练过程中可能产生的梯度消失和梯度爆炸问题;其次,把Attention U-Net中的注意力门加入到U-Net解码过程的前3个阶段,在尽量减少网络复杂性的同时突出模型对图像重要特征的学习;最后,该网络结合Adam一阶优化算法和Focal Loss损失函数实现膝关节CT图像的精准分割。在膝关节CT图像数据集上,Dice系数、IOU系数精度分别达到96.5%,93.4%,豪斯多夫距离减小到（3.2±1.3）mm。相比U-Net和SegNet模型,文中算法在膝关节CT图像的分割方面精度更高,网络训练时间减少,平均预测每张图像的效率也有较大提高。     

基于UT-Former的结直肠息肉分割模型

结直肠息肉准确分割,可以辅助医生诊断肠胃疾病,有效降低结直肠癌的发病风险。为解决息肉准确分割的问题,在Transformer模型和U-Net模型相融合的基础上提出了UT-Former模型。首先,采用一系列预处理技术对原始图像进行处理。其次,借助结直肠的图像,基于UT-Former网络结构设计结直肠息肉分割模型。再次,对UT-Former模型进行训练得到最佳模型,并将U-Net模型作为对比实验。最后,通过Dice指数评价UT-Former模型的有效性,并与U-Net模型进行对比。实验结果表明,UT-Former模型可以准确地预测结直肠息肉,为患者提供早期预后信息。     

C2 Transformer U-Net:面向跨模态和上下文语义的医学图像分割模型

跨模态的医学图像可以在同一病灶处提供更多的语义信息,针对U-Net网络主要使用单模态图像用于分割,未充分考虑跨模态、上下文语义相关性的问题,该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是:首先,在编码器部分提出主干、辅助U-Net网络结构,来提取不同模态的语义信息;然后,设计了多模态上下文语义感知处理器(MCAP),有效地提取同一病灶跨模态的语义信息,跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器,增强模型对病灶的表达能力;其次,在编-解码器中采用预激活残差单元和Transformer架构,一方面提取病灶的上下文特征信息,另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息;最后,使用临床多模态肺部医学图像数据集验证算法的有效性,对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为:97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割,具有较高的精度和相对较低的冗余度,总体上优于现有的先进方法。     

基于SF-Unet的高分辨率耕地遥感影像分割

利用深度学习实现遥感影像耕地区域自动化检测,取代人工解译,能有效提升耕地面积统计效率。针对目前存在分割目标尺度大且连续导致分割区域存在欠分割现象,边界区域情况复杂导致边缘分割困难等问题,提出了语义分割算法——Swin Transformer, TransFuse and U-Net (SF-Unet)。为强化网络不同层次特征提取和信息融合能力,提升边缘分割性能,使用U-Net网络替代TransFuse网络中的ResNet50模块;将Vision Transformer (ViT)替换为改进后的Swin Transformer网络,解决大区域的欠分割问题;通过注意力机制构建的Fusion融合模块将2个网络输出特征进行融合,增强模型对目标的语义表示,提高分割的精度。实验表明,SF-Unet语义分割网络在Gaofen Image Dataset (GID)数据集上的交并比(Intersection over Union, IoU)达到了90.57%,分别比U-Net和TransFuse网络提升了6.48%和6.09%,明显提升了耕地遥感影像分割的准确性。     

基于改进U型神经网络的脑出血CT图像分割

针对脑出血CT图像病灶部位的多尺度性导致分割精度较低的问题,该文提出一种基于改进U型神经网络的图像分割模型(AU-Net+)。首先,该模型利用U-Net中的编码器对脑出血CT图像特征编码,将提出的残差八度卷积(ROC)块应用到U型神经网络的跳跃连接部分,使不同层次的特征更好地融合;其次,对融合后的特征,分别引入混合注意力机制,用以提高对目标区域的特征提取能力;最后,通过改进Dice损失函数进一步加强模型对脑出血CT图像中小目标区域的特征学习力度。为验证模型的有效性,在脑出血CT图像数据集上进行实验,同U-Net, Attention U-Net, UNet++以及CE-Net相比,mIoU指标分别提升了20.9%, 3.6%, 7.0%, 3.1%,表明AU-Net+模型具有更好的分割效果。     

基于U-Net和胶囊网络的合成孔径雷达图像语义分割

图像语义分割作为一种像素级分类技术,已应用于合成孔径雷达(SAR)图像的解译领域中.U-Net是一种端到端的图像语义分割网络,具有典型的编码-解码结构.其中,编码部分主要由卷积层和池化层组成,可以有效提取图像中的目标特征,但难以获取目标的位置和方向等信息.胶囊网络是一种能够获取目标姿态(位置、大小、方向)等信息的神经网络,因此,提出了一种基于U-Net和胶囊网络的SAR图像语义分割方法.此外,考虑到SAR图像数据集较小的特点,将U-Net的编码部分设计成视觉几何组(VGG16)结构,将预训练的VGG16模型直接迁移至编码部分.为了验证本方法的有效性,在两个极化SAR图像数据集上开展了建筑物目标的分割实验.结果 表明,相比U-Net,本方法的精确率、召回率、F1分数和交并比更高,且能减少网络模型的训练时间.     

基于多尺度空洞分离卷积的U-Net分割前列腺图像

前列腺核磁共振(magnetic resonance,MR)影像切片后发现有些影像 没有有效的边缘信息,这导致无法明 确定位边缘位置,进而无法分割出前列腺。同时,传统的卷积网络需要参数量庞大占用模型 的存储空间过多。本文提出了一种结合多尺度空洞可分离卷积和通道注意力的U-Net来分 割 前列腺的方法。首先,对50个3维(three-dimensional,3D)前列腺样品进行切片并对切片后图像 进行对比度增强。随 后,将处理后数据输入到残差U-Net中,使用多尺度空洞卷积和通道注意力作为编码-解 码 单元来提取特征信息。最后,使用Dice系数和豪斯多夫距离(Housdorff distance, HD)来评估分割结果。实验 在PROMISE12挑战赛数据集验证,最终Dice系数和HD分别为88.13%、14.17 mm,参数量和 存储空间降低57%。结果表明,本文方法不仅可以分割出没有有效边缘 的前列腺区域提高其分 割精度而且能有效的降低参数量和存储空间,能够应用于模糊边缘的医学图像中。     

改进U-Net网络的接地网图像超像素分割北大核心CSCD

研究基于改进U-Net网络的接地网图像超像素分割方法,提升红外图像超像素分割效果。通过主成分分析法降维处理接地网腐蚀红外图像;利用Turbopixel超像素分割法分割降维后的红外图像,获取数个超像素区域;在全卷积U-Net网络内添加可变形卷积与重构上采样卷积,并利用反向传播算法,优化网络参数,建立改进的全卷积U-Net网络结构;在改进的全卷积U-Net网络内分割获取的数个超像素区域,输出红外图像超像素自动分割结果。实验证明:该方法可有效降维处理接地网腐蚀红外图像,实现红外图像超像素分割,分割后的红外图像边界清晰;在不同分辨率时,该方法的Dice相似性系数较高、Hausdorff距离较低,具备较高的红外图像超像素分割精度。     

基于改进U-Net的磁共振成像脑肿瘤图像分割

针对医学图像分割中网络深度过深和上下文信息欠缺导致的分割精度降低等问题,提出了一种基于改进U-Net的磁共振成像(MRI)脑肿瘤图像分割算法.该算法通过嵌套残差模块和密集跳跃连接组成一种深度监督网络模型.为了减小编码路径和解码路径特征图之间的语义差距,将U-Net中的跳跃连接改为多类型的密集跳跃连接;为了解决网络过深导...     

基于改进的3D U-Net骨盆CT影像多类分割

骨盆CT影像精确分割是骨盆骨疾病的临床诊断和手术规划中非常重要的环节。针对目前2D骨盆分割方法对三维医学影像进行切片处理时损失空间信息的问题,提出了改进3D U-Net网络实现对骨盆CT影像3D自动分割。实验数据为公开数据集CTPelvic1K共1 184名患者骨盆CT影像,其中包含骶骨、左髋骨、右髋骨和腰椎四个部位标签。以3D U-Net骨干网络为基础,结合自注意力机制提出3D多类分割模型3D Trans U-Net,并使用迁移学习训练3D U-Net、V-Net、Attention U-Net作为对照实验。实验结果表明：3D Trans U-Net在测试集上整个骨盆区域、骶骨、左髋骨、右髋骨、腰椎Dice系数分别达到97.99%,96.70%,97.96%,97.95%,96.89%;Dice系数、豪斯多夫距离等评价指标均优于现有经典网络3D U-Net、V-Net、Attention U-Net。因此,改进的3D Trans U-Net对骨盆不同部位具有较好的分割效果,为精准医治骨盆骨疾病提供了一条有效的技术途径。     

一种面向口腔移植骨分割的SA-UNet网络

在牙齿种植治疗中,口腔移植骨分割对于辅助医生诊断有重要参考价值。口腔CBCT图像具有对比度较低,移植骨边缘模糊等诸多特征,严重制约着现有深度分割网络的应用。研究以U-Net为基准网络,通过设计一种新颖的轻量级Sharp-Attention模块,提出了一种改进的SA-UNet网络模型。具体地,在Sharp模块中,带锐化卷积核的Depthwise卷积操作通过锐化浅层特征以加强特征细节。CBAM模块提升模型对于图像低层信息的关注度。进而,采用新型联合损失函数,缓解样本比例失衡带来的影响。最后,在口腔移植骨数据集上验证了模型的有效性。在模型复杂度方面,与基准网络U-Net相比,在几乎没有增加计算开销的情况下,图像分割精度得到了有效的提升;在分割精度方面,与现有的主流医学分割模型对比,在IoU、Dice系数、Hausdorff距离三个评价指标上的表现最佳,得分达到了0.866 5、0.926 2、0.509 2。     

基于改进U-Net网络的甲状腺结节超声图像分割方法

针对甲状腺结节尺寸多变、超声图像中甲状腺结节边缘模糊导致难以分割的问题,该文提出一种基于改进U-net网络的甲状腺结节超声图像分割方法。该方法首先将图片经过有残差结构和多尺度卷积结构的编码器路径进行降尺度特征提取;然后,利用带有注意力模块的跳跃长连接部分对特征张量进行边缘轮廓保持操作;最后,使用带有残差结构和多尺度卷积结构的解码器路径得到分割结果。实验结果表明,该文所提方法的平均分割Dice值达到0.7822,较传统U-Net方法具有更优的分割性能。     

一种改进的I-Unet网络的皮肤病图像分割算法

黑色素瘤是常见的皮肤癌,皮肤病图像分割在皮肤癌诊断过程中起到至关重要的作用。为了利用I-Unet深度神经网络强大的编码解码功能来自动分割出皮肤病病灶区域,文中提出一种改进的I-Unet网络的皮肤病图像分割算法。该方法采用空洞卷积扩大卷积感受野,利用类Inception和循环神经网络(RCNN)分别提取图像不同尺度的特征,并进行多尺度特征融合,运用全连接条件随机场(CRF)进行图像后处理。结果表明,所提算法在皮肤病图像分割中取得了良好的效果,算法的Jaccard系数达到了0.780,Dice系数稳定在0.871;与同类最佳研究结果相比,Jaccard系数及Dice系数分别提高了1.5%,2.2%,表明该方法有效提升了网络图像分割的性能。     

基于多尺度注意力小波网络的可适应病变规模超声乳腺图像分割

针对超声乳腺图像中对不同规模病变的分割鲁棒性不足的问题,提出了一种多尺度注意力小波网络(MAW-Net).通过设计两个轻量的网络模块,多尺度拼接模块和跳过连接升维模块,达到在不同尺度上集成丰富的特征和全局上下文信息,减少编码器和解码器之间的语义差距以适应不同规模病变分割的目的.并引入双树复小波变换,很好地削弱了噪声影响.在两个公共的乳腺超声数据集UDIAT和BUSI数据集上进行测试,其Dice系数分别达到91.32%和84.23%.并与其他6种先进的图像分割方法进行比较,具备强分割鲁棒性、噪声影响小等优势.     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

基于VSA-UNet的电气设备紫外图像分割

提高电气设备紫外图像分割精确度对设备放电程度的准确评估具有重要意义。由于存在噪声干扰与紫外光斑形状、大小不规则等问题,目标分割区域存在过分割和欠分割现象,因此提出一种基于多模块的VSA-UNet(VGG16Net, Improved SENet, and ASPP based U-Net)分割网络。为强化网络特征提取能力,减少过分割现象,使用VGG16Net的卷积层代替U-Net网络的编码部分;将编码部分末端卷积层替换成空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模块,获取紫外图像的多尺度信息,解决大区域的欠分割问题;在跳跃连接部分加入改进SENet模块,加强有用信息的提取,补充细节损失,提升整体网络性能。基于自建紫外图像数据集的实验表明,改进网络在分割紫外图像时平均交并比(Mean Intersection over Union, MIoU)达到81.78%,平均精确率为95.97%。与U-Net网络相比,提出的VSA-UNet模型明显提升了紫外图像分割的准确性。     

基于改进U-net网络的腺体细胞图像分割算法应用研究

针对医学领域中腺体细胞分割问题,提出基于改进U-net网络的腺体细胞图像分割算法,提供一种高可用性图像处理模型。该模型能够增强腺体细胞特征,减少信息丢失,借用OpenCV对腺体细胞轮廓进行颜色处理。采用U-net网络结合空洞残差模块,提高细胞分割精确度。文章方法在ISBI数据集评测,设计多组实验对比,验证可行性,实验结果Dice系数达0.925,表明对腺体细胞图像分割算法存在较高应用价值。     

基于改进Swin-Unet的遥感图像分割方法

针对遥感图像数据本身存在分辨率高、背景复杂和光照不均等特性导致边界分割不连续、目标错分漏分以及存在孔洞等问题,提出了一种基于改进Swin-Unet的遥感图像分割方法。在编码器末端引入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模块,用于捕获多尺度特征,增强网络获取不同尺度的能力,充分提取上下文信息;将解码器端的Swin Transformer Block替换为残差Swin Transformer Block,不仅保留了原始信息,又能够缓解模型出现梯度弥散现象;在跳跃连接中引入残差注意力机制,可以让模型更加关注特征图中的重要特征信息,抑制无效信息,从而提高模型分割的准确率。在自建数据集上进行实验,结果表明,改进后的网络平均交并比(mean Intersection over Union, mIoU)达到了80.55%,提高了4.13个百分点,证明改进后的网络可以有效提高遥感图像分割的精度。