基于多重注意力机制的多模态脑肿瘤图像分割

本文提出了一种新型的多模态脑肿瘤图像分割方法,该方法将3种注意力机制与传统U-Net模型相结合,从三维多模态MRI医学图像中分割脑肿瘤。所提出的模型分为编码器、解码器、特征融合和瓶颈层4部分,各采用不同的注意力机制,增强了多模态信息提取能力。在特征融合部分,提出了一种新的注意力模块—注意力门控传播模块(AGPM),该模块将通道注意力和注意力门结合起来,沿通道维度和空间维度依次推断注意力映射;瓶颈层部分,在卷积层之间应用了一个多头自注意力层(MHSA)来增强感受野。此外,在模型的瓶颈层部分加入了一种新的注意力模块—多头特征增强模块(MHFEM),来补充多尺度信息。通过在BraTS2020数据集上的实验结果,表明了所提模型的有效性。     

融合多层级特征的脑肿瘤图像分割方法北大核心CSCD

针对脑肿瘤图像分割中网络模型信息损耗、上下文信息联系不足及网络泛化能力较差导致分割精度较低的问题,提出了一种新型的脑肿瘤图像分割方法,该方法是通过深度门控卷积模块(depth gate convolution,DGC)和特征增强模块(feature enhancement module,FEM)组成的多层级连接(multi-level connection,MC)脑肿瘤分割模型。采用深度卷积模块降低特征信息在逐层传递的信息损耗;使用控制门单元(control gate unit,CGU)实现各个尺度的特征图的MC,其中组合池化来减少下采样过程中的信息丢失;通过FEM增强分割区域的特征权重。实验结果表明,预测分割脑肿瘤的整体肿瘤区(whole tumor,WT)、核心肿瘤区(tumor core,TC)和增强肿瘤区(enhancement tumor,ET)的Dice系数分别达到了0.92、0.84和0.83,Hausdorff距离达到了0.77、1.50和0.92,脑肿瘤分割精度相较于当前较多方法分割精度和计算效率较高,具有良好的分割性能。     

一种基于CA-Net的脑肿瘤磁共振图像分割算法

磁共振影像是脑肿瘤疾病中常用的诊断工具,临床上的量化分析需要对影像结果进行分割得到肿瘤区域,但手动分割十分耗时且高度依赖于医生的临床经验。为此,本文提出一种基于深度学习的脑磁共振图像分割算法,解决了原网络无法有效提取关键特征的问题。该算法使用改进的有限对比度自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization, CHALE)算法,对脑肿瘤磁共振影像进行图像增强后,将结果输入CA-Net网络对数据集初步分割,并将全注意力算法和U-net骨架结构结合(包括空间、通道和尺度注意力模块),实现对不同尺度的空间和通道的特征转换连接。模型应用混合损失函数提高分割精度。初步分割的结果可通过后处理进一步提高精度,得到最终的肿瘤区域。初步分割结果中,Dice指标可以达到88.40(±0.24)%,结合图像处理提高至89.21(±0.36)%,分割精度相较于其它算法有明显提高。     

基于3D卷积神经网络的脑肿瘤医学图像分割优化

针对2D卷积神级网络不能够较好地提取各模态之间的差异信息,不同的图像层肿瘤大小差异显著,且分割精度低,单模态MRI无法清晰地反映GBM的不同组织结构,提出一种基于3D多池化卷积神经网络拟解决以上实际问题。将卷积神经网络应用到脑肿瘤分割上,并针对脑肿瘤的特点,提出3D多池化卷积神经网络模型,通过多尺度的输入与多尺度的下采样,且在后端使用条件随机场(CRF)使图片尽量在边界处分割,增加图像的分割精度,克服脑肿瘤的个体差异,同时适应脑肿瘤不同图像层之间的大小位置差异。通过对100例患者的多模态磁共振图像进行分割,Dice系数达到91.64%;MRI脑肿瘤分割的改进方法可使分割精度得到明显提高,可更好地提取各模态之间的差异信息,实现适应范围更广的MRI肿瘤分割,并准确有效地分割脑肿瘤。     

基于类特征注意力机制融合的语义分割算法

针对DeepLabv3+模型对图像目标边缘分割不准确、不同类目标分割不一致等问题，提出一种基于类特征注意力机制融合的语义分割算法。该算法在DeepLabv3+模型编码端先设计一个类特征注意力模块增强类别间的相关性，更好地提取和处理不同类别的语义信息。然后采用多级并行的空间金字塔池化结构增强空间之间的相关性，更好地提取图像不同尺度的上下文信息。最后在解码端利用通道注意力模块的特性对多层融合特征重新校准，抑制冗余信息，加强显著特征来提高网络的表征能力。在Pascal Voc2012和Cityscapes数据集上对改进模型进行了有效性和泛化性实验，平均交并比分别达到了81.34%和76.27%，使图像边缘分割更细致，类别更清晰，显著优于本文对比算法。     

MCA-Net:多尺度综合注意力CNN在医学图像分割中的应用

医学图像自动分割技术具有辅助临床医学诊断的功能.为改善CNN模型在医学图像分割中存在感受野小及细节特征不敏感等问题,基于多尺度策略以及注意力机制,提出一种多尺度综合注意力的U形网络架构,以提升医学图像分割质量.首先,提出一个新的双路径因式分解多尺度融合块,以扩展图像特征的感受野,进一步提取图像特征的细节信息.其次,在架构中融入通道和空间融合自注意力块,利用注意力机制的特性,抑制不相关的部分或背景以突显深层特征的空间信息.最后,引入多尺度注意力块.该模块通过融合多个尺度的特征信息,以突出不同尺度中最显著的特征图来适应当前分割对象的大小.为验证模型的可靠性,将所提出的网络模型应用于肺部、细胞轮廓及肝脏等医学图像分割任务.实验结果表明,所提方法在准确率、Dice系数、AUC及灵敏度等评估指标上均优于目前用于医学图像分割的主流方法.     

基于双支路特征融合的MRI颅脑肿瘤图像分割研究北大核心CSCD

针对磁共振成像(magnetic resonance imaging, MRI)颅脑肿瘤区域误识别与分割网络空间信息丢失问题,提出一种基于双支路特征融合的MRI脑肿瘤图像分割方法。首先通过主支路的重构VGG与注意力模型(re-parameterization visual geometry group and attention model, RVAM)提取网络的上下文信息,然后使用可变形卷积与金字塔池化模型(deformable convolution and pyramid pooling model, DCPM)在副支路获取丰富的空间信息,之后使用特征融合模块对两支路的特征信息进行融合。最后引入注意力模型,在上采样过程中加强分割目标在解码时的权重。提出的方法在Kaggle_3m数据集和BraTS2019数据集上进行了实验验证,实验结果表明该方法具有良好的脑肿瘤分割性能,其中在Kaggle_3m上,Dice相似系数、杰卡德系数分别达到了91.45%和85.19%。     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

基于改进Swin-Unet的遥感图像分割方法

针对遥感图像数据本身存在分辨率高、背景复杂和光照不均等特性导致边界分割不连续、目标错分漏分以及存在孔洞等问题,提出了一种基于改进Swin-Unet的遥感图像分割方法。在编码器末端引入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模块,用于捕获多尺度特征,增强网络获取不同尺度的能力,充分提取上下文信息;将解码器端的Swin Transformer Block替换为残差Swin Transformer Block,不仅保留了原始信息,又能够缓解模型出现梯度弥散现象;在跳跃连接中引入残差注意力机制,可以让模型更加关注特征图中的重要特征信息,抑制无效信息,从而提高模型分割的准确率。在自建数据集上进行实验,结果表明,改进后的网络平均交并比(mean Intersection over Union, mIoU)达到了80.55%,提高了4.13个百分点,证明改进后的网络可以有效提高遥感图像分割的精度。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

基于YOLACT与Transformer相结合的实例分割算法研究

为提高单阶段实例分割的检测精度和改善小目标漏检、错检情况,提出一种基于YOLACT改进的YOLACTR算法。该算法首先利用CNN与Transformer相结合,设计一种新的头部预测网络,对特征进一步提取,并使用双向注意力来关联同一实例的掩码信息并区分不同实例之间的掩码特征,注重特征点周围的关联信息,使得检测框的预测更加准确;然后利用多级上采样和设计的CS注意力模块结合形成掩码分支,使其融入多种不同尺度信息,并利用CS注意力来关注不同的尺度信息。在MS COCO数据上,YOLACTR算法与YOLACT算法相比,其边框和掩码检测精度分别提升了7.4%和2.9%,在小目标检测上分别提升了18.9%和13.5%。实验表明,YOLACTR算法可以在多目标复杂场景下,提升检测和分割精度以及分类的准确度,改善小目标和重叠目标漏检、错检的问题。     

多分辨率融合输入的U型视网膜血管分割算法

针对视网膜血管拓扑结构不规则、形态复杂和尺度变化多样的特点,该文提出一种多分辨率融合输入的U型网络(MFIU-Net),旨在实现视网膜血管精准分割。设计以多分辨率融合输入为主干的粗略分割网络,生成高分辨率特征。采用改进的ResNeSt代替传统卷积,优化血管分割边界特征;将并行空间激活模块嵌入其中,捕获更多的语义和空间信息。构架另一U型精细分割网络,提高模型的微观表示和识别能力。一是底层采用多尺度密集特征金字塔模块提取血管的多尺度特征信息。二是利用特征自适应模块增强粗、细网络之间的特征融合,抑制不相关的背景噪声。三是设计面向细节的双重损失函数融合,以引导网络专注于学习特征。在眼底数据用于血管提取的数字视网膜图像(DRIVE)、视网膜结构分析(STARE)和儿童心脏与健康研究(CHASE_DB1)上进行实验,其准确率分别为97.00%, 97.47%和97.48%,灵敏度分别为82.73%, 82.86%和83.24%,曲线下的面积(AUC)值分别为98.74%, 98.90%和98.93%。其模型整体性能优于现有算法。     

基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

多尺度语义信息融合的目标检测

针对当前目标检测算法对小目标及密集目标检测效果差的问题,该文在融合多种特征和增强浅层特征表征能力的基础上提出了浅层特征增强网络(SEFN),首先将特征提取网络VGG16中Conv4_3层和Conv5_3层提取的特征进行融合形成基础融合特征;然后将基础融合特征输入到小型的多尺度语义信息融合模块中,得到具有丰富上下文信息和空间细节信息的语义特征,同时把语义特征和基础融合特征经过特征重利用模块获得浅层增强特征;最后基于浅层增强特征进行一系列卷积获取多个不同尺度的特征,并输入各检测分支进行检测,利用非极大值抑制算法实现最终的检测结果。在PASCAL VOC2007和MS COCO2014数据集上进行测试,模型的平均精度均值分别为81.2%和33.7%,相对于经典的单极多盒检测器(SSD)算法,分别提高了2.7%和4.9%;此外,该文方法在检测小目标和密集目标场景上,检测精度和召回率都有显著提升。实验结果表明该文算法采用特征金字塔结构增强了浅层特征的语义信息,并利用特征重利用模块有效保留了浅层的细节信息用于检测,增强了模型对小目标和密集目标的检测效果。     

基于BSResSKGRU的雷达信号调制样式识别

针对基于图像识别的雷达信号调制样式识别方法生成图像耗时长,收敛速度慢,且在低信噪比条件下识别准确率低的问题,提出了一种新的雷达信号调制样式识别模型。此模型将雷达信号时间序列经简单预处理后直接作为网络输入,避免了将信号转换为图像的复杂过程;网络能够自主提取雷达信号空间和时间两个方面特征,完善了特征提取的方式;同时,对网络结构进行了优化,并引入了选择性核网络,以获取特征在不同尺度上的重要信息。实验结果表明,此模型在低信噪比条件下具有较快的训练速度和较高的识别准确率。     

基于多尺度池化和范数注意力机制的遥感图像检索

遥感图像内容丰富,一般的深度模型提取遥感图像特征时容易受复杂背景干扰,对关键特征的提取效果不佳,并且难以表达图像的空间信息,该文提出一种基于多尺度池化和范数注意力机制的深度卷积神经网络,在通道层面与空间层面自适应地给显著特征加权.首先,在多尺度池化通道注意力模块中,结合空间金字塔池化的思想,对每个通道上的特征图进行不同...     

一种改进级联U-Net网络的结肠息肉分割算法

结肠镜图像中息肉的精确分割是诊断结肠癌的关键环节,针对目前结肠息肉分割算法存在孔洞、分割粗糙以及分割不完全的问题,提出了一种改进级联U-Net结构的结肠息肉分割算法。运用特征融合思想,设计了多尺度语义嵌入模块和残差模块,充分利用深、浅层特征的语义信息。引入注意力机制,在模型的级联处构建了改进空洞卷积模块,扩大卷积感受野并增强特征捕获能力。改进了卷积层模块和分割损失函数,提升模型的泛化性和鲁棒性。在Kvasir-SEG数据集上进行实验分析,相似系数、平均交并比、召回率和准确率分别达到了90.39%、88.34%、83.62%和95.12%。实验结果表明,该文所提算法改善了分割图像内部孔洞、边缘粗糙及分割不完全的问题,优于其他息肉分割算法。     

Textured image segmentation by context enhanced clustering

An unsupervised textured image segmentation technique based on multidimensional feature vector clustering is described, where the features are the parameters of an autoregressive model, The benefits of incorporating spatial contextual information are demonstrated on both true cluster number estimation and actual image segmentation. A simple within-cluster distance is used for cluster validity analysis, where feature vectors are modified through local spatial dependency. This greatly reduces the dispersion in the raw feature data fed to the clustering process, and improves the true cluster number estimation. At the segmentation stage, three schemes incorporating contextual information at feature vector and label levels are proposed to enhance the segmentation accuracy. One is a development of a technique due to Mardia and Hainsworth (1988). The proposed approaches are tested on a four-class textured image