基于特征融合与自注意力机制的图像语义分割算法

提出了一种基于特征融合与自注意力机制的图像语义分割方法,设计了特征融合模块、自注意力模块、增强模块、全局空间信息融合模块和损失函数。特征融合模块融合多个图像的所有组件,通过自注意力机制来执行。自注意力模块从而有效地捕获远程上下文信息。增强模块旨在增强输入图像以获得更多样化的特征。全局空间信息注意模块相对于图像尺寸只有线性的复杂度,能够带来显著的提升效果。利用损失函数,对模型进行优化,将每个像素的分类结果优化到最接近真实值。实验结果表明,所提出的方法可以显著提高PASCAL VOC 2012数据集、COCO-Stuff 10K数据集和ISIC 2018数据集这3个数据集的性能,并在3个数据集上进行了验证,实验还通过对自注意力、推理速度和消融实验进行比较,验证了本文方法的优越性。     

引入自注意力U-Net的无人机遥感农作物分类模型

精准农业是指信息技术与农业生产全面结合的新型农业。农作物信息和数据是精准农业中最核心的内容，通常使用无人机遥感技术获取农作物信息和数据。文中首先利用无人机采集农田数据，并根据地面参考数据以及相关资料，利用人工标注构建无人机遥感农田样本数据集，利用数据增强的策略扩充样本数据集；其次，提出一种改进的U-Net模型，即自注意力U-Net模型，将其应用于农作物分类。所提模型在传统U-Net的基础上加入自注意力机制，能够提高模型的特征学习能力以及泛化能力。使用所提方法在无人机遥感农田数据集上进行实验得出，与基线模型相比，所提模型能够提升农作物分类性能。     

基于U-Net和胶囊网络的合成孔径雷达图像语义分割

图像语义分割作为一种像素级分类技术,已应用于合成孔径雷达(SAR)图像的解译领域中.U-Net是一种端到端的图像语义分割网络,具有典型的编码-解码结构.其中,编码部分主要由卷积层和池化层组成,可以有效提取图像中的目标特征,但难以获取目标的位置和方向等信息.胶囊网络是一种能够获取目标姿态(位置、大小、方向)等信息的神经网络,因此,提出了一种基于U-Net和胶囊网络的SAR图像语义分割方法.此外,考虑到SAR图像数据集较小的特点,将U-Net的编码部分设计成视觉几何组(VGG16)结构,将预训练的VGG16模型直接迁移至编码部分.为了验证本方法的有效性,在两个极化SAR图像数据集上开展了建筑物目标的分割实验.结果 表明,相比U-Net,本方法的精确率、召回率、F1分数和交并比更高,且能减少网络模型的训练时间.     

基于改进自注意力神经网络的X光安检识别

针对X光安检图像中存在背景信息复杂以及物体相互遮挡的情况，以YOLOv5m模型为基础，改进自注意力机制，提出新的视觉自注意力机制与卷积模型结合的叠加混合模型YOLOv5m-CRCS。该网络在视觉自注意力机制中，加入相对位置编码，引入高效变体卷积(TVConv)和动态归一化(DTN),增强图像特征中的全局语义信息和位置信息。在网络特征融合阶段将坐标注意力(CA)与改进后的自注意力机制结合，进一步加强输出特征中的位置关系信息，同时引入改进的双自注意力模块，将残差卷积模块(CSPLayer)与双自注意力叠加混合，使得每个输出在原有特征的基础上增加了全局特征的相关性。在X光安检数据集上的实验结果表明，与原始目标检测网络相比，所提出模型的识别精度提高了4.72%,明显降低了由于X光安检图像中的背景信息复杂、相互遮挡而出现的漏检情况。     

基于改进PSPNet的桥梁裂缝图像分割算法

针对传统桥梁裂缝检测算法检测精度低和现有的主流语义分割算法容易丢失裂缝图像细节信息、结果不连续等问题,提出了一种基于改进PSPNet的桥梁裂缝图像分割算法.首先使用无人机采集桥梁图像,通过图像增强处理得到桥梁裂缝数据集;其次通过带有扩张卷积的残差网络初步提取裂缝特征;接着将提取到的特征送入到空间位置自注意力模块(SPAM)和金字塔池化模块的串联结构中,使其能够在空间维度上获得丰富的上下文信息.实验结果表明,与现有的主流语义分割算法相比,所提算法得到的裂缝细节更加丰富,各项分割指标都有较为显著的提升,平均交并比达到84.31％,并能对细小桥梁裂缝进行准确、完整提取.     

融合语义角色和自注意力机制的中文文本蕴含识别

文本蕴含识别旨在识别两个给定句子之间的逻辑关系.本文通过构造语义角色和自注意力机制融合模块,把句子的深层语义信息与Transformer模型的编码部分相结合,从而增强自注意力机制捕获句子语义的能力.针对中文文本蕴含识别在数据集上存在规模小和噪声大的问题,使用大规模预训练语言模型能够提升模型在小规模数据集上的识别性能.实验结果表明,提出的方法在第十七届中国计算语言学大会中文文本蕴含识别评测数据集CNLI上的准确率达到了80.28%.     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

基于U-Net网络改进算法的视网膜血管分割研究北大核心CSCD

针对视网膜图像血管细小,细节特征丢失、梯度下降、爆炸而导致分割效果差的问题,本文提出了一种引入残差块、循环卷积模块和空间通道挤压激励模块的U-Net视网膜血管图像分割模型。首先通过使用一系列随机增强来扩展训练集并对数据集进行预处理,然后在U-Net模型中引入残差块,避免随着网络深度增加,分割准确率达到饱和然后迅速退化以及优化计算成本;并将U-Net网络的底部替换为循环卷积模块,提取图像低层次的特征,并不断的进行特征积累,增强上下文之间的语义信息,获得更有效的分割模型;最后在卷积层之间嵌入空间通道挤压激励模块,通过找到特征较好的通道,强调这一通道,压缩不相关的通道使得网络模型能够加强关键语义特征信息的学习,通过训练过程学习到有效的特征信息,同时增强抗干扰能力。通过在DRIVE数据集上的验证结果可得,本文所提模型的准确率为98.42%,灵敏度达到了82.36%,特异值达到了98.86%。通过和其他网络分割方法比较,本文所提分割方法具有更优的分割效果。     

一种多分辨率特征提取红外图像语义分割算法

针对现有图像语义分割算法在对低分辨率红外图像进行分割时存在准确率不高的问题,提出了一种多分辨率特征提取算法。该算法以DeepLabv3+为基准网络,添加了一组对偶分辨率模块,该模块包含低分辨率分支和高分辨率分支,以进一步聚合红外图像特征。低分辨率分支采用GPU友好的注意力模块捕获高层全局上下文信息,同时引入一个多轴门控感知机模块并行提取红外图像局部信息和全局信息;高分辨率分支采用跨分辨率注意力模块将低分辨率分支上学习到的全局特征传播扩散到高分辨率分支上以获取更强的语义信息。实验结果表明,该算法在数据集DNDS和MSRS上的分割精度优于现有语义分割算法,证明了提出算法的有效性。     

基于自注意力的合成孔径雷达图像目标分类方法北大核心CSCD

基于自注意力的视觉变换器(ViT)模型在自然语言处理和计算机视觉领域显示出强大的特征提取和模式表征能力。针对合成孔径雷达(SAR)图像特征与自然物体图像特征存在明显差异的问题,文中提出一种使用ViT模型进行SAR图像目标分类识别的方法,探索基于自注意力的深度学习模型在SAR图像智能化处理的可行性和有效性。ViT模型架构设计与自然语言处理模型架构相似,具有设置简单、可扩展性好、开箱即用的优点。模型主要由图像块分割、图像块投影嵌入、位置嵌入、自注意力模块序列和全连接分类器五部分组成。选择MSTAR公开数据集作为实验数据集,并对数据集训练样本进行数据增强,在增强数据集上对ViT模型进行训练,以在验证集上获得较低的误差和较高的识别率并使网络收敛。使用训练好的ViT模型对SAR图像测试样本进行分类测试,结果显示ViT模型对于SAR图像分类有着高准确率和良好的泛化能力,基于自注意力深度学习方法在SAR图像自动化处理领域具有广阔的应用前景。     

基于改进3D U-Net的多模态脑肿瘤分割算法

针对脑部肿瘤分割任务中存在的多模态信息利用率不高,训练样本数据少导致分割结构精度不高的问题,提出了一种以3D U-Net模型为基础,融合变分自编码器（VAE）和注意力模型的分割模型VAE U-Net,实现多模态脑肿瘤MRI图像的自动分割。所提方法在Brats2020数据集上进行实验,在测试集上的整体肿瘤、核心肿瘤以及增强核心区的分割Dice系数分别为81.44、90.82和89.43,相较于原始的3DU-Net提高了2.03、1.05和2.38个百分点。     

基于Unet的多任务医学图像语义分割模型

深度学习网络在医学图像分割领域应用广泛,针对传统语义分割模型只在局部像素点进行考虑,在小目标的医学图像语义分割中检测精度不高。本文提出了基于Unet的双任务图像语义分割模型,对传统的Unet语义分割进行改进,编码阶段采用经过预训练的Resnet34作为框架进行特征提取,设计了SCSE模块对图像特征信息进行修正,从空间和通道两个方向获取图像的全局信息,损失函数采用“分类”和“分割”融合的多任务策略进行学习,对气胸医学图像进行语义分割。为进一步提高网络模型的泛化能力,对数据集图像进行随机水平翻转、垂直翻转等图像增强处理,实验表明该语义分割方法比传统的Unet语义分割方法在分割精度上提高5%以上。     

面向小样本SAR图像识别的自注意力多尺度特征融合网络

合成孔径雷达（Synthetic Aperture Radar,SAR）图像标签难以大量获取,存在着大量小样本SAR数据集。SAR图像充满着散斑噪声,直接将卷积神经网络（Convolutional Neural Network,CNN）应用在小样本SAR数据集上难以提取有效特征。针对以上问题,本文提出了一种面向小样本SAR图像识别的自注意力多尺度特征融合网络。首先,将自注意力机制与幽灵模块相结合构建自注意力幽灵模块,并利用该模块替代经典的卷积操作提取SAR图像特征。其次,在网络中添加通道混洗单元以构建多尺度信息融合支路。最后,引入知识蒸馏对设计的网络进行压缩,进一步控制网络参数量。实验结果表明,本文方法在不同工作条件下采集的MSTAR数据集上具有出色的识别性能,在构建的小样本SAR数据集上也表现出良好的鲁棒性。      

基于注意力机制的遥感图像语义分割研究

遥感图像的语义分割是图像分割领域的一个重大分支,在城市规划、城乡变化检测以及地理信息等方面有十分广阔的应用,然而由于遥感图像中包含的道路地物等尺度差别大、目标背景分散、背景复杂、边界复杂等特点,精确分割遥感图像是一项具有挑战性的任务。针对这一问题,文章提出了一种基于通道注意力机制的SEU-Net网络,在U-Net网络的基础上引入SE通道注意力模块,利用空洞卷积来提升网络的解析能力,从而提高遥感图像的分割精度,在Massachusetts Roads数据集上表明SEU-Net结构的性能要优于U-Net算法。     

基于特征符号化和Transformer的无参考图像质量评价方法

基于深度学习的无参考图像质量评价方法目前存在语义关联性不足或模型训练要求高的问题，为此，本文提出了一种基于语义特征符号化和Transformer的无参考图像质量评价方法。首先使用深层卷积神经网络提取图像的高层语义特征；然后将语义特征映射成视觉特征符号，并基于Transformer自注意力机制对视觉特征符号之间的关系进行建模，提取图像的全局特征，同时使用浅层神经网络提取底层局部图像特征，捕捉图像低级失真信息；最后结合全局图像信息与局部图像信息，对图像质量进行预测。为了验证模型的精度和鲁棒性，以相关系数PLCC和SROCC作为评价指标，在5个主流的图像质量评价数据集和1个水下图像质量评价数据集上进行了实验，并将本文提出的方法与15种传统和基于深度学习的无参考图像质量评价方法进行了对比。实验结果表明，本文方法以较少的参数量（大约1.56 MB）在各类数据集上均取得了优越的性能，尤其在多重失真数据集LIVE-MD上将SROCC提升到了0.958，证明在复杂的失真情况下仍能准确评估图像质量，本文网络结构能满足实际应用场景。     

一种针对膝关节CT图像分割的卷积神经网络

针对现有的膝关节CT图像分割方法耗时长、精度低的问题,文中提出一种改进U-Net的卷积神经网络。首先,该网络将添加批归一化层的残差模块作为U-Net编码过程的主要单元,以增加对图像特征的提取能力,克服网络训练过程中可能产生的梯度消失和梯度爆炸问题;其次,把Attention U-Net中的注意力门加入到U-Net解码过程的前3个阶段,在尽量减少网络复杂性的同时突出模型对图像重要特征的学习;最后,该网络结合Adam一阶优化算法和Focal Loss损失函数实现膝关节CT图像的精准分割。在膝关节CT图像数据集上,Dice系数、IOU系数精度分别达到96.5%,93.4%,豪斯多夫距离减小到（3.2±1.3）mm。相比U-Net和SegNet模型,文中算法在膝关节CT图像的分割方面精度更高,网络训练时间减少,平均预测每张图像的效率也有较大提高。     

全局特征提取的全卷积网络图像语义分割算法

以全卷积神经网络为基础设计图像语义分割算法框架,设计全局特征提取模块提升高维语义特征的提取能力,引入带孔卷积算子保留图像细节并提升分割结果的分辨率。通过搭建端到端的图像语义分割算法框架进行训练,在可见光数据集上对算法框架进行性能评估,结果表明,本文方法在可见光图像上取得良好的语义分割性能和精度。本文还在不借助红外数据标注训练的情况下对红外图像进行分割,结果证明本文方法在典型红外目标如行人、车辆的分割中也有较好的表现。     

基于自监督注意和图像特征融合的文本生成图像方法

现有的层级式文本生成图像的方法在初始图像生成阶段仅使用上采样进行特征提取,上采样过程本质是卷积运算,卷积运算的局限性会造成全局信息被忽略并且远程语义无法交互。虽然已经有方法在模型中加入自注意力机制,但依然存在图像细节缺失、图像结构性错误等问题。针对上述存在的问题,提出一种基于自监督注意和图像特征融合的生成对抗网络模型SAF-GAN。将基于ContNet的自监督模块加入到初始特征生成阶段,利用注意机制进行图像特征之间的自主映射学习,通过特征的上下文关系引导动态注意矩阵,实现上下文挖掘和自注意学习的高度结合,提高低分辨率图像特征的生成效果,后续通过不同阶段网络的交替训练实现高分辨率图像的细化生成。同时加入了特征融合增强模块,通过将模型上一阶段的低分辨率特征与当前阶段的特征进行融合,生成网络可以充分利用低层特征的高语义信息和高层特征的高分辨率信息,更加保证了不同分辨率特征图的语义一致性,从而实现高分辨率的逼真的图像生成。实验结果表明,相较于基准模型（AttnGAN）,SAF-GAN模型在IS和FID指标上均有改善,在CUB数据集上的IS分数提升了0.31,FID指标降低了3.45;在COCO...     

一种改进级联U-Net网络的结肠息肉分割算法

结肠镜图像中息肉的精确分割是诊断结肠癌的关键环节,针对目前结肠息肉分割算法存在孔洞、分割粗糙以及分割不完全的问题,提出了一种改进级联U-Net结构的结肠息肉分割算法。运用特征融合思想,设计了多尺度语义嵌入模块和残差模块,充分利用深、浅层特征的语义信息。引入注意力机制,在模型的级联处构建了改进空洞卷积模块,扩大卷积感受野并增强特征捕获能力。改进了卷积层模块和分割损失函数,提升模型的泛化性和鲁棒性。在Kvasir-SEG数据集上进行实验分析,相似系数、平均交并比、召回率和准确率分别达到了90.39%、88.34%、83.62%和95.12%。实验结果表明,该文所提算法改善了分割图像内部孔洞、边缘粗糙及分割不完全的问题,优于其他息肉分割算法。     

面向毫米波雷达手势分类的RDI数据增强方法

在基于毫米波雷达的手势分类任务中,应用深度学习技术可以显著提高准确率。然而,深度学习技术对数据量的依赖性很高,当训练样本数据稀缺时容易出现过拟合问题。由于不同的毫米波雷达参数差异较大、采集数据耗时费力,基于毫米波雷达的手势数据量往往非常有限。为了解决数据量稀缺这一问题,本文提出了一种融入注意力模块的距离多普勒图自编码（Range-Doppler Image AutoEncoder with Attention Module, RDI-AEAM）数据增强方法,旨在增强毫米波雷达手势数据的RDI表征。该方法针对RDI缺乏语义信息、难以进行标注以及特征不明显的特点,构建了一个融入注意力模块的自编码网络。首先,利用自编码器进行特征提取和数据压缩,学习输入数据的分布并提取有用特征。其次,利用注意力模块专注学习通道和空间维度的特征,解决特征不明显问题,使模型能够更加集中关注重要特征。训练过程中,预定义了原始数据标签,使用最小均方误差损失函数衡量生成数据的质量,达到设定阈值时将生成数据与预定义标签相关联,而无须额外后期标注。实验先选择100%训练集进行增强,相比仅使用原始训练集进行训练的结果,数据增...