基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。     

基于注意力机制的遥感图像语义分割研究

遥感图像的语义分割是图像分割领域的一个重大分支,在城市规划、城乡变化检测以及地理信息等方面有十分广阔的应用,然而由于遥感图像中包含的道路地物等尺度差别大、目标背景分散、背景复杂、边界复杂等特点,精确分割遥感图像是一项具有挑战性的任务。针对这一问题,文章提出了一种基于通道注意力机制的SEU-Net网络,在U-Net网络的基础上引入SE通道注意力模块,利用空洞卷积来提升网络的解析能力,从而提高遥感图像的分割精度,在Massachusetts Roads数据集上表明SEU-Net结构的性能要优于U-Net算法。     

基于双注意力机制图像分割模型的研究

本文研究的图像语义分割是计算机视觉研究的重要部分,为提高场景图像语义分割的准确率,且考虑到基于全卷积神经网络的双重语义分割模型(Dual-Attention)存在边缘分割不均匀、正负样本不平衡的问题。本文采用边缘模块,增强边缘分割能力并且优化图像的边缘细节;采用一种基于样本距离的损失函数,来调节正负样本。在场景cityscapes数据集上进行了实验与验证,结果表明改进之后的模型单尺度平均交并比(MIoU)相比原算法相对提高2.96%。它能够更加精细地分割目标,较好地解决分割边界不精细,有效地抑制边界区域分割的不均匀问题。     

基于注意力机制和Inf-Net的新冠肺炎图像分割方法

新型冠状病毒肺炎肆虐全球,严重影响了人类社会的生活和健康。CT影像技术是检测新冠肺炎的重要诊断方式,从CT图像中自动准确分割出新冠肺炎病灶区域,对于诊断、治疗和预后都有重要意义。针对新冠肺炎病灶的自动分割,文中提出基于Inf-Net算法改进的自动分割方法,通过引入通道注意力机制加强特征表示,并运用注意力门模块来更好地融合边缘信息。在COVID-19 CT分割数据集上的实验结果表明,文中所提出新冠肺炎图像分割方法的Dice系数、灵敏度、特异率分别为75.1%、75.4%和95.4%,算法性能也优于部分主流方法。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

基于逆注意力机制和像素相似度学习的图像分割

针对图像语义分割中目标边界容易混淆、定位不准以及边界不平滑问题,在Deeplab v2 Resnet-101网络的基础上引入提出的逆注意层与像素相似度学习层,构造了一种新的语义分割的网络结构,并设计了注意力层和像素相似度学习层的损失函数。首先,使用Deeplab v2 Resnet-101网络提取图像语义特征;然后,利用提出的逆注意力层修正预测网络的分割结果,同时,利用提出的像素相似度学习层解决边界不够平滑的问题;最后融合两者分割的结果,得到语义分割的结果。在PASCAL-Context上取得了像素准确度76.2%、像素平均准确度59.7%、平均IoU(Intersection over Union)准确度指标49.9%的结果,在PASCAL Person-Part、NYUDv2、MIT ADE20K数据集上分别取得了平均IoU准确度指标69.6%、42.1%、44.38%的结果,与已有的主流方法相比,所提算法能够提升语义分割的精确度,验证了算法的有效性。     

基于注意力机制的脑肿瘤分割算法研究

文章针对形状复杂、边界模糊的脑肿瘤难以实现精确分割的问题,提出一种基于卷积注意力机制和Transformer多头注意力机制的U型分割网络。文章首先设计了基于通道注意力和空间注意力的卷积模块,提高了模块对局部关键特征的提取能力;其次使用一种结构更精简的Transformer模块作为网络的瓶颈层,利用其多头注意力机制对全局特征进行充分感知;最后在BraTS 2021数据集上进行了实验。实验结果表明文章算法在增强肿瘤区域、肿瘤核心区域和整个肿瘤区域的Dice系数评分分别为87.51%,90.69%和93.47%,可以有效提高脑肿瘤分割精度。     

基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。     

基于特征融合与自注意力机制的图像语义分割算法

提出了一种基于特征融合与自注意力机制的图像语义分割方法,设计了特征融合模块、自注意力模块、增强模块、全局空间信息融合模块和损失函数。特征融合模块融合多个图像的所有组件,通过自注意力机制来执行。自注意力模块从而有效地捕获远程上下文信息。增强模块旨在增强输入图像以获得更多样化的特征。全局空间信息注意模块相对于图像尺寸只有线性的复杂度,能够带来显著的提升效果。利用损失函数,对模型进行优化,将每个像素的分类结果优化到最接近真实值。实验结果表明,所提出的方法可以显著提高PASCAL VOC 2012数据集、COCO-Stuff 10K数据集和ISIC 2018数据集这3个数据集的性能,并在3个数据集上进行了验证,实验还通过对自注意力、推理速度和消融实验进行比较,验证了本文方法的优越性。     

融合注意力机制的金属缺陷图像分割方法

由于金属表面缺陷图像的特性,有效精确分割是图像处理任务中的一大挑战.为了获得缺陷的类型、大小及位置信息,本文提出一种融合注意力机制的金属缺陷图像分割网络.该网络分为两条路径,语义信息路径主要由残差块构成的卷积网络获得特征图,采样过程中分步融合注意力机制以增强特征与背景对比度.旁路路径设计注意力机制模块获得位置信息的权重...     

基于注意力机制的全景分割网络

针对全景分割的背景类实例重叠问题,提出了一种基于注意力机制的全景分割网络(Attention-guided Panoptic Segmentation Network,APSNet)。APSNet基于UPSNet网络进行改进.首先,在残差网络和特征金字塔之间添加一种可以同时在空间注意力和通道注意力上建模的三重态注意力机制,通过学习通道和空间特征信息,增强特征金字塔的特征提取能力;其次,在语义分割部分中,添加一种语义增强注意力机制,通过聚合多层次特征和学习空间特征信息,提升语义分割对于背景和前景的分割效果.对比实验表明,APSNet的全景质量提升了0.8%,实例级全景质量提升了2.7%,同时可以在一定程度上降低全景融合时实例分割与语义分割所发生背景类实例重叠的概率.     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

基于注意力机制与神经架构搜索的实时语义分割网络

在实时语义分割的传统应用中,往往会为了加快模型推断的速度而遗失一些重要的低级细节和高级语义特征,尽管目前推出的许多方法可以使延迟和精度2个指标保证一定平衡,但在特征处理上却未实现对细节信息的高效提取以及聚合。在速度方面,算力开销巨大的分割模型往往在图像分割的实时帧率上差强人意,为解决此问题设计出了一种使语义分割网络能够在低延迟的环境要求下实现高效像素分割的改进结构,先是通过神经架构搜索和自适应注意力机制集成多分辨率搜索分支架构生成师生网络分支,然后用师生蒸馏网络得到具备低延迟和高精度的轻量级网络模型。既可以在硬件资源约束的情况下完成对复杂环境的实时任务处理,也能在Cityspaces数据集上展现出优良的准确率,测试集的分割精度达到了72.2%。     

一种基于CA-Net的脑肿瘤磁共振图像分割算法

磁共振影像是脑肿瘤疾病中常用的诊断工具,临床上的量化分析需要对影像结果进行分割得到肿瘤区域,但手动分割十分耗时且高度依赖于医生的临床经验。为此,本文提出一种基于深度学习的脑磁共振图像分割算法,解决了原网络无法有效提取关键特征的问题。该算法使用改进的有限对比度自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization, CHALE)算法,对脑肿瘤磁共振影像进行图像增强后,将结果输入CA-Net网络对数据集初步分割,并将全注意力算法和U-net骨架结构结合(包括空间、通道和尺度注意力模块),实现对不同尺度的空间和通道的特征转换连接。模型应用混合损失函数提高分割精度。初步分割的结果可通过后处理进一步提高精度,得到最终的肿瘤区域。初步分割结果中,Dice指标可以达到88.40(±0.24)%,结合图像处理提高至89.21(±0.36)%,分割精度相较于其它算法有明显提高。     

分组双注意力语义分割网络

深度学习和自注意力机制的应用,使语义分割网络的性能得到了大幅提升.针对目前自注意力机制将每个像素的所有通道看作一个向量进行计算的粗糙性,基于空间维度和通道维度提出了一种分组双注意力网络.首先,将特征层分成多组;然后,自适应过滤掉每组特征层的无效基组,从而捕获精确的上下文信息;最后,将多组加权后的信息进行融合,获得较强的上下文信息.实验结果表明,本网络在两个数据集上的分割性能均优于双注意力网络,在PASCAL VOC2012验证集上的分割精度为85.6％,在Cityscapes验证集上的分割精度为71.7％.     

基于DeepLabV3+与注意力机制相结合的图像语义分割

基于DeepLabV3+进行图像分割时,在特征提取阶段忽略了不同级别的特征图中存在的特征重要程度不同,丢失了大量的细节信息,致使分割效果不佳.针对该问题,提出了一种基于DeepLabV3+与注意力机制相结合的图像语义分割算法.在骨干网络Xception模型中提取两条低级特征作为解码器的输入特征,提高特征提取的准确性;采...