基于注意力机制的脑肿瘤分割算法研究

文章针对形状复杂、边界模糊的脑肿瘤难以实现精确分割的问题,提出一种基于卷积注意力机制和Transformer多头注意力机制的U型分割网络。文章首先设计了基于通道注意力和空间注意力的卷积模块,提高了模块对局部关键特征的提取能力;其次使用一种结构更精简的Transformer模块作为网络的瓶颈层,利用其多头注意力机制对全局特征进行充分感知;最后在BraTS 2021数据集上进行了实验。实验结果表明文章算法在增强肿瘤区域、肿瘤核心区域和整个肿瘤区域的Dice系数评分分别为87.51%,90.69%和93.47%,可以有效提高脑肿瘤分割精度。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

基于多模态图像信息的变电设备红外分割方法

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果,针对复杂红外背景下变电设备分割精度低的问题,提出了一种融合可见光和红外图像的多模态路径聚合网络（Multimodal Path Aggregation Network, MPAN）。首先提取并融合两种模态图像的特征,考虑到两种模态图像的特征空间存在差异,提出了自适应特征融合模块（Adaptive Feature Fuse Module, AFFM）,以充分融合两种模态特征;对具有多尺度特征的主干网络增加自底向上的金字塔网络,并对横向连接的路径增强模块引入自注意力机制;最后使用dice系数优化掩膜损失函数。实验结果表明,多模态图像的融合能够增强分割性能,且验证了提出各模块的有效性,该模型能够显著提高红外图像中变电设备实例分割的准确率。     

基于多模态图像信息的变电设备红外分割方法

无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果，针对复杂红外背景下变电设备分割精度低的问题，提出了一种融合可见光和红外图像的多模态路径聚合网络（Multimodal Path Aggregation Network, MPAN）。首先提取并融合两种模态图像的特征，考虑到两种模态图像的特征空间存在差异，提出了自适应特征融合模块（Adaptive Feature Fuse Module, AFFM），以充分融合两种模态特征；对具有多尺度特征的主干网络增加自底向上的金字塔网络，并对横向连接的路径增强模块引入自注意力机制；最后使用dice系数优化掩膜损失函数。实验结果表明，多模态图像的融合能够增强分割性能，且验证了提出各模块的有效性，该模型能够显著提高红外图像中变电设备实例分割的准确率。     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。      

基于多模态双向导向注意的视觉问答

针对视觉问答(VQA)任务中现存深度协同注意模型只考虑问题引导图像的单向注意方式,导致多模态学习交互性不足的问题,提出一种多模态双向导向注意力网络.该网络由多模态特征提取模块、双向导向注意力模块、特征融合模块以及分类器组成.将提取出的图像和问题特征分别经过层层注意后输出加权的注意特征;经过特征线性融合后送入softma...     

面向医学图像分割的U型Transformer模型

为了更加准确地根据医学图像进行医学类疾病诊断,可采用U型结构的全卷积神经网络模型对医学图像进行分割,并且可在分割的过程中,引入空间注意力机制和通道注意力机制,分别从空间维度和通道维度提取输入特征图的重要信息和抑制非重要信息。根据该思想,设计了一种基于通道和空间注意力机制的U型Transformer模型（SC U-Transformer）。SC U-Transformer包含编码和解码过程,编码过程使用Swin-Transformer作为编码器,提取上下文特征并实现下采样;解码过程使用包含扩展图像块的对称Swin-Transformer模型,并添加空间注意力模块和通道注意力模块,分别使模型更加关注前景和相关联的特征通道。根据ACDC数据集的实验结果表明,SC U-Transformer能有效提高医学图像分割的准确率。     

基于改进3D U-Net的多模态脑肿瘤分割算法

针对脑部肿瘤分割任务中存在的多模态信息利用率不高,训练样本数据少导致分割结构精度不高的问题,提出了一种以3D U-Net模型为基础,融合变分自编码器（VAE）和注意力模型的分割模型VAE U-Net,实现多模态脑肿瘤MRI图像的自动分割。所提方法在Brats2020数据集上进行实验,在测试集上的整体肿瘤、核心肿瘤以及增强核心区的分割Dice系数分别为81.44、90.82和89.43,相较于原始的3DU-Net提高了2.03、1.05和2.38个百分点。     

基于改进的注意力机制残差网络穴盘幼苗分类算法研究

针对SENet的通道注意力机制特征提取单一和分割的幼苗数据集图片存在部分缺失的难点问题,设计了一种基于双通道注意力机制的残差网络。该网络融合通道注意力机制和空间注意力机制模块,可同时获得通道和空间维度特征权重,提升网络的特征学习能力。提出了一种随机擦除方法,来解决分割样本数据中目标部分缺失的难点问题。在自制的穴盘幼苗Plant＿seed数据集上的实验结果表明,在ResNet34残差模块和conv^*＿x模块之间均引入注意力机制模块的改进网络ResNet34+CBAM＿basic＿conv的准确率最优,达到93.8%,同时对数据集部分图片进行随机擦除后,模型分类的错误率下降,验证了所提方法的优异性能。     

MCA-Net:多尺度综合注意力CNN在医学图像分割中的应用

医学图像自动分割技术具有辅助临床医学诊断的功能.为改善CNN模型在医学图像分割中存在感受野小及细节特征不敏感等问题,基于多尺度策略以及注意力机制,提出一种多尺度综合注意力的U形网络架构,以提升医学图像分割质量.首先,提出一个新的双路径因式分解多尺度融合块,以扩展图像特征的感受野,进一步提取图像特征的细节信息.其次,在架构中融入通道和空间融合自注意力块,利用注意力机制的特性,抑制不相关的部分或背景以突显深层特征的空间信息.最后,引入多尺度注意力块.该模块通过融合多个尺度的特征信息,以突出不同尺度中最显著的特征图来适应当前分割对象的大小.为验证模型的可靠性,将所提出的网络模型应用于肺部、细胞轮廓及肝脏等医学图像分割任务.实验结果表明,所提方法在准确率、Dice系数、AUC及灵敏度等评估指标上均优于目前用于医学图像分割的主流方法.     

基于类特征注意力机制融合的语义分割算法

针对DeepLabv3+模型对图像目标边缘分割不准确、不同类目标分割不一致等问题，提出一种基于类特征注意力机制融合的语义分割算法。该算法在DeepLabv3+模型编码端先设计一个类特征注意力模块增强类别间的相关性，更好地提取和处理不同类别的语义信息。然后采用多级并行的空间金字塔池化结构增强空间之间的相关性，更好地提取图像不同尺度的上下文信息。最后在解码端利用通道注意力模块的特性对多层融合特征重新校准，抑制冗余信息，加强显著特征来提高网络的表征能力。在Pascal Voc2012和Cityscapes数据集上对改进模型进行了有效性和泛化性实验，平均交并比分别达到了81.34%和76.27%，使图像边缘分割更细致，类别更清晰，显著优于本文对比算法。     

一种改进的高分辨率遥感图像语义分割模型

本文针对高分辨率遥感图像的特点,设计了一种端到端的语义分割网络结构模型,高分辨率遥感图像可得到两种图像数据,采用resnet网络对两种图像的特征分别进行提取,并在不同的特征层上进行数据融合,在网络结构的设计中引入了空间位置注意力模块和通道注意力模块,并对底层特征使用不同扩张率的空洞卷积神经网络进行多尺度融合,得到一种新的高分辨率遥感图像语义分割模型,通过对最终的预测性能分析,相比FCN、Unet、Segnet、DeeplabV3+等流行的语义分割模型,该模型在高分辨率遥感图像的预测中具有一定的优势。     

融合Transfomer和多尺度并行注意的结直肠息肉分割算法

针对结直肠息肉图像中病灶区域尺度变化大、形状不规则和边界不清晰等复杂特点导致息肉分割精度低、分割边界存在伪影的问题,提出了一种融合Transfomer和多尺度并行注意网络(Fusion of Transfomer and Multiscale Parallel Attention Networks, FTMPA-Net)的结直肠息肉分割算法。选用HarDNet逐层提取语义信息和空间细节,采用多尺度感受场模块(Multiscale Receptive Field Block, RFB)捕获不同感受野下的特征信息,串入高效通道注意力机制提取空间、通道特征的相关性信息,以抑制背景颜色的响应;通过并行解码模块逐层聚合由高效通道注意力机制得到的增强特征图,并生成初始预测分割图用于后续深层监督;提出高效多头注意力机制(Efficient Multi-Head Self-Attention Module, EMHSA)来进一步细化边缘信息,构建区域与边界之间的联系,以提高其分割性能。在CVC-ClinicDB数据集和Kvasir-SEG数据集上对该算法进行测试,平均相似性系数分别为95.58%和92...     

基于多尺度轮廓增强的RGB-IR双波段图像语义分割算法北大核心CSCD

语义分割被广泛应用于机器人、医学成像和自动驾驶等领域,但当前语义分割主要针对可见光图像。可见光图像在光照不足或天气差的情况下成像效果较差,而红外图像受光照影响较小。因此,将可见光图像和红外图像联合使用可以有效提升模型的鲁棒性。本文针对可见光/红外(RGB-IR)双波段图像语义分割任务中目标轮廓预测不准确的问题,提出一种基于多尺度轮廓增强的双波段语义分割算法。首先,本文提出一种新的位置和通道注意力模块EEFM,基于该模块可以高效地对多个尺度的融合特征分别进行轮廓预测。其次,本文将多尺度的预测结果用于对轮廓特征进行由高分辨率至低分辨率的逐步增强。最后,本文还提出了一种新的位置和通道注意力模块SAC对融合图像特征进行增强,以最终获得更准确的分割结果。实验在一个公开RGB-IR数据集以及一个自建数据集上进行,本文所提出的模型使用较小的参数量在公开数据库上取得了57.2的分割精度,综合性能达到了最高水平。同时,消融实验也验证了所提出的各模块的有效性。     

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

一种多层多模态语义空间的注意力标注算法改进研究

针对图像标注和注意力机制结合过程中特征不充分性和预测过程中特征权重不足性,提出了一种多层多模态语义空间的图像注意力标注方法.通过多层多模态公共语义空间对文本和图像改进网络,从基于文本的语言模型中利用多层的深度卷积神经网络特征提取上下文和句子;利用非线性特征图视觉映射到各层的文本和句子中获得多个公共语义空间实例,其中所有...     

基于多模态特征融合监督的RGB-D图像显著性检测

RGB-D图像显著性检测是在一组成对的RGB和Depth图中识别出视觉上最显著突出的目标区域。已有的双流网络,同等对待多模态的RGB和Depth图像数据,在提取特征方面几乎一致。然而,低层的Depth特征存在较大噪声,不能很好地表征图像特征。因此,该文提出一种多模态特征融合监督的RGB-D图像显著性检测网络,通过两个独立流分别学习RGB和Depth数据,使用双流侧边监督模块分别获取网络各层基于RGB和Depth特征的显著图,然后采用多模态特征融合模块来融合后3层RGB和Depth高维信息生成高层显著预测结果。网络从第1层至第5层逐步生成RGB和Depth各模态特征,然后从第5层到第3层,利用高层指导低层的方式产生多模态融合特征,接着从第2层到第1层,利用第3层产生的融合特征去逐步地优化前两层的RGB特征,最终输出既包含RGB低层信息又融合RGB-D高层多模态信息的显著图。在3个公开数据集上的实验表明,该文所提网络因为使用了双流侧边监督模块和多模态特征融合模块,其性能优于目前主流的RGB-D显著性检测模型,具有较强的鲁棒性。     

基于RCBA模型的多模态讽刺识别

目前,大多数讽刺识别模型都是针对文本数据进行研究,推文中包含的图像数据未得到有效利用,导致讽刺识别任务准确度不高.针对这一问题,提出一种结合注意力机制的联合神经网络模型RCBA,用于图文混合的多模态讽刺识别任务.RCBA模型首先利用结合空间注意力机制和通道注意力机制的深度残差网络(ResNet101)进行图像特征自适应...     

Rep-YOLOv8车辆行人检测分割算法

车辆行人检测分割在自动驾驶、智能交通管理等场景广泛应用,但如何提高车辆行人识别精度以及处理分割不均匀等问题一直是项挑战。针对上述问题,文中提出一种YOLOv8的改进算法,该算法采用RepECA作为骨干网络,此骨干网络使用RepVGG模块代替原骨干网络的卷积层,并融合ECA注意力机制对图像进行特征提取,其中RepVGG模块在检测时转变多分支结构为单路径结构,不损失训练精度的同时提升执行效率,ECA注意力机制针对通道维度的注意力加权机制,通过学习通道之间的相关性,自适应地调整通道的权重,增加少量模型参数却带来大的性能提升;在C2f模块中,改进算法加入了eSE自注意力模块,避免因为通道数减少造成的通道信息损失,进一步提高模型精度。实验结果表明,使用Cityscapes数据集训练,Rep-YOLOv8算法在检测与分割任务的mAP@0.5指标分别达到85.4%和75.5%,与原YOLOv8相比分别提升了13.4%和16%,推理速度从65 f/s提升至83 f/s。     

基于特征融合与自注意力机制的图像语义分割算法

提出了一种基于特征融合与自注意力机制的图像语义分割方法,设计了特征融合模块、自注意力模块、增强模块、全局空间信息融合模块和损失函数。特征融合模块融合多个图像的所有组件,通过自注意力机制来执行。自注意力模块从而有效地捕获远程上下文信息。增强模块旨在增强输入图像以获得更多样化的特征。全局空间信息注意模块相对于图像尺寸只有线性的复杂度,能够带来显著的提升效果。利用损失函数,对模型进行优化,将每个像素的分类结果优化到最接近真实值。实验结果表明,所提出的方法可以显著提高PASCAL VOC 2012数据集、COCO-Stuff 10K数据集和ISIC 2018数据集这3个数据集的性能,并在3个数据集上进行了验证,实验还通过对自注意力、推理速度和消融实验进行比较,验证了本文方法的优越性。