基于注意力机制特征融合与增强的自然场景文本检测

为了解决自然场景文本检测中由于文本实例分布随机、形态与尺度多样造成的检测难题,设计了一种基于注意力机制特征融合与增强的自然场景文本检测算法。利用注意力机制对有效特征提取的优势,在模型的解码融合阶段设计并引入了一种基于注意力的特征融合模块(Attention-based Feature Fusion Module, AFFM),利用空间和通道注意力分别为高层特征和低层特征引入更丰富的细节和全局信息,进一步提高了检测的准确率;设计了联合注意力特征增强模块(Joint Attention Feature Enhancement Module, JAM),利用卷积对级联后的特征在不同通道之间、空间位置间的联系建模,并生成联合特征权重mask对级联特征做加权,从而提高信息的表征能力,有效减少误检与漏检。在Total-Text和ICDAR2015两个数据集上对模型做评估,测试结果表明,该方法的F1综合指标分别达到了85.1%和87.6%,均优于当前主流算法。     

基于多尺度及双注意力机制的小尺寸人群计数

本文针对背景干扰、特征信息不足以及尺度剧烈变化等问题,提出了一种基于多尺度及双注意力机制(Multi-Scale and Dual Attention,MSDA)的小尺寸人群计数网络.MSDA网络主要由空间一通道双注意力(Spatial Channel-dual Attention,SCA)模块和多尺度特征融合(Multi-scale Feature Fusion,MFF)模块构成.MFF模块将特征送入三列拥有不同卷积核的膨胀卷积来扩大小目标的空间尺度,再通过特征级联及卷积操作进行多尺度特征融合;SCA模块把特征送入通道注意力网络,使用空间注意力中的池化操作及逐像素相乘操作加强细节信息;最后将处理好的特征送入密度图生成模块,通过1 x 1卷积获得密度图.在Mall数据集和Shanghaitech数据集上进行了测试,取得了较好的准确率与鲁棒性.     

基于注意力机制特征融合网络的SAR图像飞机目标快速检测

针对合成孔径雷达(Synthetic Aperture Radar,SAR)图像中飞机目标散射点离散化程度高,周围背景干扰复杂,现有算法对飞机浅层语义特征表征能力弱等问题,本文提出了基于注意力特征融合网络(Attention Feature Fu-sion Network,AFFN)的SAR图像飞机目标检测算法.通过引入瓶颈注意力模块(Bottleneck Attention Module,BAM),本文在AFFN中构建了包含注意力双向特征融合模块(Attention Bidirectional Feature Fusion Module,ABFFM)与注意力传输连接模块(Attention Transfer Connection Block,ATCB)的注意力特征融合策略并合理优化了网络结构,提升了算法对飞机离散化散射点浅层语义特征的提取与判别.基于自建的Gaofen-3与TerraSAR-X卫星图像混合飞机目标实测数据集,实验对AFFN与基于深度学习的通用目标检测以及SAR图像特定目标检测算法进行了比较,其结果验证了AFFN对SAR图像飞机目标检测的准确性与高效性.     

基于改进特征金字塔网络和注意力机制的场景文本检测

本文提出了基于可切换空洞卷积与注意力导向的特征金字塔网络（SwitchableDilatedConvolutionsand Attention-guidedFPN,SDA-FPN）模型,通过加入不同空洞率的可切换空洞卷积使模型能够根据任务选择不同感受野的特征图;引入注意力导向模块（Attention-guideModule,AM）增强特征语义信息且减少空洞卷积对文本边界信息的破坏。针对各尺度特征融合不充分导致语义信息丢失,提出了特征增强融合模块（FeatureEnhancementFusionModule,FEFM）,通过结合注意力机制增强模型对尺度、空间、任务的感知能力。该方法在公开数据集ICDAR2015取得了较好的检测结果,且召回率有明显的提升。     

融合细节特征与混合注意力机制的火灾烟雾检测

针对卷积神经网络高层特征图中细节特征被削弱造成烟雾图像底层特征丢失的问题,提出一种融合细节特征与混合注意力机制的YOLOv4改进算法。设计了细节特征融合模块,将主干网络中的底层细节特征引入高层特征图,得到具有丰富多尺度信息的融合特征。在通道和空间维度上采用混合注意力机制对融合特征的图权重进行重新赋值,在增强烟雾目标特征的同时抑制无关区域特征,使烟雾特征表达具有更好的鲁棒性。实验结果表明,本文算法的平均精确率、精确率和召回率相比YOLOv4算法分别提高了4.31%,1.21%,9.86%,同时保持了较快的检测速度。本文算法能够有效提取烟雾目标的整体特征,对于复杂背景下的火灾烟雾检测任务更为适用。     

基于双重注意力和多尺度特征融合的场景文本检测算法

本文提出了一种场景文本检测方法,用于应对复杂自然场景中文本检测的挑战。该方法采用了双重注意力和多尺度特征融合的策略,通过双重注意力融合机制增强了文本特征通道之间的关联性,提升了整体检测性能。在考虑到深层特征图上下采样可能引发的语义信息损失的基础上,提出了空洞卷积多尺度特征融合金字塔(dilated convolution multi-scale feature fusion pyramid structure, MFPN),它采用双融合机制来增强语义特征,有助于加强语义特征,克服尺度变化的影响。针对不同密度信息融合引发的语义冲突和多尺度特征表达受限问题,创新性地引入了多尺度特征融合模块(multi-scale feature fusion module, MFFM)。此外,针对容易被冲突信息掩盖的小文本问题,引入了特征细化模块(feature refinement module, FRM)。实验表明,本文的方法对复杂场景中文本检测有效,其F值在CTW1500、ICDAR2015和Total-Text 3个数据集上分别达到了85.6%、87.1%和86.3%。     

适用于图像超分辨率的多路径融合增强网络

卷积神经网络（Convolutional Neural Network, CNN）在单幅图像的超分辨率重建方面表现出了非常强大的能力,相比传统方法有着明显的改进。然而,尽管这些方法非常成功,但是由于需要大量的计算资源,直接应用于一些边缘设备并不现实。为了解决该问题,设计了一种轻量级的图像超分辨率重建网络——多路径融合增强网络（Multi-path Fusion Enhancement Network, MFEN）。具体来说,提出了一个新颖的融合注意力增强模块（Fusion Attention Enhancement Block, FAEB）作为多路径融合增强网络的主要构建模块。融合注意力增强模块由一条主干分支和两条层级分支构成：主干分支由堆叠的增强像素注意力模块组成,负责对特征图实现深度特征学习;层级分支则负责提取并融合不同大小感受野的特征图,从而实现多尺度特征学习。层级分支的融合方式则是以相邻的增强像素注意力模块输出为分支输入,通过自适应注意力模块（Self-Adaptive Attention Module, SAAM）来动态地增强不同大小感受野特征的融合程度,进一步补全特征信息,...     

基于双重注意力融合和空洞残差特征增强的场景文本检测

针对自然场景中任意形状文本容易漏检、错检的问题,提出了一种基于双重注意力融合和空洞残差特征增强的场景文本检测方法.为了增强文本特征通道之间的潜在联系,提出了双重注意力融合(DAF)模块,采用双向特征金字塔与双重注意力融合模块相结合的方式进行多层的特征融合;另外针对深层特征图在降维的过程中可能造成语义丢失的现象,提出了空...     

一种基于SAM-MSFF网络的低照度目标检测方法

由于低照度图像具有对比度低、细节丢失严重、噪声大等缺点,现有的目标检测算法对低照度图像的检测效果不理想.为此,本文提出一种结合空间感知注意力机制和多尺度特征融合（Spatial-aware Attention Mechanism and Multi-Scale Feature Fusion,SAM-MSFF）的低照度目标检测方法 .该方法首先通过多尺度交互内存金字塔融合多尺度特征,增强低照度图像特征中的有效信息,并设置内存向量存储样本的特征,捕获样本之间的潜在关联性;然后,引入空间感知注意力机制获取特征在空间域的长距离上下文信息和局部信息,从而增强低照度图像中的目标特征,抑制背景信息和噪声的干扰;最后,利用多感受野增强模块扩张特征的感受野,对具有不同感受野的特征进行分组重加权计算,使检测网络根据输入的多尺度信息自适应地调整感受野的大小.在ExDark数据集上进行实验,本文方法的平均精度（mean Average Precision,mAP）达到77.04%,比现有的主流目标检测方法提高2.6%～14.34%.     

面向自然场景的中文文本检测

随着深度学习的发展,自然场景的文本检测取得了进步,但多方向和弯曲中文文本检测效果仍不理想.针对多方向和弯曲中文文本的检测问题,提出一种融合注意力机制的多尺度文本检测方法.为了平衡模型准确性和降低计算复杂度,采用轻量级Resnet18为主干网络.针对特征金字塔(FPN)提取的特征分布不确定性的问题,嵌入平衡注意力机制(B...     

基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

基于特征融合与通道注意力的目标检测研究

目标检测作为计算机视觉领域的重要研究分支，受到了广泛关注。目前，特征融合已成为提高目标检测准确率的重要方法，基于特征金字塔网络（FPN）的特征融合方法结合了多维度感受野来弥补信息丢失的思想，改进了FPN，并取得了良好的效果。在众多以FPN为基础结构的特征金字塔模型中，BiFPN既包含了级联信息传递，也包含了跨层特征融合，DyFPN包含了多感受野Inception模块，也包含了动态门机制。受BiFPN和DyFPN的启发，文中提出了一种新的基于FPN且包含注意力机制的特征金字塔网络结构——CAI-BiFPN。CAI-BiFPN沿用了Inception-FPN的思想，在BiFPN的基础上加入了Inception模块，并引入了通道注意力和SE模块。该结构应用了BiFPN的分支注意力与SE模块的通道注意力，将Inception模块放置于BiFPN第4层和第6层，SE模块则放置在BiFPN的第5层。通过一系列简单的改进，相较于BiFPN，CAI-BiFPN的AP_s和AP_l提升了0.7个百分点，AP从31.0%提升到31.3%，提升了0.3个百分点。     

基于实景数据增强和双路径融合网络的实时街景语义分割算法

街景图像的分割在工业运用中具有十分重要的作用,但是街景图像具有种类繁多、光照多变等特点,此外,街景分割任务在追求准确性的同时要兼顾实时性,以上特点使得该任务具有很大的挑战性.本文针对这一挑战性任务提出了一个由空间路径和细节路径组成的双路径网络（Dual-path Fusion Network,DFNet）,其中细节路径利用高分辨率的输入得到丰富的边界信息,空间路径利用细节路径产生的高质量特征图获得足够多的语义信息;网络的开始嵌入了一个可训练的图像预处理模块（Image Preprocessing Module,IPM）,该模块可以使光照不同的图像进入网络正式训练之前在RGB通道上具有方差和均值的一致性;经过预处理模块之后的特征图会分别输入到细节路径和空间路径;本文提出了一个条状注意力细化模块（Attention Refinement Module,ARM）,并将其放到空间路径的最后,可以将通道级信息和局部条状信息有效结合起来;在网络的最后,利用图像融合模块（Feature Fusion Module,FFM）对两条路径的特征信息进行融合,得到最后的分割结果 .同时,本文还提出了一种基于...     

基于YOLOv8s改进的小目标检测算法

针对目标检测任务中小目标尺寸较小、背景复杂、特征提取能力不足、漏检和误检严重等问题,提出了一种基于YOLOv8s改进的小目标检测算法——Improved-v8s。Improved-v8s算法重新设计了特征提取和特征融合网络,优化检测层架构,增强浅层信息和深层信息的融合,提高了小目标的感知和捕获能力;在特征提取网络中使用部分卷积(Partial Convolution, PConv)和高效多尺度注意力(Efficient Multi-scale Attention, EMA)机制构建全新的F＿C₂f＿EMA,在降低网络参数量和计算量的同时,通过通道重塑和维度分组最大化保留小目标的特征信息;为了更好地匹配小目标的尺度,优化调整SPPCSPC池化核的尺寸,同时引入无参注意力机制(Simple-parameter-free Attention Module, SimAM),加强复杂背景下小目标特征提取;在Neck部分使用轻量级上采样模块——CARAFE,通过特征重组和特征扩张保留更多的细节信息;引入了全局注意力机制(Global Attention Mechanism, ...     

多注意力机制下自愈人脸表情识别

人脸表情识别技术在社会生活、刑事侦探等领域中具有重要应用价值和广阔应用前景.现有方法对表情特征提取不充分,使得高维特征易丢失局部关键信息;同时在复杂背景下表情的二义性导致网络泛化能力弱.为解决这些问题,本文提出一种多注意力机制下自愈网络(Multiple Attention Self Curing Network,MASCNet).该网络生成带有注意力权重的多尺度特征,通过融合不同尺度特征,提高网络模型在细粒度下对局部关键信息的表征能力.自注意力机制模块为融合后的特征分配重要性权重,约束不确定性样本在网络训练中所占比重,提高网络的泛化能力.本文方法在FER2013和RAF-DB数据集上的最高的识别正确率分别为74.21%和88.74%.实验结果表明该方法能有效识别人脸表情,优于现有MHBP、AHBRPN等主流方法.     

融合卷积注意力机制与深度残差网络的遥感图像分类

针对遥感影像场景数据空间信息丰富,冗余地理特征干扰深度神经网络模型的问题,提出在深度残差网络中引入卷积注意力机制(Convolutional Block Attention Module,CBAM)的策略.为验证深度残差网络引入CBAM的有效性,用经典深度残差网络ResNet50和融合注意力机制的深度残差网络CBAM_...     

基于多尺度融合注意力机制的人脸表情识别研究

针对传统卷积神经网络在表情特征提取阶段容易丢失大量有用信息,无法提取到高判别性表情特征,从而导致表情识别率低的问题,提出一种基于多尺度特征融合注意力机制的人脸表情识别方法.首先,采用VGGNet16来提取卷积特征.为了避免表情特征信息的丢失,将网络中不同层次卷积层的输出特征图进行多尺度特征融合,引入上下文信息的同时提取...     

基于Bert-GNNs异质图注意力网络的早期谣言检测

网络谣言的广泛传播已经造成了很大的社会危害,因此早期谣言检测任务已成为重要的研究热点.现有谣言检测方法主要从文本内容、用户配置和传播结构中挖掘相关特征,但没有同时利用到文本全局语义关系和局部上下文语义关系.为了克服以上局限性,充分利用到谣言数据中的文本全局-局部上下文语义关系、文本语义内容特征和推文传播的结构特征,本文提出了一种基于Bert-GNNs异质图注意力网络的早期谣言检测算法（Bert-GNNs Heterogeneous Graph Attention Network,BGHGAN）.该方法根据历史谣言集和用户特征构建一个推文-词-用户异质图,通过采用预训练语言模型Bert和图卷积神经网络（Graph Convolutional Network,GCN）结合的方法进行特征学习,以挖掘谣言的文本语义特征和文本之间的关系,并将异质图分解为推文-词子图和推文-用户子图,采用图注意力网络（Graph Attention network,GAT）的方式分别进行特征学习,从而更充分利用文本全局-局部上下文语义关系和传播图的全局结构关系以加强特征表达;最后,通过子图级注意力机制将不同模块的...     

基于LFN的自然场景文本检测

在自然场景文本检测领域,现有的深度学习网络仍存在文本误检、漏检、定位不准确的情况.针对这一问题,本文设计出一种基于大感受野特征网络(Large Receptive Field Feature Network,LFN)的文本检测算法.首先选取速度和准确度更好的轻量级主干网络ShuffleNet V2,并加入细粒度特征融合模块以获取更多隐藏的文本特征信息;再通过分析不同尺度的特征图感受野不同,并对比不同尺度的特征图进行归一化后得到的特征图尺寸对结果的影响,构造了双融合特征提取模块,对输入图像提取多尺度特征以减少文本特征丢失,增大感受野;最后为处理正负样本失衡的问题,在可微二值化模块中引入Dice Loss,增加文本定位的准确度.在ICDAR2015和CTW1500数据集上的实验表明,该网络无论是在性能还是速度上对文本检测效果都有显著提升.其中在ICDAR2015数据集上F1为86.1%,较性能最优的PSENet网络提升了0.4%,速度达到了50 fps,较速度最快的DBNet网络提升了约1.92倍,在CTW1500数据集上F1为83.2%,较PSENet网络提升了1%,速度达到了35 fp...     

融合Transfomer和多尺度并行注意的结直肠息肉分割算法

针对结直肠息肉图像中病灶区域尺度变化大、形状不规则和边界不清晰等复杂特点导致息肉分割精度低、分割边界存在伪影的问题,提出了一种融合Transfomer和多尺度并行注意网络(Fusion of Transfomer and Multiscale Parallel Attention Networks, FTMPA-Net)的结直肠息肉分割算法。选用HarDNet逐层提取语义信息和空间细节,采用多尺度感受场模块(Multiscale Receptive Field Block, RFB)捕获不同感受野下的特征信息,串入高效通道注意力机制提取空间、通道特征的相关性信息,以抑制背景颜色的响应;通过并行解码模块逐层聚合由高效通道注意力机制得到的增强特征图,并生成初始预测分割图用于后续深层监督;提出高效多头注意力机制(Efficient Multi-Head Self-Attention Module, EMHSA)来进一步细化边缘信息,构建区域与边界之间的联系,以提高其分割性能。在CVC-ClinicDB数据集和Kvasir-SEG数据集上对该算法进行测试,平均相似性系数分别为95.58%和92...