基于多尺度空间注意力特征融合的人群计数网络

针对严重的尺度变化和遮挡导致在不同密集场景人群计数任务中性能差的问题,在密集场景识别网络(CSRNet)的基础上通过增加多尺度特征融合结构并引入空间注意力机制,提出了一种多尺度空间注意力特征融合网络(MAFNet).在MAFNet进行特征提取之前,需要对添加了人头标记的场景图进行高斯滤波生成真实密度图;此外,MAFNe...     

多层次特征融合与注意力机制的文本检测

卷积神经网络在自然场景文本检测中的应用,大大提高了文本检测的准确性.但由相机视角和文本本身引起的尺度多变性以及文本分布的多样性仍然给文本检测带来了挑战.从解决文本尺度多变性的角度出发,本文提出了一个新的多层次特征融合模块,在特征金字塔融合不同层级特征的同时,额外添加了一个空洞卷积池化模块分支,在不降低特征尺度的同时拥有...     

融合注意力机制与上下文密度图的人群计数网络

为分析商业区人群流动情况,或避免人群踩踏等公共事件的发生,通常采用人群计数方法统计监控图像中的人数信息,从而达到提前预警的效果。受目标遮挡、背景干扰、多尺度变化等因素的影响,现有的人群计数方法在统计人数信息的过程中存在误算或漏算的问题,导致准确率降低。提出一种基于注意力机制与上下文密度图融合的人群计数网络CADMFNet。以VGG16的部分卷积层作为前端网络,通过引入上采样融合模块对输入的特征图进行上下文特征融合,将不同膨胀率的膨胀卷积作为后端网络,生成高质量的中间密度图。在此基础上,采用上下文注意力模块融合不同层级的中间密度图,获得精细的人群密度图。实验结果表明,该网络在Mall数据集上的平均绝对误差和均方根误差分别为1.31和1.59,相比CSRNet、MCNN等网络,能够有效提高计数的准确度,并且具有较优的鲁棒性。     

基于注意力机制与特征融合的课堂抬头率检测算法

课堂教学是整个教育任务中的重要环节,教育信息化的发展为提升教学管理水平提供了更多方案。为加强教学情况正反馈,提高课堂抬头率检测的准确性,提出一种结合注意力机制和特征融合的新型检测算法。将原图及视觉特征RGB difference作为网络输入,令其经过特征提取网络后得到信息更丰富的深层特征。在此基础上,提出一种改进的注意力模型（ICBAM）并加载至特征提取网络上,ICBAM使用通道注意力模块和空间注意力模块并行的双流结构,提升网络的特征提取能力。在通道注意力和空间注意力中加入空洞卷积以过滤输入特征中的冗余特征,减少网络对背景等无用特征的关注。此外,设计精炼模块优化预测结果,并在所提算法的基础上实现课堂行为分析软件的开发与应用。实验结果表明,该算法在抬头率检测数据集RDS上的平均抬头率误差为15.648%,相比于SolvePnP等主流检测算法具有更低的误差率。     

基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法

为了满足锂离子电池电极缺陷检测精度与实时性的需求,解决电极图像背景噪声复杂、缺陷微小且对比度低等问题,提出一种基于注意力机制与多尺度特征融合的电极缺陷YOLO检测算法.在YOLOv4的基础上,首先,将SE(squeeze-and-excitation)注意力模块嵌入特征提取主干网络中,区分feature map中不同通道的重要性,强化目标区域的关键特征,提高网络的检测精度;其次,加入融合空洞卷积的池化金字塔(ASPP)结构,增大网络感受野的同时最大程度地保留多尺度特征信息,提高算法对小目标的检测性能;然后,设计一种多尺度稠密特征金字塔,在三尺度特征图的基础上增加一个浅层特征,采用稠密连接的方式融合特征,提升浅层细节特征与高级语义信息的融合能力,增强对微小缺陷特征的提取;最后,采用$ K $-means++算法聚类先验框,引入focal loss损失函数增大小目标样本的损失权重,有效提高网络学习的收敛速度.实验结果表明,所提算法较原YOLOv4模型的mAP值提升6.42%,较其他常用算法综合性能上有着较大的优势,可较好地满足实际工业生产的实时监测需求.     

基于注意力机制和深度卷积神经网络的材质识别方法

材质识别旨在识别自然材质图像中的主要对象及其所属材料类别.针对材质图像数据集通常数据量少、人工标注局部纹理区域困难所导致的材质识别准确率低的问题,提出了一种基于注意力机制和深度卷积神经网络的材质识别方法,该方法的核心是材质识别深度卷积神经网络(MaterialNet).MaterialNet利用深度残差网络对图像进行特...     

基于特征融合和注意力机制的遥感目标检测

为了降低遥感图像中尺寸较大或长宽比变化极端等类型目标对检测精度的不利影响,提出一种基于YOLOv5的改进算法。首先,设计多尺度特征融合模块,通过引入不同膨胀率的残差膨胀卷积块以获得更大感受野,提高对长宽比变化极端目标的检测能力;其次,引入全局-局部注意力,通过分解大核注意力以获得空间和通道维度的长期依赖性和适应性,实现动态提取丰富的全局上下文信息,提高网络对大尺寸目标的检测性能。在DOTA数据集上的消融实验证明了该算法的有效性,mAP达到77.05%,较改进前的模型提升了1.66%,亦优于主流算法,有效改善了遥感图像中目标尺寸过大或长宽比变化极端带来的问题。     

基于注意力特征金字塔网络的肺结节检测算法

针对肺结节计算机辅助检测（CAD）系统中肺结节形态各异难以检测带来的敏感度低、假阳性率高的问题,提出一种基于注意力特征金字塔网络的肺结节检测算法。在第一阶段,以更加紧凑的双路径网络（DPN）为骨干网络,并结合特征金字塔网络（FPN）进行多尺度预测,以获取不同层次的特征信息,同时嵌入全局注意力机制（GAM）来细化学习要强调的语义特征,并提高算法的敏感度;在第二阶段,提出一种假阳性抑制网络,以获得最终分类预测结果;在训练阶段,采用焦点损失函数和多种数据增强技术来处理数据不平衡问题。在公开数据集LUNA16(LUng Nodule Analysis 2016)上的实验结果显示：仅有第一阶段的算法的竞争性能指标（CPM）达到了0.908,而加入假阳性抑制网络后算法的CPM达到了0.933,这与经典算法基于最大强度投影（MIP）的卷积神经网络（CNN）算法相比提升了1.1个百分点;而消融实验的结果表明DPN、FPN、GAM对于提升检测敏感度是有作用的。以上证明了所提出的两阶段检测算法可以获取多尺度结节信息,提高肺结节检测的敏感度,并且降低假阳性率。     

结合空间注意力多层特征融合显著性检测

目的 多层特征对于显著性检测具有重要作用,多层特征的提取和融合是显著性检测研究的重要方向之一。针对现有的多层特征提取中忽略了特征融合与传递、对背景干扰信息敏感等问题,本文基于特征金字塔网络和注意力机制提出一种结合空间注意力的多层特征融合显著性检测模型,该模型用简单的网络结构较好地实现了多层特征的融合与传递。方法 为了提高特征融合质量,设计了多层次的特征融合模块,通过不同尺度的池化和卷积优化高层特征和低层特征的融合与传递过程。为了减少低层特征中的背景等噪声干扰,设计了空间注意力模块,利用不同尺度的池化和卷积从高层特征获得空间注意力图,通过注意力图为低层特征补充全局语义信息,突出低层特征的前景并抑制背景干扰。结果 本文在DUTS,DUT-OMRON（Dalian University of Technology and OMRON Corporation）,HKU-IS和ECSSD（extended complex scene saliency dataset） 4个公开数据集上对比了9种相关的主流显著性检测方法,在DUTS-test数据集中相对于性能第2的模型,本文方法的最大F值（MaxF）提高了1.04%,平均绝对误差（mean absolute error,MAE）下降了4.35%,准确率—召回率（precision-recall,PR）曲线、结构性度量（S-measure）等评价指标也均优于对比方法,得到的显著图更接近真值图,同时模型也有着不错的速度表现。结论 本文用简单的网络结构较好地实现了多层次特征的融合,特征融合模块提高了特征融合与传递质量,空间注意力模块实现了有效的特征选择,突出了显著区域、减少了背景噪声的干扰。大量的实验表明了模型的综合性能以及各个模块的有效性。     

嵌入注意力机制的轻量级钢筋检测网络

智慧工地中的设备内存和计算能力有限,在现场的设备上通过目标检测对钢筋进行实时检测具有很大的难度,而且其钢筋检测速度慢、模型部署成本高。针对这些问题,在YOLOv3网络的基础上,提出了一个嵌入注意力机制的轻量级钢筋检测网络RebarNet。首先,利用残差块作为网络的基本单元来构建特征提取结构,并用其提取局部和上下文信息;其次,在残差块中添加通道注意力（CA）模块和空间注意力（SA）模块,以调整特征图的注意力权重,并提升网络提取特征的能力;然后,采用特征金字塔融合模块,以增大网络的感受野,并优化中等钢筋图像的提取效果;最后,输出经过8倍下采样后的52×52通道的特征图用于后处理和钢筋检测。实验结果表明,所提网络的参数量仅为Darknet53网络的5%,在钢筋测试集上以106.8 FPS的速度达到了92.7%的mAP。与现有的EfficientDet、SSD、CenterNet、RetinaNet、Faster RCNN、YOLOv3、YOLOv4和YOLOv5m等8个目标检测网络相比,RebarNet具有更短的训练时间（24.5 s）、最低的显存占用（1 956 MB）、最小的模型权重文件（13 MB）。与目前效果最好的YOLOv5m网络相比,RebarNet的mAP略低0.4个百分点,然而其检测速度上升了48 FPS,是YOLOv5m网络的1.8倍。以上结果表明,所提出的网络有助于完成智慧工地中要求实现的高效、准确的钢筋检测任务。     

基于多尺度特征融合和残差注意力机制的目标检测

作为一个多任务的学习过程,目标检测相较于分类网络需要更好的特征.基于多尺度特征对不同尺度的目标进行预测的检测器性能已经大大超过了基于单一尺度特征的检测器.同时,特征金字塔结构被用于构建所有尺度的高级语义特征图,从而进一步提高了检测器的性能.但是,这样的特征图没有充分考虑到上下文信息对语义的补充作用.在SSD基准网络的基...     

融合策略优选和双注意力的单阶段目标检测

目的 特征融合是改善模糊图像、小目标以及受遮挡物体等目标检测困难的有效手段之一,为了更有效地利用特征融合来整合不同网络层次的特征信息,显著表达其中的重要特征,本文提出一种基于融合策略优选和双注意力机制的单阶段目标检测算法FDA-SSD(fusion double attention single shot multibox detector)。方法 设计融合策略优化选择方法,结合特征金字塔(feature pyramid network, FPN)来确定最优的多层特征图组合及融合过程,之后连接双注意力模块,通过对各个通道和空间特征的权重再分配,提升模型对通道特征和空间信息的敏感性,最终产生包含丰富语义信息和凸显重要特征的特征图组。结果 本文在公开数据集PASCAL VOC2007(pattern analysis, statistical modelling and computational learning visual object classes)和TGRS-HRRSD-Dataset(high resolution remote sensing detection)上进行对比...     

融合注意力机制的 YOLOv5 口罩检测算法

新冠疫情期间正确佩戴口罩可以有效防止病毒的传播,针对公共场所存在的人员密集、检测目 标较小等加大检测难度的问题,提出一种以 YOLOv5s 模型为基础并引入注意力机制融合多尺度注意力权重的 口罩佩戴检测算法。在 YOLOv5s 模型的骨干网络中分别引入 4 种注意力机制,抑制无关信息,增强特征图的 信息表达能力,提高模型对小尺度目标的检测能力。实验结果表明,引入 CBAM 模块后较原网络 mAP 值提升 了 6.9 个百分点,在 4 种注意力机制中提升幅度最明显,而引入 NAM 模块后在损失少量 mAP 的情况下使参 数量最少,最后通过对比实验选用 GIoU 损失函数计算边界框回归损失,进一步提升定位精度,最终结果较 原网络 mAP 值提升了 8.5 个百分点。改进模型在不同场景下的检测结果证明了该算法对小目标检测的准确 率和实用性。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

基于混合注意力模型的阴影检测方法

图像中阴影区域的存在会导致图像内容的不确定性,不利于其他计算机视觉任务,因此常将阴影检测作为计算机视觉算法的预处理过程.然而,现有的阴影检测算法大多采用多级网络结构,导致模型训练困难,虽然已经提出了一些采用单级网络结构的算法,但它们只关注了局部的阴影,忽略了阴影之间的联系.针对该问题,为提升阴影检测的准确率和鲁棒性,提...     

结合混合域注意力与空洞卷积的3维目标检测

目的 通过深度学习卷积神经网络进行3维目标检测的方法已取得巨大进展,但卷积神经网络提取的特征既缺乏不同区域特征的依赖关系,也缺乏不同通道特征的依赖关系,同时难以保证在无损空间分辨率的情况下扩大感受野。针对以上不足,提出了一种结合混合域注意力与空洞卷积的3维目标检测方法。方法 在输入层融入空间域注意力机制,变换输入信息的空间位置,保留需重点关注的区域特征;在网络中融入通道域注意力机制,提取特征的通道权重,获取关键通道特征;通过融合空间域与通道域注意力机制,对特征进行混合空间与通道的混合注意。在特征提取器的输出层融入结合空洞卷积与通道注意力机制的网络层,在不损失空间分辨率的情况下扩大感受野,根据不同感受野提取特征的通道权重后进行融合,得到全局感受野的关键通道特征;引入特征金字塔结构构建特征提取器,提取高分辨率的特征图,大幅提升网络的检测性能。运用基于二阶段的区域生成网络,回归定位更准确的3维目标框。结果 KITTI（A project of Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）数据集中的实验结果表明,在物体被遮挡的程度由轻到高时,对测试集中的car类别,3维目标检测框的平均精度AP_3D值分别为83.45%、74.29%、67.92%,鸟瞰视角2维目标检测框的平均精度AP_BEV值分别为89.61%、87.05%、79.69%; 对pedestrian和cyclist 类别,AP_3D和AP_BEV值同样比其他方法的检测结果有一定优势。结论 本文提出的3维目标检测网络,一定程度上解决了3维检测任务中卷积神经网络提取的特征缺乏视觉注意力的问题,从而使3维目标检测更有效地运用于室外自动驾驶。     

基于层次注意力机制的高效视觉问答模型

视觉问答(visual question answering,VQA)是深度学习领域的一个新挑战,需要模型同时根据问题的语义和图片的内容进行推理并给出正确答案。针对视觉问答图片输入的多样性,设计了一种由两层注意力机制堆叠组成的层次注意力机制,帮助模型定位图片中与问题相关的信息,其中第一层注意力机制使用目标检测网络提取图片中物体的特征,第二层注意力机制引入问题特征。同时改进了现有的特征融合方式,消除对输入特征尺寸的限制。VQA数据集的测试结果显示,层次注意力机制使计数类问题的回答准确率提升了4%~5%,其他类型的问题回答准确率也有小幅提升。     

双向特征融合与注意力机制结合的目标检测

目标检测使用特征金字塔检测不同尺度的物体时,忽略了高层信息和低层信息之间的关系,导致检测效果差;此外,针对某些尺度的目标,检测中容易出现漏检。本文提出双向特征融合与注意力机制结合的方法进行目标检测。首先,对SSD(single shot multibox detector)模型深层特征层与浅层特征层进行特征融合,然后将得到的特征与深层特征层进行融合。其次,在双向融合中加入了通道注意力机制,增强了语义信息。最后,提出了一种改进的正负样本判定策略,降低目标的漏检率。将本文提出的算法与当前主流算法在VOC数据集上进行了比较,结果表明,本文提出的算法在对目标进行检测时,目标平均准确率有较大提高。