基于注意力机制的多尺度融合人群计数算法

针对人群计数图像人头尺度变化大、背景噪声高等问题,提出一种基于注意力机制的多尺度融合人群计数算法,以充分聚合多尺度信息,并有效区分背景噪声。构建基于残差连接的空洞空间金字塔池化,通过残差结构以及多个不同扩张率的空洞卷积在捕获多尺度头部目标特征的同时融入浅层特征图的空间细节信息,提高特征图质量;构建跨层多尺度特征融合模块,融合浅层和深层分支不同大小的边缘细节信息和上下文语义信息,并设计基于多分支的特征融合模块,融合不同感受野大小的多尺度信息以缓解大规模人头尺度变化的问题;构建基于矩阵相似运算的通道和空间注意力机制模块提取像素级特征权重,加强网络对于背景和人头目标的判别能力,自适应矫正位置信息。实验结果表明,相比11种对比算法的最优值,所提算法在SHA数据集上的平均绝对误差和均方根误差指标降低1.4%、4.2%,在UCF＿CC＿50数据集上降低4.9%、1.8%,能够精确地预测人群分布状态和估计人群数量,生成高质量的人群密度图。     

融合注意力机制与上下文密度图的人群计数网络

为分析商业区人群流动情况,或避免人群踩踏等公共事件的发生,通常采用人群计数方法统计监控图像中的人数信息,从而达到提前预警的效果。受目标遮挡、背景干扰、多尺度变化等因素的影响,现有的人群计数方法在统计人数信息的过程中存在误算或漏算的问题,导致准确率降低。提出一种基于注意力机制与上下文密度图融合的人群计数网络CADMFNet。以VGG16的部分卷积层作为前端网络,通过引入上采样融合模块对输入的特征图进行上下文特征融合,将不同膨胀率的膨胀卷积作为后端网络,生成高质量的中间密度图。在此基础上,采用上下文注意力模块融合不同层级的中间密度图,获得精细的人群密度图。实验结果表明,该网络在Mall数据集上的平均绝对误差和均方根误差分别为1.31和1.59,相比CSRNet、MCNN等网络,能够有效提高计数的准确度,并且具有较优的鲁棒性。     

基于多尺度空间注意力特征融合的人群计数网络

针对严重的尺度变化和遮挡导致在不同密集场景人群计数任务中性能差的问题,在密集场景识别网络(CSRNet)的基础上通过增加多尺度特征融合结构并引入空间注意力机制,提出了一种多尺度空间注意力特征融合网络(MAFNet).在MAFNet进行特征提取之前,需要对添加了人头标记的场景图进行高斯滤波生成真实密度图;此外,MAFNe...     

结合神经网络与多列特征图聚合的人群计数

在公共安全领域,基于图像的人群计数具有重要的社会意义和应用前景,难题在于人群遮挡、密度分布不均、背景噪声和人在场景中的尺度和外观变化范围大。提出一种深度卷积神经网络结构,一方面使用类似于VGG16的网络结构来学习图片中的深层语义信息,另一方面使用多列神经网络来学习各种头部尺寸的特征信息。将拥有不同大小感受野和深度的分支网络得到的特征图融合在一起,可有效地收集到图片中的底层细节特征和高层语义信息。通过将这两部分结合在一起计算人群数量。在ShanghaiTech数据集上测试,Part_A和Part_B的平均绝对误差分别为72.0和10.1;Part_A和Part_B的均方误差分别为107.9和16.0。     

一种面向人群计数的卷积注意力网络模型

随着当今国际社会形势逐渐复杂,公共安全和社会稳定面临严峻挑战。视频监控作为维护社会安定与建设智慧城市的重要手段,广泛应用于城市安全管理。高效的人群计数是实现基于视频进行安全管理的一个难点问题,旨在分析计算视频或图片场景中的人数。人群计数对控制关键场所人数、指挥公共交通、控制疫情蔓延、保障社会稳定具有重要积极意义。然而,人群计数问题仍然存在背景干扰、目标遮挡、目标尺度不一和目标分布不均等挑战,导致计数准确度较低。为了解决这些问题,梳理了人群计数发展的时间线,分析了现有方法的不足,并针对这些不足提出了基于相似性度量的卷积注意力网络。该方法结合基于相似性度量的损失函数和基于注意力机制的卷积神经网络模块,有效缓解了人群计数中背景干扰、目标遮挡、目标尺度不一和目标分布不均四个问题。通过在数据集上的实验和相关对比分析发现,基于相似性度量的卷积注意力网络具有很好的准确性和稳定性。     

基于尺度自适应卷积神经网络的人群计数算法

为解决单幅图像中的人群遮挡和尺度变化问题,提出一种基于多列卷积神经网络的人群计数算法。利用具有不同尺寸感受野的卷积神经网络(CNN)和特征注意力模块自适应提取多尺度人群特征,引入可变形卷积增强CNN网络空间几何形变学习能力并优化特征图,从而生成高质量的密度图。Shanghai Tech和UCF_CC_50数据集上的实验结果表明,该算法能学习输入图和人群密度图之间的映射关系,且计数准确性高、鲁棒性强。     

区域级通道注意力融合高频损失的图像超分辨率重建

目的 通道注意力机制在图像超分辨率中已经得到了广泛应用,但是当前多数算法只能在通道层面选择感兴趣的特征图而忽略了空间层面的信息,使得特征图中局部空间层面上的信息不能合理利用。针对此问题,提出了区域级通道注意力下的图像超分辨率算法。方法 设计了非局部残差密集网络作为网络的主体结构,包括非局部模块和残差密集注意力模块。非局部模块提取非局部相似信息并传到后续网络中,残差密集注意力模块在残差密集块结构的基础上添加了区域级通道注意力机制,可以给不同空间区域上的通道分配不同的注意力,使空间上的信息也能得到充分利用。同时针对当前普遍使用的L1和L2损失函数容易造成生成结果平滑的问题,提出了高频关注损失,该损失函数提高了图像高频细节位置上损失的权重,从而在后期微调过程中使网络更好地关注到图像的高频细节部分。结果 在4个标准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100上进行4倍放大实验,相比较于插值方法和SRCNN（image super-resolution using deep convolutional networks）算法,本文方法的PSNR（peak signal to noise ratio）均值分别提升约3.15 dB和1.58 dB。结论 区域级通道注意力下的图像超分辨率算法通过使用区域级通道注意力机制自适应调整网络对不同空间区域上通道的关注程度,同时结合高频关注损失加强对图像高频细节部分的关注程度,使生成的高分辨率图像具有更好的视觉效果。     

基于深度特征融合生成的密集人群计数网络

为了进一步提高密集人群计数任务的计数精度,提出一种利用深度语义特征逐步降维重建的密集人群计数网络.前端采用深度卷积网络得到基本的深度语义特征;后端采用基于空洞卷积的多尺度特征融合块来丰富深度语义特征.通过语义重建块与上采样相结合,在进行多次降维重建以后生成与原始图像相同分辨率的人群密度图,并由此得到人群数量.将该模型在...     

基于深度学习的人群计数研究综述

人群计数旨在估计图像或视频中人群的数量、密度或分布,属于目标计数(object counting)领域的研究范畴,广泛应用于人群行为分析、公共安全管理之中,以便及时发现人群拥挤或异常行为,避免事故发生.鉴于人群计数系统强大的实用性,自21世纪以来,研究者对其方法及应用进行了大量广泛的研究.近年来,深度学习技术发展迅猛,很多工作发现深度学习技术可以有效地解决人群计数系统存在的一系列关键问题,例如跨场景计数、透视畸变、尺度变化等.因此,对基于深度学习的人群计数这一研究领域进行回顾、分析和展望.具体地,首先从概念、步骤、方法等维度详细介绍人群计数模型,分析基于传统方法和基于深度学习方法这2类人群计数模型的差异.然后,从计数网络结构、ground-truth生成、损失函数、评价指标这4个方面阐述基于深度学习的人群计数模型的研究现状.最后,比较分析了各种人群计数数据集的特点,并探讨和展望人群计数领域未来可能的研究方向.     

基于AKAZE算法及注意力机制的图像字幕生成方法

图像字幕生成在计算机视觉领域是一个比较热门的研究方向,在图像字幕生成任务中常用编码（Encode）-解码（Decode）结构生成图像字幕。针对图像细节特征提取效果不理想及图像字幕生成质量欠佳的问题,提出将加速的KAZE(Accelerated-KAZE,AKAZE)算法引入卷积神经网络,提高模型的特征提取能力,同时结合注意力机制,将模型注意力集中到图像中的关键位置,增强了模型的特征提取能力,并且提高了生成的图像字幕质量。对提出的模型在现有的公开数据集上,进行了训练和测试,使用BLUE-4和显示排序翻译度量评价（Metric for Evaluation of Translation with ExplicitOrdering,METEOR）标准,对模型生成的描述语句进行评分,并且进行了对比实验。实验结果表明,与现有的方法相比,该方法表现出更好的图像字幕生成效果、更高的评价分数以及更好的鲁棒性。     

基于尺度融合的密集人群计数

现实场景中人群尺度的巨大差异给密集人群计数算法带来了巨大的挑战,因此提出一种基于尺度融合的密集人群计数算法.首先对密度图构建算法进行优化,利用多个头部检测器获取稀疏人群的部分头部尺度,并用径向基差值进行补全,在人群密集区域辅之以距离自适应的人群密度图生成算法,生成更为精确的人群密度图.其次利用移动翻转瓶颈卷积模块设计尺度融合的人群密度图回归神经网络,并加入膨胀卷积模块进一步提升人体头部边缘特征提取能力.最后,通过将人群区域和非人群区域进行区分对人群密度图回归神经网络损失函数进行优化.在实验部分,将该算法在多个数据集上与多个同类算法进行了充分的对比实验与消融实验,实验结果表明提出的方法能够显著提升密集人群计数算法的准确性.     

基于多尺度特征融合的人群计数算法

针对密集场景下人群目标尺度变化大导致识别精度不高的问题,本文提出两种多尺度特征融合结构:注意力加权融合模块(attention-weighted fusion module,AWF)和自底向上融合模块(bottom-up fusion module,BUF).其中AWF模块引入注意力分支学习特征图的权重,并将加权后的多...     

FF-CAM:基于通道注意机制前后端融合的人群计数

单个图像中的人群计数在计算机视觉领域中备受关注,因为其在公共安全方面具有重要作用.例如,在人群聚集的场景中监控设备可以实时监测人群数量变化,对过度拥挤和异常情况进行预警以预防安全事故的发生.然而,由于受到遮挡、透视扭曲、尺度变化和背景干扰的严重影响,在单个图像中对人群计数的预测要达到较高精确度是极其困难的,其面临着巨大...     

基于分组卷积与双注意力机制的河流水面污染图像分类

河流水面污染物是危害河流资源的重要污染物,及时发现并处理水面污染物可以有效地保护河流环境以及水资源,能进一步实现减污降碳,提升生态系统碳汇能力.随着智能化的大范围推广,传统的河流水面污染物的监测处理方法已经不能满足当今的需求.针对辽河流域水面污染问题,本文将计算机视觉技术应用到了河流水面污染分类上,提出了基于分组卷积与双注意力机制的河流水面污染图像分类算法模块(grouped convolution dual attention,GCDA),在分组卷积的基础上引入简化的双注意力机制,使用较少的参数量增强了网络对图像的特征提取能力,进一步提升图像分类效果.通过固定位截取图像的方式对辽河流域中的温泉城水站取水口、王营河入细河、高台子断面、津源污水排口和清源污水处理厂溢流口5个河流监控摄像图像做了预处理工作并建立了一个河流水面污染物数据集,图像分为污染和未污染两类,通过实验证明在此数据集上,添加使用GCDA模块的网络相较于原网络以及分别添加空间、通道注意力机制的网络在河流水面污染物图像的二分类任务中效果有明显提升.     

基于序的空间金字塔池化网络的人群计数方法

视频中的人群计数在智能监控领域具有重要价值. 由于摄像机透视效果、图像背景、人群密度分布不均匀和行人遮挡等干扰因素的制约, 基于底层特征的传统计数方法准确率较低. 本文提出一种基于序的空间金字塔池化(Rank-based spatial pyramid pooling, RSPP)网络的人群计数方法. 该方法将原图像分成多个具有相同透视范围的子区域并在各个子区域分别取不同尺度的子图像块, 采用基于序的空间金字塔池化网络估计子图像块人数, 然后相加所有子图像块人数得出原图像人数. 提出的图像分块方法有效地消除了摄像机透视效果和人群密度分布不均匀对计数的影响. 提出的基于序的空间金字塔池化不仅能够处理多种尺度的子图像块, 而且解决了传统池化方法易损失大量重要信息和易过拟合的问题. 实验结果表明, 本文方法相比于传统方法具有准确率高和鲁棒性好的优点.