基于多尺度空间注意力特征融合的人群计数网络

针对严重的尺度变化和遮挡导致在不同密集场景人群计数任务中性能差的问题,在密集场景识别网络（CSRNet）的基础上通过增加多尺度特征融合结构并引入空间注意力机制,提出了一种多尺度空间注意力特征融合网络（MAFNet）。在MAFNet进行特征提取之前,需要对添加了人头标记的场景图进行高斯滤波生成真实密度图;此外,MAFNet还通过联合使用两种基本损失函数的方法来约束密度估计图与真实密度图的一致性。接着,MAFNet以多尺度特征融合结构为主干,首先采用边提取多尺度特征边融合的策略得到多尺度融合特征图,然后使用空间注意力模块对特征图进行校准和再融合,之后通过扩张卷积生成密度估计图,最后对密度估计图逐像素积分得到场景中的人数。为了验证所提出模型的有效性,在四个人群计数数据集（ShanghaiTech、UCF_CC_50、UCF_QRNF和World-Expo’10）上进行了评估。其中ShanghaiTech数据集PartB的实验结果显示,MAFNet与CSRNet相比,平均绝对误差（MAE）降低了34.9%,均方误差（MSE）降低了29.4%。在多个数据集上的实验结果表明,采用注意力机制和多尺度特征融合策略使MAFNet可以提取更多细节信息,减少尺度变化和遮挡带来的影响。     

密集场景下基于多尺度特征聚合的人群计数方法

密集场景下个体尺度存在巨大差异，目标个体尺度不一导致人群计数精度不高。针对这一问题，提出了一种密集场景下基于多尺度特征聚合的人群计数方法。该方法研究不同特征层级对不同尺度个体的特征信息表示能力，通过层级连接充分获取多尺度特征；同时，提出了一个多尺度特征聚合模块，采用多列具有不同扩张率的空洞卷积，通过动态特征选择机制自动调整感受野，以有效提取不同尺度个体的特征。该方法能够在保留小尺度个体特征信息的基础上进一步扩大感受野，增强大尺度个体的检测能力，使其更好地适应人群个体的多尺度变化。在3个公共人群计数数据集上进行了实验，实验结果表明，所提模型在计数准确性上有了进一步的提高，其中在ShanghaiTech数据集Part＿A上MAE为51.21,MSE为83.70。     

基于注意力机制的多尺度融合人群计数算法

针对人群计数图像人头尺度变化大、背景噪声高等问题,提出一种基于注意力机制的多尺度融合人群计数算法,以充分聚合多尺度信息,并有效区分背景噪声。构建基于残差连接的空洞空间金字塔池化,通过残差结构以及多个不同扩张率的空洞卷积在捕获多尺度头部目标特征的同时融入浅层特征图的空间细节信息,提高特征图质量;构建跨层多尺度特征融合模块,融合浅层和深层分支不同大小的边缘细节信息和上下文语义信息,并设计基于多分支的特征融合模块,融合不同感受野大小的多尺度信息以缓解大规模人头尺度变化的问题;构建基于矩阵相似运算的通道和空间注意力机制模块提取像素级特征权重,加强网络对于背景和人头目标的判别能力,自适应矫正位置信息。实验结果表明,相比11种对比算法的最优值,所提算法在SHA数据集上的平均绝对误差和均方根误差指标降低1.4%、4.2%,在UCF＿CC＿50数据集上降低4.9%、1.8%,能够精确地预测人群分布状态和估计人群数量,生成高质量的人群密度图。     

特征增强损失与前景注意力人群计数网络

人群计数旨在准确估计图像中的总人数并呈现其分布。相关数据集中的图像通常涉及各类场景且包含多人。为节约人力，大多数数据集通常在每个人头部以单点标注作为标签。然而，点标签无法囊括人头部的完整范围，使得人群特征与分布标签的匹配难以收敛，预测值无法聚集在前景区域，严重影响密度估计图质量和模型计数准确度。为了解决这个问题，使用计数损失来约束全图上的预测值范围，并佐以像素级的分布一致损失优化密度图匹配过程。此外，复杂场景中存在许多易与人群特征混淆的背景噪声，为了避免假阳性预测对后续计数和密度图估计的干扰，提出前景分割模块和特征增强损失来自适应地聚焦前景区域，并加大前景位置上人头特征对计数的贡献，从而达到抑制背景误判的作用。此外，为了使网络更好地适应人头的多尺度形态，对每个待训练图片分别进行上下采样操作，以获得具有同目标的多尺度形态。在多个数据集上进行了实验，结果表明，与最先进的方法相比，所提方法取得了更好或更有竞争力的结果。     

融合注意力机制与上下文密度图的人群计数网络

为分析商业区人群流动情况,或避免人群踩踏等公共事件的发生,通常采用人群计数方法统计监控图像中的人数信息,从而达到提前预警的效果。受目标遮挡、背景干扰、多尺度变化等因素的影响,现有的人群计数方法在统计人数信息的过程中存在误算或漏算的问题,导致准确率降低。提出一种基于注意力机制与上下文密度图融合的人群计数网络CADMFNet。以VGG16的部分卷积层作为前端网络,通过引入上采样融合模块对输入的特征图进行上下文特征融合,将不同膨胀率的膨胀卷积作为后端网络,生成高质量的中间密度图。在此基础上,采用上下文注意力模块融合不同层级的中间密度图,获得精细的人群密度图。实验结果表明,该网络在Mall数据集上的平均绝对误差和均方根误差分别为1.31和1.59,相比CSRNet、MCNN等网络,能够有效提高计数的准确度,并且具有较优的鲁棒性。     

比例融合与多层规模感知的人群计数方法

针对密集场景下人群图像拍摄视角或距离多变造成的多尺度特征获取不足、融合不佳和全局特征利用不充分等问题,提出一种比例融合与多层规模感知的人群计数网络。首先采用骨干网络VGG16提取人群密度初始特征;其次,设计多层规模感知模块,获得人群多尺度信息的丰富表达;再次,提出比例融合策略,根据卷积层捕获的特征权重重构多尺度信息,提取显著性人群特征;最后,采用卷积回归策略进行密度图的回归。同时,提出一种局部一致性损失函数,通过区域化密度图的方式增强生成密度图与真实密度图的相似度,提高计数性能。在多个人群数据集上的试验结果表明,所提模型优于近年人群计数的先进方法,且在车辆计数上有较好推广性。     

基于尺度融合的密集人群计数

现实场景中人群尺度的巨大差异给密集人群计数算法带来了巨大的挑战,因此提出一种基于尺度融合的密集人群计数算法.首先对密度图构建算法进行优化,利用多个头部检测器获取稀疏人群的部分头部尺度,并用径向基差值进行补全,在人群密集区域辅之以距离自适应的人群密度图生成算法,生成更为精确的人群密度图.其次利用移动翻转瓶颈卷积模块设计尺度融合的人群密度图回归神经网络,并加入膨胀卷积模块进一步提升人体头部边缘特征提取能力.最后,通过将人群区域和非人群区域进行区分对人群密度图回归神经网络损失函数进行优化.在实验部分,将该算法在多个数据集上与多个同类算法进行了充分的对比实验与消融实验,实验结果表明提出的方法能够显著提升密集人群计数算法的准确性.     

FF-CAM:基于通道注意机制前后端融合的人群计数

单个图像中的人群计数在计算机视觉领域中备受关注,因为其在公共安全方面具有重要作用.例如,在人群聚集的场景中监控设备可以实时监测人群数量变化,对过度拥挤和异常情况进行预警以预防安全事故的发生.然而,由于受到遮挡、透视扭曲、尺度变化和背景干扰的严重影响,在单个图像中对人群计数的预测要达到较高精确度是极其困难的,其面临着巨大的挑战.在本文中,我们提出了一个名为FF-CAM的创新性模型来计算图像中的人群数量.它首先将主网络低层的特征图与高层的特征图合并,实现不同尺度的特征融合,且无需额外的分支或子任务,解决了由于透视导致的尺度多样性问题.随后融合的特征图被送入通道注意力模块以优化不同特征的融合过程,并进行特征通道的重新校准以充分使用全局和空间信息.此外,我们在网络的末端利用扩张卷积来获得高质量的人群密度图,扩张卷积层扩大了感受野,其输出包含更详细的空间信息和全局信息,不会降低空间分辨率.最后,我们加入基于SSIM的损失函数用于比较估计人群密度图和真值的局部相关性,以及基于回归人数的损失函数用于比较估计人群数量与真实人数之间的差异.我们的FF-CAM在UCF_CC_50数据集、ShanghaiTech数据集和UCF_QRNF数据集中进行训练并测试,获得了出色的结果.在UCF_CC_50数据集上比现有方法的MAE提高了4.5%,MSE提高了3.8%.     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

视图分支共享卷积神经网络的多视图人群计数方法

多视图人群计数,指从多个视角的图片中估计当前场景的人数.大多数基于卷积神经网络的方法使用多个同构但独立的分支处理不同视图,在增加模型复杂性的同时,引入大量的冗余特征.针对此问题,本文提出一种基于视图分支共享的卷积神经网络模型,使用同一视图分支从不同视角的图片提取出多个尺度对齐的特征图.这些特征图被投影到同一个世界平面上进行融合,进而回归出当前场景人群分布密度图.在视图分支内部,该模型在保持一定的结构复杂性的同时,减少各卷积层的核数量,极大降低模型可学习的参数数量.本文在两个公开数据集(PETS2009、CityStreet)上测试了性能,与5种已有方法相比较,本文方法能达到更好的性能.