基于多尺度特征融合的人群密度检测

基于深度学习的人群密度检测算法取得了巨大进步,但该算法在实际复杂场景中的检测准确性和鲁棒性还有很大的提升空间.复杂场景下目标尺度不一致和背景信息干扰等因素使得人群密度检测成为一项具有挑战性的任务.针对该问题,提出了一种基于多尺度特征融合的人群密度检测网络.该网络首先利用不同分辨率图像并行交互提取人群粗细粒度特征,并引入多层次特征融合机制,以充分利用多层尺度信息.其次采用空间和通道注意力机制突出人群特征权重,聚焦感兴趣的人群,降低背景信息干扰,生成高质量密度图.实验结果表明,在多个典型的公共数据集上与具有代表性的人群密度检测方法相比,多尺度特征融合的人群密度检测网络具有良好的准确性和鲁棒性.     

一种抗背景干扰的多尺度人群计数算法

人群计数技术以估计人群图片或视频中的人数为目标,可以有效预防人群踩踏事故的发生,广泛应用于安防预警、城市规划及大型集会管理等领域。然而,由于人群尺度变化、背景干扰、人群分布不均、遮挡和透视效应等因素的影响,单幅图片的人群计数仍是一项非常具有挑战性的任务。针对人群计数中多尺度变化和背景干扰问题,提出一种抗背景干扰的多尺度人群计数算法。以VGG16网络结构为基础,引入特征金字塔构建多尺度特征融合骨干网络解决人群多尺度变化问题,设计Double-Head-CC结构对融合后的特征图进行前景背景分割和密度图预测以抑制背景干扰。基于密度图的局部相关性和多任务学习,定义多重损失函数和多任务联合损失函数进行网络优化。在ShanghaiTech、UCF-QNRF和JHU-CROWD++数据集上进行训练和评测,实验结果表明,该算法能够很好地预测人群密度分布和人群数量,具有较高的准确性,且鲁棒性强、泛化性能良好。     

自适应融合特征的人群计数网络

针对人群计数方法中存在的尺度变化和多层级特征融合不佳的问题,基于U-Net的编码器-解码器网络结构,提出一种自适应特征融合网络,来进行精准的人群计数。提出自适应特征融合模块,根据解码器分支的需要,高效地聚合编码器分支提取的高层语义信息和底层的边缘信息;提出自适应上下文信息提取器,从不同感受野下提取多尺度的上下文信息并自适应加权融合,提高网络对于人头尺度变化的鲁棒性。在ShanghaiTech、UCF-CC-50和UCG-QNRF上的实验表明,与目前主流的人群计数算法相比,该算法具有更强的准确性和鲁棒性。     

基于特征金字塔网络的人群计数算法

由于单张图片人群计数存在严重的人群遮挡和尺度变化问题,导致人群计数算法性能明显下降。为此,提出一种基于特征金字塔网络对图片进行人群计数的算法,并给出能够处理任意图片分辨率的全卷积网络。将特征金字塔网络应用到人群计数中,通过逐层融合网络中不同尺度的特征图来解决图片中的上述问题。在人群计数数据库ShanghaiTech上对网络模型进行训练和性能评测,结果表明,与当前主流的人群计数算法相比,该算法具有更高的鲁棒性和准确性。     

基于多尺度感知和图像关联的人群计数方法

人群计数广泛应用于公共安防、视频监控等领域，但由于目标遮挡、背景干扰以及人群尺度变化等因素的影响，人群计数模型的准确率有所降低。基于深度学习卷积神经网络架构，提出了一种基于多尺度感知和图像关联的人群计数方法。其中，多尺度感知模型包括初级特征提取网络、多尺度特征提取模块、特征融合模块和一个后段架构用来提取图像的多尺度特征，从而适应尺度的变化；而图像关联模型使用特征关联模块和融合模块将输入图像与相干图像进行联系，通过学习图像之间的深层关联性来提升预测密度图的质量。在ShanghaiTech Part＿A、Part＿B和UCF＿CC＿50等公开数据集上的实验结果表明，提出的方法在MAE、RMSE和SSIM三项指标上均有较好性能。     

基于尺度自适应卷积神经网络的人群计数算法

为解决单幅图像中的人群遮挡和尺度变化问题,提出一种基于多列卷积神经网络的人群计数算法。利用具有不同尺寸感受野的卷积神经网络(CNN)和特征注意力模块自适应提取多尺度人群特征,引入可变形卷积增强CNN网络空间几何形变学习能力并优化特征图,从而生成高质量的密度图。Shanghai Tech和UCF_CC_50数据集上的实验结果表明,该算法能学习输入图和人群密度图之间的映射关系,且计数准确性高、鲁棒性强。     

基于尺度融合的密集人群计数

现实场景中人群尺度的巨大差异给密集人群计数算法带来了巨大的挑战,因此提出一种基于尺度融合的密集人群计数算法.首先对密度图构建算法进行优化,利用多个头部检测器获取稀疏人群的部分头部尺度,并用径向基差值进行补全,在人群密集区域辅之以距离自适应的人群密度图生成算法,生成更为精确的人群密度图.其次利用移动翻转瓶颈卷积模块设计尺度融合的人群密度图回归神经网络,并加入膨胀卷积模块进一步提升人体头部边缘特征提取能力.最后,通过将人群区域和非人群区域进行区分对人群密度图回归神经网络损失函数进行优化.在实验部分,将该算法在多个数据集上与多个同类算法进行了充分的对比实验与消融实验,实验结果表明提出的方法能够显著提升密集人群计数算法的准确性.     

基于图像视野划分的公共场所人群计数模型

为解决公共场所中人群分布不均以及目标尺度不一而影响人数估计的问题,提出了基于图像视野划分的公共场所人群计数模型。首先将图像场景划分为远近视野两个区域,对近视野区域,使用基于YOLO的网络进行行人检测并通过添加场景约束避免在远近视野区域内重复计数;对远视野区域,使用改进的MobileNets提取人群密度分布特征,并引入超分辨率重建模块提升人群密度图质量,最终通过计算两者之和得到整幅图像中的人群数量。在Shanghai Tech和Mall数据集上进行测试,结果表明该模型在准确性和鲁棒性上有显著的提高,实验证明模型切实可行。     

基于序的空间金字塔池化网络的人群计数方法

视频中的人群计数在智能监控领域具有重要价值. 由于摄像机透视效果、图像背景、人群密度分布不均匀和行人遮挡等干扰因素的制约, 基于底层特征的传统计数方法准确率较低. 本文提出一种基于序的空间金字塔池化(Rank-based spatial pyramid pooling, RSPP)网络的人群计数方法. 该方法将原图像分成多个具有相同透视范围的子区域并在各个子区域分别取不同尺度的子图像块, 采用基于序的空间金字塔池化网络估计子图像块人数, 然后相加所有子图像块人数得出原图像人数. 提出的图像分块方法有效地消除了摄像机透视效果和人群密度分布不均匀对计数的影响. 提出的基于序的空间金字塔池化不仅能够处理多种尺度的子图像块, 而且解决了传统池化方法易损失大量重要信息和易过拟合的问题. 实验结果表明, 本文方法相比于传统方法具有准确率高和鲁棒性好的优点.     

基于上下文特征重聚合网络的人群计数

针对计数问题中人群目标尺度的变化问题,提出了一种基于上下文特征重聚合的计数算法.将高层网络提取的语义信息与底层网络提取的人群尺度细节信息相结合,旨在利用浅层网络中提取的信息向深层网络提取的特征中融入不同尺度的行人目标特征,从而融合多种尺度的人群特征回归出高质量的人群密度图.此外,在ShanghaiTech、UCF_CC...     

高低密度多维视角多元信息融合人群计数方法

针对人群密度在二维图像中随图像视角变化呈现较大差异、特征空间多尺度信息丢失等问题,提出一种多维视角多元信息融合(MDPMIF)的人群密度估计方法.首先,由“上-左-右-下”的方向对视角变化进行信息编码,通过递进聚合方式捕获深层次全局上下文信息,同步提取多维度视角的尺度关系特征;然后,设计联合学习策略获取全局尺度关系特征,并将全局上下文表达、全局尺度关系特征集成,得到更全面的视角变换描述;最后,采用语义嵌入方式实现高、低阶特征相互补充,增强输出密度图的质量.同时,真实场景下的人群聚集模式存在差异,单纯密度图方法易对图像中的低聚集部分造成人群计数高估,基于此,提出一种高低密度多维视角多元信息融合人群计数网络.设计高低密度区分策略对MDPMIF输出进行高低密度区域自适应划分,高密区域保持MDPMIF网络估计结果,低密区域采用检测方法实现人群计数修正,提高模型的鲁棒性.实验结果表明,所提出方法的性能优于对比方法.     

基于深度特征融合生成的密集人群计数网络

为了进一步提高密集人群计数任务的计数精度,提出一种利用深度语义特征逐步降维重建的密集人群计数网络。前端采用深度卷积网络得到基本的深度语义特征;后端采用基于空洞卷积的多尺度特征融合块来丰富深度语义特征。通过语义重建块与上采样相结合,在进行多次降维重建以后生成与原始图像相同分辨率的人群密度图,并由此得到人群数量。将该模型在公开的数据集ShanghaiTech、UCF_CC_50、UCF-QNRF上与历年的主要方法进行对比,该方法无论是在人群计数精度还是密度图质量上都体现出了明显的优势,同时在多个数据上的验证实验表明模型具有较好的鲁棒性。     

基于对抗式扩张卷积的多尺度人群密度估计

目的 人群密度估计任务是通过对人群特征的提取和分析,估算出密度分布情况和人群计数结果。现有技术运用的CNN网络中的下采样操作会丢失部分人群信息,且平均融合方式会使多尺度效应平均化,该策略并不一定能得到准确的估计结果。为了解决上述问题,提出一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。方法 利用扩张卷积在不损失分辨率的情况下对输入图像进行特征提取,且不同的扩张系数可以聚集多尺度上下文信息。最后通过对抗式损失函数将网络中提取的不同尺度的特征信息以合作式的方式融合,得到准确的密度估计结果。结果 在4个主要的人群计数数据集上进行对比实验。在测试阶段,将测试图像输入训练好的生成器网络,输出预测密度图;将密度图积分求和得到总人数,并以平均绝对误差（MAE）和均方误差（MSE）作为评价指标进行结果对比。其中,在ShanghaiTech数据集上Part_A的MAE和MSE分别降至60.5和109.7,Part_B的MAE和MSE分别降至10.2和15.3,提升效果明显。结论 本文提出了一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。实验结果表明,在人群分布差异较大的场景中构建的算法模型有较好的自适应性,能根据不同的场景提取特征估算密度分布,并对人群进行准确计数。     

双任务交互下的四段监督人群计数网络

针对人群计数任务中存在的场景遮挡问题和人群分布不均问题，本文提出了一种双任务交互下的四段监督人群计数网络(Four stage supervised network, F2SNet).首先，通过优化早期分布来监督早阶段的特征，提升浅层网络对前背景的甄别能力，同时避免了训练过程中的梯度消失以及收敛过慢问题.计数监督则关注了网络的计数准确性，并生成反映不同特征重要程度的人群响应图.终期分布修正模块结合高频语义信息，进一步监督人群的分布预测.背景抑制模块则抑制网络在背景区域上的误判.4个模块协同工作，在保证预测精度的前提下关注了密度分布的一致性.在4个常用人群数据集上的实验结果表明，与已有的人群计数算法相比，F2SNet具有良好的人群计数能力和分布预测能力.     

基于可变形部件模型的人群计数方法

为实现户外场景下中等密度人群的高精度高鲁棒性计数,基于因为可变形部件模型优越的准确性和鲁棒性,首先使用其来进行行人检测,来获得大量的检测候选框,然后对获得的候选框进行预处理。接下来提取各个预处理后的候选框的空间、时间以及颜色特征,基于这些特征,用狄迪克雷混合模型和吉布斯采样理论来对候选框进行聚类。通过这种方式,获得人群团块的区域。最后使用基于角点的人群计数方法来对每个人群团块区域进行人群计数,通过综合这些检测结果,最终得到人群数目。     

特征增强损失与前景注意力人群计数网络

人群计数旨在准确估计图像中的总人数并呈现其分布。相关数据集中的图像通常涉及各类场景且包含多人。为节约人力，大多数数据集通常在每个人头部以单点标注作为标签。然而，点标签无法囊括人头部的完整范围，使得人群特征与分布标签的匹配难以收敛，预测值无法聚集在前景区域，严重影响密度估计图质量和模型计数准确度。为了解决这个问题，使用计数损失来约束全图上的预测值范围，并佐以像素级的分布一致损失优化密度图匹配过程。此外，复杂场景中存在许多易与人群特征混淆的背景噪声，为了避免假阳性预测对后续计数和密度图估计的干扰，提出前景分割模块和特征增强损失来自适应地聚焦前景区域，并加大前景位置上人头特征对计数的贡献，从而达到抑制背景误判的作用。此外，为了使网络更好地适应人头的多尺度形态，对每个待训练图片分别进行上下采样操作，以获得具有同目标的多尺度形态。在多个数据集上进行了实验，结果表明，与最先进的方法相比，所提方法取得了更好或更有竞争力的结果。     

基于注意力机制的多尺度融合人群计数算法

针对人群计数图像人头尺度变化大、背景噪声高等问题,提出一种基于注意力机制的多尺度融合人群计数算法,以充分聚合多尺度信息,并有效区分背景噪声。构建基于残差连接的空洞空间金字塔池化,通过残差结构以及多个不同扩张率的空洞卷积在捕获多尺度头部目标特征的同时融入浅层特征图的空间细节信息,提高特征图质量;构建跨层多尺度特征融合模块,融合浅层和深层分支不同大小的边缘细节信息和上下文语义信息,并设计基于多分支的特征融合模块,融合不同感受野大小的多尺度信息以缓解大规模人头尺度变化的问题;构建基于矩阵相似运算的通道和空间注意力机制模块提取像素级特征权重,加强网络对于背景和人头目标的判别能力,自适应矫正位置信息。实验结果表明,相比11种对比算法的最优值,所提算法在SHA数据集上的平均绝对误差和均方根误差指标降低1.4%、4.2%,在UCF＿CC＿50数据集上降低4.9%、1.8%,能够精确地预测人群分布状态和估计人群数量,生成高质量的人群密度图。     

多任务多层级CNN在人群计数中的应用

为了提升人群图像的计数精度,设计一种多层级多任务深度卷积网络。多层级神经网络由卷积和上采样的组合方式构成,该网络的优点在于结合浅层网络提取的细节信息和深层网络提取的高阶语义信息。在此基础上,使用多任务学习的方法提升网络性能,多任务学习分为两个部分：人群密度估计任务和人群密度等级分类任务。网络的高分辨率层与人群密度估计任务相连,网络的深层与人群密度等级分类任务相连。将两个任务的损失融合并构成新的损失函数。实验在人群计数公共数据集ShanghaiTech、WorldExpo’10和UCF_CC_50上进行,实验结果表明,该网络在人群计数上具有较好的准确率和鲁棒性。     

基于单列多尺度卷积神经网络的人群计数

单张图片和监控视频中的人群计数问题在近年来受到了越来越多的关注。尺度的变化和人群遮挡等问题,导致人群计数是一项十分具有挑战性的任务,但是深度卷积神经网络被证明能有效地解决这一问题。文中提出了一种单列多尺度的卷积神经网络,该网络提供了一种数据驱动的深度学习方法,能够理解各种不同的场景,并能进行精确的计数估计。该网络模型主要由作为二维特征提取的前端与中端,和用来还原密度图的后端组成。其中,使用堆叠池代替最大池化层,在不引入额外参数的前提下增加了模型的尺度不变性。网络模型前端采用部分VGG-16结构;中端采用FME(特征聚合模块),用来打破不同列之间的独立,以更好地提取多尺度特征信息;后端采用3列5层的不同扩张率的空洞卷积,在保持分辨率不变的情况下增加感受野,生成更高质量的人群密度图,并引入一种相对人数损失,以提升稀疏密度人群情况下模型的性能。该模型在两个最具挑战性的人群计数数据集上都取得了很好的效果。实验结果表明,在公开人群计数数据集ShanghaiTech的两个子集和UCF_CC_50上,该方法的平均绝对误差(MAE)和均方误差(MSE)分别是66.2和103.0、8.7和13.4、251.0和329.5,性能比传统人群计数方法更好。与其他模型相比,该模型拥有更高的精度和更好的鲁棒性,对稀疏人数图像有着更好的计数效果。     

密集场景下基于多尺度特征聚合的人群计数方法

密集场景下个体尺度存在巨大差异，目标个体尺度不一导致人群计数精度不高。针对这一问题，提出了一种密集场景下基于多尺度特征聚合的人群计数方法。该方法研究不同特征层级对不同尺度个体的特征信息表示能力，通过层级连接充分获取多尺度特征；同时，提出了一个多尺度特征聚合模块，采用多列具有不同扩张率的空洞卷积，通过动态特征选择机制自动调整感受野，以有效提取不同尺度个体的特征。该方法能够在保留小尺度个体特征信息的基础上进一步扩大感受野，增强大尺度个体的检测能力，使其更好地适应人群个体的多尺度变化。在3个公共人群计数数据集上进行了实验，实验结果表明，所提模型在计数准确性上有了进一步的提高，其中在ShanghaiTech数据集Part＿A上MAE为51.21,MSE为83.70。