基于尺度自适应卷积神经网络的人群计数算法

为解决单幅图像中的人群遮挡和尺度变化问题,提出一种基于多列卷积神经网络的人群计数算法。利用具有不同尺寸感受野的卷积神经网络(CNN)和特征注意力模块自适应提取多尺度人群特征,引入可变形卷积增强CNN网络空间几何形变学习能力并优化特征图,从而生成高质量的密度图。Shanghai Tech和UCF_CC_50数据集上的实验结果表明,该算法能学习输入图和人群密度图之间的映射关系,且计数准确性高、鲁棒性强。     

基于空间维度循环感知网络的密集人群计数模型

考虑目前对具有透视畸变的高密度人群图像进行特征提取的局限性，提出了一种融合全局特征感知网络（GFPNet）和局部关联性特征感知网络（LAFPNet）的人群计数模型LMCNN。GFPNet是LMCNN的主干网络，将其输出的特征图进一步序列化并作为LAFPNet的输入，再利用循环神经网络（RNN）在时序维度上对局部关联性特征感知的特点将单一的空间静态特征映射到具有局部序列关联性特征的特征空间，从而有效地削减了透视畸变对人群密度估计造成的影响。为了验证所提模型的有效性，在Shanghaitech Part A子集和UCF_CC_50数据集上与原子卷积空间金字塔网络（ACSPNet）进行对比，结果表明所提模型的平均绝对误差（MAE）分别至少减小了18.7%和20.30%，均方误差（MSE）分别至少减小了22.3%和22.6%。LMCNN注重空间维度上前后特征的相关性，通过对空间维度特征与单图像内序列特征的充分融合，减小了由透视畸变引起的人群计数误差，能更加准确地预测密集区域人数，提高人群密度回归精度。     

基于像素级注意力机制的人群计数方法

针对人群分布不均和网络学习参数众多问题,提出了一种由像素级注意力机制（PAM）和改进的单列人群密度估计网络两部分组成的高密度人群计数方法。首先,使用PAM通过对人群图像进行像素级别的分类来生成高质量的局部人群密度图,利用全卷积网络（FCN）生成每个图像的密度掩码,将图像中的像素分为不同的密度级别;然后,以生成的密度掩码为标签,使用单列人群密度估计网络以更少的参数学习到更多的代表性特征。在此之前,在Shanghaitech数据集part_B部分、UCF_CC_50数据集以及WorldExpo'10数据集上,拥塞场景识别网络（CSRNet）方法的计数误差最小。将所提方法与CSRNet方法的误差结果对比,发现所提方法在Shanghaitech数据集part_B部分的平均绝对误差（MAE）和均方误差（MSE）分别降低了8.49%和4.37%;在UCF_CC_50数据集上的MAE和MSE分别降低了58.38%和51.98%,优化效果显著;在WorldExpo'10数据集上的整体平均值部分的MAE降低了1.16%。实验结果表明,在针对人群分布不均的高密度人群计数时,结合PAM和单列人群密度估计网络的方法能够有效提高高密度人群计数的精确度和训练效率。     

基于多尺度感知和图像关联的人群计数方法

人群计数广泛应用于公共安防、视频监控等领域，但由于目标遮挡、背景干扰以及人群尺度变化等因素的影响，人群计数模型的准确率有所降低。基于深度学习卷积神经网络架构，提出了一种基于多尺度感知和图像关联的人群计数方法。其中，多尺度感知模型包括初级特征提取网络、多尺度特征提取模块、特征融合模块和一个后段架构用来提取图像的多尺度特征，从而适应尺度的变化；而图像关联模型使用特征关联模块和融合模块将输入图像与相干图像进行联系，通过学习图像之间的深层关联性来提升预测密度图的质量。在ShanghaiTech Part＿A、Part＿B和UCF＿CC＿50等公开数据集上的实验结果表明，提出的方法在MAE、RMSE和SSIM三项指标上均有较好性能。     

基于多尺度空间注意力特征融合的人群计数网络

针对严重的尺度变化和遮挡导致在不同密集场景人群计数任务中性能差的问题,在密集场景识别网络（CSRNet）的基础上通过增加多尺度特征融合结构并引入空间注意力机制,提出了一种多尺度空间注意力特征融合网络（MAFNet）。在MAFNet进行特征提取之前,需要对添加了人头标记的场景图进行高斯滤波生成真实密度图;此外,MAFNet还通过联合使用两种基本损失函数的方法来约束密度估计图与真实密度图的一致性。接着,MAFNet以多尺度特征融合结构为主干,首先采用边提取多尺度特征边融合的策略得到多尺度融合特征图,然后使用空间注意力模块对特征图进行校准和再融合,之后通过扩张卷积生成密度估计图,最后对密度估计图逐像素积分得到场景中的人数。为了验证所提出模型的有效性,在四个人群计数数据集（ShanghaiTech、UCF_CC_50、UCF_QRNF和World-Expo’10）上进行了评估。其中ShanghaiTech数据集PartB的实验结果显示,MAFNet与CSRNet相比,平均绝对误差（MAE）降低了34.9%,均方误差（MSE）降低了29.4%。在多个数据集上的实验结果表明,采用注意力机制和多尺度特征融合策略使MAFNet可以提取更多细节信息,减少尺度变化和遮挡带来的影响。     

基于多尺度多任务卷积神经网络的人群计数

在智能监控领域，实现人群计数具有重要价值，针对人群尺度不一、人群密度分布不均及遮挡等问题，提出一种多尺度多任务卷积神经网络（MMCNN）进行人群计数的方法。首先提出一种新颖的自适应人形核生成密度图描述人群信息，消除人群遮挡影响；其次通过构建多尺度卷积神经网络解决人群尺度不一问题，以多任务学习机制同时估计密度图及人群密度等级，解决人群分布不均问题；最后设计一种加权损失函数，提高人群计数准确率。在UCF_CC_50和World Expo'10数据库上进行了评估，验证了自适应人形核的有效性。实验结果表明：所提算法比Sindagi等的方法（SINDAGI V A，PATEL V M.CNN-based cascaded multi-task learning of high-level prior and density estimation for crowd counting.Proceedings of the 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance.Piscataway，NJ：IEEE，2017：1-6）在UCF_CC_50数据库上平均绝对误差（MAE）数值和均方误差（MSE）数值分别降低约1.7和45；与Zhang等的方法（ZHANG Y，ZHOU D，CHEN S，et al.Single-image crowd counting via multi-column convolutional neural network.Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition.Washington，DC：IEEE Computer Society，2016：589-597）相比，在World Expo'10数据库上所提算法的MAE值降低约1.5，且在真实公共汽车数据库上仅0~3人的计数误差，表明其实用性较强。     

基于单列多尺度卷积神经网络的人群计数

单张图片和监控视频中的人群计数问题在近年来受到了越来越多的关注。尺度的变化和人群遮挡等问题,导致人群计数是一项十分具有挑战性的任务,但是深度卷积神经网络被证明能有效地解决这一问题。文中提出了一种单列多尺度的卷积神经网络,该网络提供了一种数据驱动的深度学习方法,能够理解各种不同的场景,并能进行精确的计数估计。该网络模型主要由作为二维特征提取的前端与中端,和用来还原密度图的后端组成。其中,使用堆叠池代替最大池化层,在不引入额外参数的前提下增加了模型的尺度不变性。网络模型前端采用部分VGG-16结构;中端采用FME(特征聚合模块),用来打破不同列之间的独立,以更好地提取多尺度特征信息;后端采用3列5层的不同扩张率的空洞卷积,在保持分辨率不变的情况下增加感受野,生成更高质量的人群密度图,并引入一种相对人数损失,以提升稀疏密度人群情况下模型的性能。该模型在两个最具挑战性的人群计数数据集上都取得了很好的效果。实验结果表明,在公开人群计数数据集ShanghaiTech的两个子集和UCF_CC_50上,该方法的平均绝对误差(MAE)和均方误差(MSE)分别是66.2和103.0、8.7和13.4、251.0和329.5,性能比传统人群计数方法更好。与其他模型相比,该模型拥有更高的精度和更好的鲁棒性,对稀疏人数图像有着更好的计数效果。     

基于尺度融合的密集人群计数

现实场景中人群尺度的巨大差异给密集人群计数算法带来了巨大的挑战,因此提出一种基于尺度融合的密集人群计数算法.首先对密度图构建算法进行优化,利用多个头部检测器获取稀疏人群的部分头部尺度,并用径向基差值进行补全,在人群密集区域辅之以距离自适应的人群密度图生成算法,生成更为精确的人群密度图.其次利用移动翻转瓶颈卷积模块设计尺度融合的人群密度图回归神经网络,并加入膨胀卷积模块进一步提升人体头部边缘特征提取能力.最后,通过将人群区域和非人群区域进行区分对人群密度图回归神经网络损失函数进行优化.在实验部分,将该算法在多个数据集上与多个同类算法进行了充分的对比实验与消融实验,实验结果表明提出的方法能够显著提升密集人群计数算法的准确性.     

基于深度特征融合生成的密集人群计数网络

为了进一步提高密集人群计数任务的计数精度,提出一种利用深度语义特征逐步降维重建的密集人群计数网络。前端采用深度卷积网络得到基本的深度语义特征;后端采用基于空洞卷积的多尺度特征融合块来丰富深度语义特征。通过语义重建块与上采样相结合,在进行多次降维重建以后生成与原始图像相同分辨率的人群密度图,并由此得到人群数量。将该模型在公开的数据集ShanghaiTech、UCF_CC_50、UCF-QNRF上与历年的主要方法进行对比,该方法无论是在人群计数精度还是密度图质量上都体现出了明显的优势,同时在多个数据上的验证实验表明模型具有较好的鲁棒性。     

比例融合与多层规模感知的人群计数方法

针对密集场景下人群图像拍摄视角或距离多变造成的多尺度特征获取不足、融合不佳和全局特征利用不充分等问题,提出一种比例融合与多层规模感知的人群计数网络。首先采用骨干网络VGG16提取人群密度初始特征;其次,设计多层规模感知模块,获得人群多尺度信息的丰富表达;再次,提出比例融合策略,根据卷积层捕获的特征权重重构多尺度信息,提取显著性人群特征;最后,采用卷积回归策略进行密度图的回归。同时,提出一种局部一致性损失函数,通过区域化密度图的方式增强生成密度图与真实密度图的相似度,提高计数性能。在多个人群数据集上的试验结果表明,所提模型优于近年人群计数的先进方法,且在车辆计数上有较好推广性。     

基于多列卷积神经网络的参数异步更新算法

针对现有人群计数算法采用同步人工优化深度学习网络,忽略了网络学习的负面信息,导致大量冗余参数甚至过拟合,进而影响到计数准确性的问题,提出基于多列卷积神经网络MCNN(Multi-column Convolution Neural Network)的参数异步更新算法.首先将单帧图像输入网络,经过三列卷积分别提取不同尺度特...     

基于背景抑制与上下文感知的人群计数网络

针对图像背景噪声、透视畸变等影响人群计数网络计数精度的问题,提出一种基于背景抑制与上下文感知的新网络。利用VGG-16网络提取图像特征,并分别将特征输入密度图生成模块和背景噪声抑制（BNS）模块中进行处理,生成密度特征图和空间注意力图。使用BNS模块优化密度特征图并生成初级密度图,以抑制图像中背景噪声干扰,提高人群区域的特征权重。为减少透视畸变对人群密度估计的影响,使用上下文感知增强网络优化初级密度图,并生成预测密度图。在ShanghaiTech、UCF-CC-50及UCF-QNRF 3个公开数据集上的实验结果表明,该网络相较于MCNN、SwitchCNN、CSRNet等网络的计算准确度较高,尤其在UCF-QNRF数据集上其平均绝对误差和均方误差分别为85.8、146.0,相较于其他网络最高分别下降69.0%和67.2%,能充分抑制图像背景噪声并有效减小透视畸变引起的误差,具有良好的泛化能力和较强的鲁棒性。     

FF-CAM:基于通道注意机制前后端融合的人群计数

单个图像中的人群计数在计算机视觉领域中备受关注,因为其在公共安全方面具有重要作用.例如,在人群聚集的场景中监控设备可以实时监测人群数量变化,对过度拥挤和异常情况进行预警以预防安全事故的发生.然而,由于受到遮挡、透视扭曲、尺度变化和背景干扰的严重影响,在单个图像中对人群计数的预测要达到较高精确度是极其困难的,其面临着巨大...     

基于多尺度特征融合的人群计数算法

针对密集场景下人群目标尺度变化大导致识别精度不高的问题,本文提出两种多尺度特征融合结构:注意力加权融合模块(attention-weighted fusion module,AWF)和自底向上融合模块(bottom-up fusion module,BUF).其中AWF模块引入注意力分支学习特征图的权重,并将加权后的多...     

AutoScale: Learning to Scale for Crowd Counting

International Journal of Computer Vision - Recent works on crowd counting mainly leverage Convolutional Neural Networks (CNNs) to count by regressing density maps, and have achieved great progress....