基于密度分类及组合特征的人数估计算法*

为了克服不同人群密度及所采用特征对人数估计的影响,提出了一种基于人群密度分类及组合特征的人数统计算法。该算法包括离线特征组合选取和在线实时估计两个阶段。在离线阶段,选取密度阈值将图像样本分为高、低密度两类,然后通过实验方法选取最优的特征组合。在线估计阶段首先通过分类器将样本分为高、低密度两类,然后利用离线阶段选取的特征组合训练得到高斯模型,并分别对两类样本进行人数估计。实验结果表明,与不分高低密度相比,平均估计误差由10.6%降至8.1%;与目前主流的人数估计算法相比,本文算法的平均估计误差也更小。     

基于多尺度卷积神经网络的人群聚集异常预测

已有的公共场所人群聚集异常行为检测方法较少,且大多检测方法都是在人群已经异常聚集后再进行检测,检测准确率不高,时效性不够好。提出一种基于多尺度卷积神经网络（MCNN）的人群聚集异常预测模型。首先,通过多尺度卷积神经网络训练一个人群计数模型,用训练好的模型对人群聚集异常视频进行测试;然后在测试中完成人群人数统计与人群头部坐标点获取,进而计算人群密度、人群距离势能与人群分布熵;最后将得到的3种人群运动状态特征值利用PSO-ELM进行训练,得到预测模型,通过特征数据的变化,完成人群聚集行为的预测。实验结果表明,与现有算法相比,该模型能有效实现人群聚集异常行为的预警与检测,时效性强,为采取相应应急措施提供了更多时间,预测准确率达到了9717%。     

人数统计与人群密度估计技术研究现状与趋势

人数统计与人群密度估计是人群分析中的重要分支,也是视频监控所关注的重要信息之一。尽管近几十年来该领域取得了一些重要进展,但仍存在一些具有挑战性的问题。综述了基于计算机视觉的人数统计与人群密度估计方法的研究现状以及发展动态。首先,介绍了人数统计与人群密度估计技术的发展背景及应用方向。其次,总结了近年来提出的比较重要的方法,从机器学习的角度,将其分为浅层学习的方法和深度学习的方法;而从学习到的模型角度又可将其分为直接的方法(即基于检测的方法)和间接的方法(如基于像素的方法、基于纹理的方法以及基于角点的方法)。详细介绍了近二十年来基于浅层学习的方法,并对近些年来基于深度学习的人数统计与人群密度估计技术做了一个简要的总结。然后,对人数统计及人群密度估计方法性能评估技术进行简介,并提供了几个用于人数统计与人群密度估计的测试与评估数据集。最后,总结了该领域存在的技术挑战并对未来的研究方向进行了展望。     

Skip-connection convolutional neural network for still image crowd counting

In recent years, crowd counting in still images has attracted many research interests due to its applications in public safety. However, it remains a challenging task for reasons of perspective and scale variations. In this paper, we propose an effective Skip-connection Convolutional Neural Network (SCNN) for crowd counting to overcome the issue of scale variations. The proposed SCNN architecture consists of several multi-scale units to extract multi-scale features. Each multi-scale unit including three convolutional layers builds connections between the input and each convolutional layer. In addition, we propose a scale-related training method to improve the accuracy and robustness of crowd counting. We evaluate our method on three crowd counting benchmarks. Experimental results verify the efficiency of the proposed method, and it achieves superior performance compared with other methods.     

融合注意力机制与上下文密度图的人群计数网络

为分析商业区人群流动情况,或避免人群踩踏等公共事件的发生,通常采用人群计数方法统计监控图像中的人数信息,从而达到提前预警的效果。受目标遮挡、背景干扰、多尺度变化等因素的影响,现有的人群计数方法在统计人数信息的过程中存在误算或漏算的问题,导致准确率降低。提出一种基于注意力机制与上下文密度图融合的人群计数网络CADMFNet。以VGG16的部分卷积层作为前端网络,通过引入上采样融合模块对输入的特征图进行上下文特征融合,将不同膨胀率的膨胀卷积作为后端网络,生成高质量的中间密度图。在此基础上,采用上下文注意力模块融合不同层级的中间密度图,获得精细的人群密度图。实验结果表明,该网络在Mall数据集上的平均绝对误差和均方根误差分别为1.31和1.59,相比CSRNet、MCNN等网络,能够有效提高计数的准确度,并且具有较优的鲁棒性。     

基于单列多尺度卷积神经网络的人群计数

单张图片和监控视频中的人群计数问题在近年来受到了越来越多的关注。尺度的变化和人群遮挡等问题,导致人群计数是一项十分具有挑战性的任务,但是深度卷积神经网络被证明能有效地解决这一问题。文中提出了一种单列多尺度的卷积神经网络,该网络提供了一种数据驱动的深度学习方法,能够理解各种不同的场景,并能进行精确的计数估计。该网络模型主要由作为二维特征提取的前端与中端,和用来还原密度图的后端组成。其中,使用堆叠池代替最大池化层,在不引入额外参数的前提下增加了模型的尺度不变性。网络模型前端采用部分VGG-16结构;中端采用FME(特征聚合模块),用来打破不同列之间的独立,以更好地提取多尺度特征信息;后端采用3列5层的不同扩张率的空洞卷积,在保持分辨率不变的情况下增加感受野,生成更高质量的人群密度图,并引入一种相对人数损失,以提升稀疏密度人群情况下模型的性能。该模型在两个最具挑战性的人群计数数据集上都取得了很好的效果。实验结果表明,在公开人群计数数据集ShanghaiTech的两个子集和UCF_CC_50上,该方法的平均绝对误差(MAE)和均方误差(MSE)分别是66.2和103.0、8.7和13.4、251.0和329.5,性能比传统人群计数方法更好。与其他模型相比,该模型拥有更高的精度和更好的鲁棒性,对稀疏人数图像有着更好的计数效果。     

多任务多层级CNN在人群计数中的应用

为了提升人群图像的计数精度,设计一种多层级多任务深度卷积网络。多层级神经网络由卷积和上采样的组合方式构成,该网络的优点在于结合浅层网络提取的细节信息和深层网络提取的高阶语义信息。在此基础上,使用多任务学习的方法提升网络性能,多任务学习分为两个部分：人群密度估计任务和人群密度等级分类任务。网络的高分辨率层与人群密度估计任务相连,网络的深层与人群密度等级分类任务相连。将两个任务的损失融合并构成新的损失函数。实验在人群计数公共数据集ShanghaiTech、WorldExpo’10和UCF_CC_50上进行,实验结果表明,该网络在人群计数上具有较好的准确率和鲁棒性。     

基于像素级注意力机制的人群计数方法

针对人群分布不均和网络学习参数众多问题,提出了一种由像素级注意力机制（PAM）和改进的单列人群密度估计网络两部分组成的高密度人群计数方法。首先,使用PAM通过对人群图像进行像素级别的分类来生成高质量的局部人群密度图,利用全卷积网络（FCN）生成每个图像的密度掩码,将图像中的像素分为不同的密度级别;然后,以生成的密度掩码为标签,使用单列人群密度估计网络以更少的参数学习到更多的代表性特征。在此之前,在Shanghaitech数据集part_B部分、UCF_CC_50数据集以及WorldExpo'10数据集上,拥塞场景识别网络（CSRNet）方法的计数误差最小。将所提方法与CSRNet方法的误差结果对比,发现所提方法在Shanghaitech数据集part_B部分的平均绝对误差（MAE）和均方误差（MSE）分别降低了8.49%和4.37%;在UCF_CC_50数据集上的MAE和MSE分别降低了58.38%和51.98%,优化效果显著;在WorldExpo'10数据集上的整体平均值部分的MAE降低了1.16%。实验结果表明,在针对人群分布不均的高密度人群计数时,结合PAM和单列人群密度估计网络的方法能够有效提高高密度人群计数的精确度和训练效率。     

Scene-adaptive crowd counting method based on meta learning with dual-input network DMNet

Crowd counting is recently becoming a hot research topic, which aims to count the number of the people in different crowded scenes. Existing methods are mainly based on training-testing pattern and rely on large data training, which fails to accurately count the crowd in real-world scenes because of the limitation of model’s generalization capability. To alleviate this issue, a scene-adaptive crowd counting method based on meta-learning with Dual-illumination Merging Network (DMNet) is proposed in this paper. The proposed method based on learning-to-learn and few-shot learning is able to adapt different scenes which only contain a few labeled images. To generate high quality density map and count the crowd in low-lighting scene, the DMNet is proposed, which contains Multi-scale Feature Extraction module and Element-wise Fusion Module. The Multi-scale Feature Extraction module is used to extract the image feature by multi-scale convolutions, which helps to improve network accuracy. The Element-wise Fusion module fuses the low-lighting feature and illumination-enhanced feature, which supplements the missing illumination in low-lighting environments. Experimental results on benchmarks, WorldExpo’10, DISCO, USCD, and Mall, show that the proposed method outperforms the existing state-of-the-art methods in accuracy and gets satisfied results.     

基于SSD卷积神经网络的公交车下车人数统计

传统典型的公交车人数统计方法在准确率和速度方面存在一些不足,且提取目标特征的效果较差.本文提出了基于深度卷积神经网络的公交车人数统计系统解决人群计数问题.首先制作数据集,难点在于所有用于训练的数据集均是手工标注.并且公交车摄像头角度比以往文献覆盖更广区域.本文首先比较了多种不同的深度卷积神经网络模型对乘客进行全身检测的效果.综合考虑检测速率、准确率等方面,最终采用单次检测器深度卷积神经网络模型对乘客进行人头目标检测,在线实时目标追踪算法实现人头的多目标追踪,跨区域人群计数方法统计公交车下车人数.系统准确率达到78.38%,运行速率约为每秒识别19.79帧.实现了人群计数.     

基于对抗式扩张卷积的多尺度人群密度估计

目的 人群密度估计任务是通过对人群特征的提取和分析,估算出密度分布情况和人群计数结果。现有技术运用的CNN网络中的下采样操作会丢失部分人群信息,且平均融合方式会使多尺度效应平均化,该策略并不一定能得到准确的估计结果。为了解决上述问题,提出一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。方法 利用扩张卷积在不损失分辨率的情况下对输入图像进行特征提取,且不同的扩张系数可以聚集多尺度上下文信息。最后通过对抗式损失函数将网络中提取的不同尺度的特征信息以合作式的方式融合,得到准确的密度估计结果。结果 在4个主要的人群计数数据集上进行对比实验。在测试阶段,将测试图像输入训练好的生成器网络,输出预测密度图;将密度图积分求和得到总人数,并以平均绝对误差（MAE）和均方误差（MSE）作为评价指标进行结果对比。其中,在ShanghaiTech数据集上Part_A的MAE和MSE分别降至60.5和109.7,Part_B的MAE和MSE分别降至10.2和15.3,提升效果明显。结论 本文提出了一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。实验结果表明,在人群分布差异较大的场景中构建的算法模型有较好的自适应性,能根据不同的场景提取特征估算密度分布,并对人群进行准确计数。     

基于图像视野划分的公共场所人群计数模型

为解决公共场所中人群分布不均以及目标尺度不一而影响人数估计的问题,提出了基于图像视野划分的公共场所人群计数模型。首先将图像场景划分为远近视野两个区域,对近视野区域,使用基于YOLO的网络进行行人检测并通过添加场景约束避免在远近视野区域内重复计数;对远视野区域,使用改进的MobileNets提取人群密度分布特征,并引入超分辨率重建模块提升人群密度图质量,最终通过计算两者之和得到整幅图像中的人群数量。在Shanghai Tech和Mall数据集上进行测试,结果表明该模型在准确性和鲁棒性上有显著的提高,实验证明模型切实可行。     

FF-CAM:基于通道注意机制前后端融合的人群计数

单个图像中的人群计数在计算机视觉领域中备受关注,因为其在公共安全方面具有重要作用.例如,在人群聚集的场景中监控设备可以实时监测人群数量变化,对过度拥挤和异常情况进行预警以预防安全事故的发生.然而,由于受到遮挡、透视扭曲、尺度变化和背景干扰的严重影响,在单个图像中对人群计数的预测要达到较高精确度是极其困难的,其面临着巨大...     

DNeStCount:数据相关的拆分注意力机制的编码器-解码器结构的人群计数方法

人群数量估计是人群管理系统的关键,对于预防踩踏事故和引导人群至关重要,已成为一个日益重要的任务和具有挑战性的研究方向。本文提出一种数据相关的拆分注意力机制的编码器-解码器结构的人群计数方法,称为DNe StCount。为应对视频监控的尺度变化和透视失真的挑战,将更密集的空洞采样比率应用到密集空洞空间金字塔池化模块DASPP设计中。为提升密度图估计的准确性,将可学习的、数据相关的上采样方法 DUpsampling应用到特征聚合模块DFA设计中。为弥补欧几里德损失可能存在对离群值敏感、训练不稳定等缺点,采用Smooth L1损失设计损失函数。在具有挑战性的数据集上进行的实验和分析表明,本文提出的人群计数方法 DNe St Count与其他主流方法相比更具有竞争力。     

Directional pedestrian counting with a hybrid map-based model

Detection-based pedestrian counting methods produce results of considerable accuracy in non-crowded scenes. However, the detection-based approach is dependent on the camera viewpoint. On the other hand, map-based pedestrian counting methods are performed by measuring features that do not require separate detection of each pedestrian in the scene. Thus, these methods are more effective especially in high crowd density. In this paper, we propose a hybrid map-based model that is a new directional pedestrian counting model. Our proposed model is composed of direction estimation module with classified foreground motion vectors, and pedestrian counting module with principal component analysis. Our contributions in this paper have two aspects. First, we present a directional moving pedestrian counting system that does not depend on object detection or tracking. Second, the number and major directions of pedestrian movements can be detected, by classifying foreground motion vectors. This representation is more powerful than simple features in terms of handling noise, and can count the moving pedestrians in images more accurately.

     

基于群体性行为模型的人群分析及其应用

基于视频分析的人群监控,涉及到获取人群行为和数量,这在智能监控领域具有重要的现实价值。本文建立基于运动特征的群体性行为模型,挖掘复杂人群场景中的群体行为,用于人群行为和数量的分析。群体性行为模型是一种主题模型（LDA）,通过样本学习,可以获得描述不同群体行为的特征集,用于人群分析。实验中,将群体性行为模型应用于挖掘监控场景下的不同人群行为及其特征集,并使用人工神经网络完成人数统计,统计正确率达到92.35%。     

Pyramid-dilated deep convolutional neural network for crowd counting

Statistics on crowds in crowded scenes can reflect the density level of crowds and provide safety warnings. This is a laborious task if conducted manually. In recent years, automated crowd counting has received extensive attention in the computer vision field. However, this task is still challenging mainly due to the serious occlusion in crowds and large appearance variations caused by the viewing angles of cameras. To overcome these difficulties, a pyramid-dilated deep convolutional neural network for accurate crowd counting called PDD-CNN is proposed. PDD-CNN is based on a VGG-16 network that is designed to generate dense attribute feature maps from an image with an arbitrary size or resolution. Then, two pyramid dilated modules are adopted, each consisting of four parallel dilated convolutional layers with different rates and a parallel average pooling layer to capture the multiscale features. Finally, three cascading dilated convolutions are used to regress the density map and perform accurate count estimation. In addition, a novel training loss, combining the Euclidean loss with the structural similarity loss, is employed to attenuate the blurry effects of density map estimation. The experimental results on three datasets (ShanghaiTech, UCF_CC_50, and UCF-QNRF) demonstrate that the proposed PDD-CNN produces high-quality density maps and achieves a good counting performance.

     

Scene-adaptive accurate and fast vertical crowd counting via joint using depth and color information

Reliable and real-time crowd counting is one of the most important tasks in intelligent visual surveillance systems. Most previous works only count passing people based on color information. Owing to the restrictions of color information influences themselves for multimedia processing, they will be affected inevitably by the unpredictable complex environments (e.g. illumination, occlusion, and shadow). To overcome this bottleneck, we propose a new algorithm by multimodal joint information processing for crowd counting. In our method, we use color and depth information together with a ordinary depth camera (e.g. Microsoft Kinect). Specifically, we first detect each head of the passing or still person in the surveillance region with adaptive modulation ability to varying scenes on depth information. Then, we track and count each detected head on color information. The characteristic advantage of our algorithm is that it is scene adaptive, which means the algorithm can be applied into all kinds of different scenes directly without additional conditions. Based on the proposed approach, we have built a practical system for robust and fast crowd counting facing complicated scenes. Extensive experimental results show the effectiveness of our proposed method.     

人群计数研究综述

人群计数广泛应用在公共安防、视频监控和智慧城市建设等领域,对控制特定场所人数、指挥公共交通、防止疫情蔓延、保障社会稳定具有重要积极意义。传统的计数方法精度不高、场景受限,随着深度学习的发展,传统方法逐渐被卷积神经网络（convolutional neural network,CNN）方法代替。介绍了人群计数的研究背景、现状和发展趋势,叙述了两种传统方法;从计数精度、网络结构、评价指标和数据集等方面重点分析了CNN方法,发现CNN技术可以有效解决多尺度和跨场景等问题;阐述了基于Vision Transformer（ViT）序列的弱监督计数方法并且对比各类方法。对未来人群计数的研究前景做出展望。