一种基于图像处理的人群密度估计方法

公共场景监控下的人群密度估计是公共安全管理中的一个重要内容,因此,对基于图像处理的智能化人群密度估计方法进行了研究。结合使用像素统计和纹理分析的方法,从定性和定量两个方面确定了人群人数和人群密度等级。针对大场景的人群密度监控情况,提出了根据实际场景在图像中的比例将大场景分成所需的小区域,然后对每个子区域进行人群密度估计,从而完成全场景的人群密度估计。实验结果表明这种方法简单、有效、实用,便于在实际中的应用,为机场、地铁、车站等公共场所的预警系统提供有力的帮助。     

基于可变形部件模型的人群计数方法

为实现户外场景下中等密度人群的高精度高鲁棒性计数,基于因为可变形部件模型优越的准确性和鲁棒性,首先使用其来进行行人检测,来获得大量的检测候选框,然后对获得的候选框进行预处理。接下来提取各个预处理后的候选框的空间、时间以及颜色特征,基于这些特征,用狄迪克雷混合模型和吉布斯采样理论来对候选框进行聚类。通过这种方式,获得人群团块的区域。最后使用基于角点的人群计数方法来对每个人群团块区域进行人群计数,通过综合这些检测结果,最终得到人群数目。     

特征增强损失与前景注意力人群计数网络

人群计数旨在准确估计图像中的总人数并呈现其分布。相关数据集中的图像通常涉及各类场景且包含多人。为节约人力，大多数数据集通常在每个人头部以单点标注作为标签。然而，点标签无法囊括人头部的完整范围，使得人群特征与分布标签的匹配难以收敛，预测值无法聚集在前景区域，严重影响密度估计图质量和模型计数准确度。为了解决这个问题，使用计数损失来约束全图上的预测值范围，并佐以像素级的分布一致损失优化密度图匹配过程。此外，复杂场景中存在许多易与人群特征混淆的背景噪声，为了避免假阳性预测对后续计数和密度图估计的干扰，提出前景分割模块和特征增强损失来自适应地聚焦前景区域，并加大前景位置上人头特征对计数的贡献，从而达到抑制背景误判的作用。此外，为了使网络更好地适应人头的多尺度形态，对每个待训练图片分别进行上下采样操作，以获得具有同目标的多尺度形态。在多个数据集上进行了实验，结果表明，与最先进的方法相比，所提方法取得了更好或更有竞争力的结果。     

高低密度多维视角多元信息融合人群计数方法

针对人群密度在二维图像中随图像视角变化呈现较大差异、特征空间多尺度信息丢失等问题,提出一种多维视角多元信息融合(MDPMIF)的人群密度估计方法.首先,由“上-左-右-下”的方向对视角变化进行信息编码,通过递进聚合方式捕获深层次全局上下文信息,同步提取多维度视角的尺度关系特征;然后,设计联合学习策略获取全局尺度关系特征,并将全局上下文表达、全局尺度关系特征集成,得到更全面的视角变换描述;最后,采用语义嵌入方式实现高、低阶特征相互补充,增强输出密度图的质量.同时,真实场景下的人群聚集模式存在差异,单纯密度图方法易对图像中的低聚集部分造成人群计数高估,基于此,提出一种高低密度多维视角多元信息融合人群计数网络.设计高低密度区分策略对MDPMIF输出进行高低密度区域自适应划分,高密区域保持MDPMIF网络估计结果,低密区域采用检测方法实现人群计数修正,提高模型的鲁棒性.实验结果表明,所提出方法的性能优于对比方法.     

基于对抗式扩张卷积的多尺度人群密度估计

目的 人群密度估计任务是通过对人群特征的提取和分析,估算出密度分布情况和人群计数结果。现有技术运用的CNN网络中的下采样操作会丢失部分人群信息,且平均融合方式会使多尺度效应平均化,该策略并不一定能得到准确的估计结果。为了解决上述问题,提出一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。方法 利用扩张卷积在不损失分辨率的情况下对输入图像进行特征提取,且不同的扩张系数可以聚集多尺度上下文信息。最后通过对抗式损失函数将网络中提取的不同尺度的特征信息以合作式的方式融合,得到准确的密度估计结果。结果 在4个主要的人群计数数据集上进行对比实验。在测试阶段,将测试图像输入训练好的生成器网络,输出预测密度图;将密度图积分求和得到总人数,并以平均绝对误差（MAE）和均方误差（MSE）作为评价指标进行结果对比。其中,在ShanghaiTech数据集上Part_A的MAE和MSE分别降至60.5和109.7,Part_B的MAE和MSE分别降至10.2和15.3,提升效果明显。结论 本文提出了一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。实验结果表明,在人群分布差异较大的场景中构建的算法模型有较好的自适应性,能根据不同的场景提取特征估算密度分布,并对人群进行准确计数。     

一种基于区域划分的人群密度估计快速方法

公共场景监控下的人群密度估计是公共安全管理中的一个重要内容。针对大场景监控情况,研究了一种基于区域划分的智能化人群密度估计快速方法。在帧差提取出的彩色视频背景的基础上,按视觉比例将大场景分成子区域,然后对某个子区域采用像素统计的方法实现人群密度估计,其余子区域采用自适应比例的方法实现人群密度快速估计。实验结果表明该方法在实际应用中简单、有效、快速,能为公共场所的预警系统提供有力的帮助。     

基于多尺度特征融合的抗背景干扰人群计数网络

随着计算机视觉和人工智能相关技术的快速发展,基于智能视频分析的人群计数算法取得长足进步,但在计数准确性和算法鲁棒性上还有很大的提升空间.针对复杂场景人群计数任务中存在的目标多尺度及背景干扰等问题,文中提出基于多尺度特征融合的抗背景干扰人群计数网络(Anti-Background Interference Crowd Counting Network Based on Multi-scale Feature Fusion, AntiNet-MFF).在U-Net网络架构基础上融入多层次特征分割提取模块,借助深度学习强大的表征能力提取人群多尺度特征.同时,为了提升计数模型对人群区域的关注度,减少背景噪声干扰,在解码阶段生成背景分割注意力图,作为注意力引导计数模型聚焦人头区域,提升人群分布密度图的质量.在多个典型人群计数数据集上的实验表明,AntiNet-MFF在准确性和鲁棒性上都取得良好效果.     

基于像素级注意力机制的人群计数方法

针对人群分布不均和网络学习参数众多问题,提出了一种由像素级注意力机制（PAM）和改进的单列人群密度估计网络两部分组成的高密度人群计数方法。首先,使用PAM通过对人群图像进行像素级别的分类来生成高质量的局部人群密度图,利用全卷积网络（FCN）生成每个图像的密度掩码,将图像中的像素分为不同的密度级别;然后,以生成的密度掩码为标签,使用单列人群密度估计网络以更少的参数学习到更多的代表性特征。在此之前,在Shanghaitech数据集part_B部分、UCF_CC_50数据集以及WorldExpo'10数据集上,拥塞场景识别网络（CSRNet）方法的计数误差最小。将所提方法与CSRNet方法的误差结果对比,发现所提方法在Shanghaitech数据集part_B部分的平均绝对误差（MAE）和均方误差（MSE）分别降低了8.49%和4.37%;在UCF_CC_50数据集上的MAE和MSE分别降低了58.38%和51.98%,优化效果显著;在WorldExpo'10数据集上的整体平均值部分的MAE降低了1.16%。实验结果表明,在针对人群分布不均的高密度人群计数时,结合PAM和单列人群密度估计网络的方法能够有效提高高密度人群计数的精确度和训练效率。     

基于尺度融合的密集人群计数

现实场景中人群尺度的巨大差异给密集人群计数算法带来了巨大的挑战,因此提出一种基于尺度融合的密集人群计数算法.首先对密度图构建算法进行优化,利用多个头部检测器获取稀疏人群的部分头部尺度,并用径向基差值进行补全,在人群密集区域辅之以距离自适应的人群密度图生成算法,生成更为精确的人群密度图.其次利用移动翻转瓶颈卷积模块设计尺度融合的人群密度图回归神经网络,并加入膨胀卷积模块进一步提升人体头部边缘特征提取能力.最后,通过将人群区域和非人群区域进行区分对人群密度图回归神经网络损失函数进行优化.在实验部分,将该算法在多个数据集上与多个同类算法进行了充分的对比实验与消融实验,实验结果表明提出的方法能够显著提升密集人群计数算法的准确性.     

基于序的空间金字塔池化网络的人群计数方法

视频中的人群计数在智能监控领域具有重要价值. 由于摄像机透视效果、图像背景、人群密度分布不均匀和行人遮挡等干扰因素的制约, 基于底层特征的传统计数方法准确率较低. 本文提出一种基于序的空间金字塔池化(Rank-based spatial pyramid pooling, RSPP)网络的人群计数方法. 该方法将原图像分成多个具有相同透视范围的子区域并在各个子区域分别取不同尺度的子图像块, 采用基于序的空间金字塔池化网络估计子图像块人数, 然后相加所有子图像块人数得出原图像人数. 提出的图像分块方法有效地消除了摄像机透视效果和人群密度分布不均匀对计数的影响. 提出的基于序的空间金字塔池化不仅能够处理多种尺度的子图像块, 而且解决了传统池化方法易损失大量重要信息和易过拟合的问题. 实验结果表明, 本文方法相比于传统方法具有准确率高和鲁棒性好的优点.     

基于多层BP神经网络和无参数微调的人群计数方法

针对大部分现有的人群计数方法被应用到新的场景时性能下降的问题,在多层BP神经网络框架下,提出一种具有无参数微调的人群计数方法。首先,从训练图像中裁切图像块,将获得的相似尺度的行人作为人群BP神经网络模型的输入;然后,BP神经网络模型通过学习预测密度图,得到了一个具有代表性的人群块;最后,为了处理新场景,对训练好的BP神经网络模型进行目标场景微调,可追求有相同属性的样本,包括候选块检索和局部块检索。实验数据集包括PETS2009数据集、UCSD数据集和UCF_CC_50数据集。这些场景的实验结果验证了提出方法的有效性。相比于全局回归计数法和密度估计计数法,提出的方法在平均绝对误差和均方误差方面均有较大优势, 消除了场景间区别和前景分割的影响。     

人数统计与人群密度估计技术研究现状与趋势

人数统计与人群密度估计是人群分析中的重要分支,也是视频监控所关注的重要信息之一。尽管近几十年来该领域取得了一些重要进展,但仍存在一些具有挑战性的问题。综述了基于计算机视觉的人数统计与人群密度估计方法的研究现状以及发展动态。首先,介绍了人数统计与人群密度估计技术的发展背景及应用方向。其次,总结了近年来提出的比较重要的方法,从机器学习的角度,将其分为浅层学习的方法和深度学习的方法;而从学习到的模型角度又可将其分为直接的方法(即基于检测的方法)和间接的方法(如基于像素的方法、基于纹理的方法以及基于角点的方法)。详细介绍了近二十年来基于浅层学习的方法,并对近些年来基于深度学习的人数统计与人群密度估计技术做了一个简要的总结。然后,对人数统计及人群密度估计方法性能评估技术进行简介,并提供了几个用于人数统计与人群密度估计的测试与评估数据集。最后,总结了该领域存在的技术挑战并对未来的研究方向进行了展望。     

基于单列多尺度卷积神经网络的人群计数

单张图片和监控视频中的人群计数问题在近年来受到了越来越多的关注。尺度的变化和人群遮挡等问题,导致人群计数是一项十分具有挑战性的任务,但是深度卷积神经网络被证明能有效地解决这一问题。文中提出了一种单列多尺度的卷积神经网络,该网络提供了一种数据驱动的深度学习方法,能够理解各种不同的场景,并能进行精确的计数估计。该网络模型主要由作为二维特征提取的前端与中端,和用来还原密度图的后端组成。其中,使用堆叠池代替最大池化层,在不引入额外参数的前提下增加了模型的尺度不变性。网络模型前端采用部分VGG-16结构;中端采用FME(特征聚合模块),用来打破不同列之间的独立,以更好地提取多尺度特征信息;后端采用3列5层的不同扩张率的空洞卷积,在保持分辨率不变的情况下增加感受野,生成更高质量的人群密度图,并引入一种相对人数损失,以提升稀疏密度人群情况下模型的性能。该模型在两个最具挑战性的人群计数数据集上都取得了很好的效果。实验结果表明,在公开人群计数数据集ShanghaiTech的两个子集和UCF_CC_50上,该方法的平均绝对误差(MAE)和均方误差(MSE)分别是66.2和103.0、8.7和13.4、251.0和329.5,性能比传统人群计数方法更好。与其他模型相比,该模型拥有更高的精度和更好的鲁棒性,对稀疏人数图像有着更好的计数效果。     

基于交通场景区域增强的单幅图像去雾方法

针对当前已有的去雾算法在雾天道路图像的处理上易造成近处路面区域和远处天空区域亮度过低、处理程度偏强,而中远处区域去雾程度较低、亮度过高等问题,以基于深度学习去雾算法为基础提出一种结合雾天道路图像场景深度和道路图像特点的去雾算法。首先基于深度学习的去雾算法原理,构建卷积神经网络求取场景透射率;然后基于大气散射模型和透射率估计出图像深度图,且构造两个参数：上阈值和下阈值来将深度图分为中、远、近三个区域;再基于深度图的不同区域构造增强函数,来确定图像处理的增强幅度照;最后在传统的大气散射模型基础上结合增强幅度照来调节不同区域的复原强度得到优化后的处理图像。实验结果表明,所提算法可以在保证良好去雾效果的前提下增强道路图像的中远处区域,有效解决了去雾后雾天道路图像近处路面和远处天空的色彩失真、对比度过低问题,提升复原图像的视觉效果,并且与暗原色先验算法、均匀与非均匀雾的视觉增强算法以及典型的基于深度学习去雾算法相比具有更好的图像清晰化效果。     

一种抗背景干扰的多尺度人群计数算法

人群计数技术以估计人群图片或视频中的人数为目标,可以有效预防人群踩踏事故的发生,广泛应用于安防预警、城市规划及大型集会管理等领域。然而,由于人群尺度变化、背景干扰、人群分布不均、遮挡和透视效应等因素的影响,单幅图片的人群计数仍是一项非常具有挑战性的任务。针对人群计数中多尺度变化和背景干扰问题,提出一种抗背景干扰的多尺度人群计数算法。以VGG16网络结构为基础,引入特征金字塔构建多尺度特征融合骨干网络解决人群多尺度变化问题,设计Double-Head-CC结构对融合后的特征图进行前景背景分割和密度图预测以抑制背景干扰。基于密度图的局部相关性和多任务学习,定义多重损失函数和多任务联合损失函数进行网络优化。在ShanghaiTech、UCF-QNRF和JHU-CROWD++数据集上进行训练和评测,实验结果表明,该算法能够很好地预测人群密度分布和人群数量,具有较高的准确性,且鲁棒性强、泛化性能良好。     

基于密度分类及组合特征的人数估计算法*

为了克服不同人群密度及所采用特征对人数估计的影响,提出了一种基于人群密度分类及组合特征的人数统计算法。该算法包括离线特征组合选取和在线实时估计两个阶段。在离线阶段,选取密度阈值将图像样本分为高、低密度两类,然后通过实验方法选取最优的特征组合。在线估计阶段首先通过分类器将样本分为高、低密度两类,然后利用离线阶段选取的特征组合训练得到高斯模型,并分别对两类样本进行人数估计。实验结果表明,与不分高低密度相比,平均估计误差由10.6%降至8.1%;与目前主流的人数估计算法相比,本文算法的平均估计误差也更小。     

Estimation of number of people in crowded scenes using perspectivetransformation

In the past, the estimation of crowd density has become an important topic in the field of automatic surveillance systems. In this paper, the developed system goes one step further to estimate the number of people in crowded scenes in a complex background by using a single image. Therefore, more valuable information than crowd density can be obtained. There are two major steps in this system: recognition of the head-like contour and estimation of crowd size. First, the Haar wavelet transform is used to extract the featured area of the head-like contour, and then the support vector machine is used to classify these featured area as the contour of a head or not. Next, the perspective transforming technique of computer vision is used to estimate crowd size more accurately. Finally, a model world is constructed to test this proposed system and the system is also applied for real-world images     

Pyramid-dilated deep convolutional neural network for crowd counting

Statistics on crowds in crowded scenes can reflect the density level of crowds and provide safety warnings. This is a laborious task if conducted manually. In recent years, automated crowd counting has received extensive attention in the computer vision field. However, this task is still challenging mainly due to the serious occlusion in crowds and large appearance variations caused by the viewing angles of cameras. To overcome these difficulties, a pyramid-dilated deep convolutional neural network for accurate crowd counting called PDD-CNN is proposed. PDD-CNN is based on a VGG-16 network that is designed to generate dense attribute feature maps from an image with an arbitrary size or resolution. Then, two pyramid dilated modules are adopted, each consisting of four parallel dilated convolutional layers with different rates and a parallel average pooling layer to capture the multiscale features. Finally, three cascading dilated convolutions are used to regress the density map and perform accurate count estimation. In addition, a novel training loss, combining the Euclidean loss with the structural similarity loss, is employed to attenuate the blurry effects of density map estimation. The experimental results on three datasets (ShanghaiTech, UCF_CC_50, and UCF-QNRF) demonstrate that the proposed PDD-CNN produces high-quality density maps and achieves a good counting performance.