一种面向人群计数的卷积注意力网络模型

随着当今国际社会形势逐渐复杂,公共安全和社会稳定面临严峻挑战。视频监控作为维护社会安定与建设智慧城市的重要手段,广泛应用于城市安全管理。高效的人群计数是实现基于视频进行安全管理的一个难点问题,旨在分析计算视频或图片场景中的人数。人群计数对控制关键场所人数、指挥公共交通、控制疫情蔓延、保障社会稳定具有重要积极意义。然而,人群计数问题仍然存在背景干扰、目标遮挡、目标尺度不一和目标分布不均等挑战,导致计数准确度较低。为了解决这些问题,梳理了人群计数发展的时间线,分析了现有方法的不足,并针对这些不足提出了基于相似性度量的卷积注意力网络。该方法结合基于相似性度量的损失函数和基于注意力机制的卷积神经网络模块,有效缓解了人群计数中背景干扰、目标遮挡、目标尺度不一和目标分布不均四个问题。通过在数据集上的实验和相关对比分析发现,基于相似性度量的卷积注意力网络具有很好的准确性和稳定性。     

人群计数研究综述

人群计数广泛应用在公共安防、视频监控和智慧城市建设等领域,对控制特定场所人数、指挥公共交通、防止疫情蔓延、保障社会稳定具有重要积极意义。传统的计数方法精度不高、场景受限,随着深度学习的发展,传统方法逐渐被卷积神经网络（convolutional neural network,CNN）方法代替。介绍了人群计数的研究背景、现状和发展趋势,叙述了两种传统方法;从计数精度、网络结构、评价指标和数据集等方面重点分析了CNN方法,发现CNN技术可以有效解决多尺度和跨场景等问题;阐述了基于Vision Transformer（ViT）序列的弱监督计数方法并且对比各类方法。对未来人群计数的研究前景做出展望。     

基于序的空间金字塔池化网络的人群计数方法

视频中的人群计数在智能监控领域具有重要价值. 由于摄像机透视效果、图像背景、人群密度分布不均匀和行人遮挡等干扰因素的制约, 基于底层特征的传统计数方法准确率较低. 本文提出一种基于序的空间金字塔池化(Rank-based spatial pyramid pooling, RSPP)网络的人群计数方法. 该方法将原图像分成多个具有相同透视范围的子区域并在各个子区域分别取不同尺度的子图像块, 采用基于序的空间金字塔池化网络估计子图像块人数, 然后相加所有子图像块人数得出原图像人数. 提出的图像分块方法有效地消除了摄像机透视效果和人群密度分布不均匀对计数的影响. 提出的基于序的空间金字塔池化不仅能够处理多种尺度的子图像块, 而且解决了传统池化方法易损失大量重要信息和易过拟合的问题. 实验结果表明, 本文方法相比于传统方法具有准确率高和鲁棒性好的优点.     

融合注意力机制与上下文密度图的人群计数网络

为分析商业区人群流动情况,或避免人群踩踏等公共事件的发生,通常采用人群计数方法统计监控图像中的人数信息,从而达到提前预警的效果。受目标遮挡、背景干扰、多尺度变化等因素的影响,现有的人群计数方法在统计人数信息的过程中存在误算或漏算的问题,导致准确率降低。提出一种基于注意力机制与上下文密度图融合的人群计数网络CADMFNet。以VGG16的部分卷积层作为前端网络,通过引入上采样融合模块对输入的特征图进行上下文特征融合,将不同膨胀率的膨胀卷积作为后端网络,生成高质量的中间密度图。在此基础上,采用上下文注意力模块融合不同层级的中间密度图,获得精细的人群密度图。实验结果表明,该网络在Mall数据集上的平均绝对误差和均方根误差分别为1.31和1.59,相比CSRNet、MCNN等网络,能够有效提高计数的准确度,并且具有较优的鲁棒性。     

基于回归模型的全卷积网络人群计数算法

针对当前采用密度图回归方法估计人群数量时人数被高估的问题,提出一种基于计数回归和密度图估计的全卷积网络框架,采用计数回归与密度图回归相结合的方式对人群密度图进行估计。为训练模型参数和有效避免过拟合现象的出现,设计一种更深更轻且参数数量很少的完全卷积网络(full convolutional network,FCN)作为人群密度图估计器。实验结果表明,提出算法对密度分布不均和尺度不一的人群图像都有很好的适用性和准确性,算法性能优于现有的人群计数算法。     

多种人群密度场景下的人群计数

公共场合中采用摄像机实现人群计数在智能安防领域具有重要价值,但摄像机透视效果、图像背景、行人相互遮挡等因素制约着人群计数研究的发展和应用.提出一种采用回归模型估计人数的算法.首先,为了消去摄像机透视对图像特征的影响,用图像中行人身高作为尺度基准将图像分成多个子图像块.其次,采用simile分类器优化子图像块的先进局部二值模式(ALBP)纹理特征,并根据子图像块的人群密度,采用两种核函数的支持向量回归机(SVR)建立输入特征和子图像块人数的关系.最后,相加所有子图像块人数得出图像人数.实验结果表明,本文算法测试稀疏人群的绝对误差约为1人,测试拥挤人群的相对误差小于10％,是一种准确率高适用性强的人群计数算法.     

基于单列多尺度卷积神经网络的人群计数

单张图片和监控视频中的人群计数问题在近年来受到了越来越多的关注。尺度的变化和人群遮挡等问题,导致人群计数是一项十分具有挑战性的任务,但是深度卷积神经网络被证明能有效地解决这一问题。文中提出了一种单列多尺度的卷积神经网络,该网络提供了一种数据驱动的深度学习方法,能够理解各种不同的场景,并能进行精确的计数估计。该网络模型主要由作为二维特征提取的前端与中端,和用来还原密度图的后端组成。其中,使用堆叠池代替最大池化层,在不引入额外参数的前提下增加了模型的尺度不变性。网络模型前端采用部分VGG-16结构;中端采用FME(特征聚合模块),用来打破不同列之间的独立,以更好地提取多尺度特征信息;后端采用3列5层的不同扩张率的空洞卷积,在保持分辨率不变的情况下增加感受野,生成更高质量的人群密度图,并引入一种相对人数损失,以提升稀疏密度人群情况下模型的性能。该模型在两个最具挑战性的人群计数数据集上都取得了很好的效果。实验结果表明,在公开人群计数数据集ShanghaiTech的两个子集和UCF_CC_50上,该方法的平均绝对误差(MAE)和均方误差(MSE)分别是66.2和103.0、8.7和13.4、251.0和329.5,性能比传统人群计数方法更好。与其他模型相比,该模型拥有更高的精度和更好的鲁棒性,对稀疏人数图像有着更好的计数效果。     

一种抗背景干扰的多尺度人群计数算法

人群计数技术以估计人群图片或视频中的人数为目标,可以有效预防人群踩踏事故的发生,广泛应用于安防预警、城市规划及大型集会管理等领域。然而,由于人群尺度变化、背景干扰、人群分布不均、遮挡和透视效应等因素的影响,单幅图片的人群计数仍是一项非常具有挑战性的任务。针对人群计数中多尺度变化和背景干扰问题,提出一种抗背景干扰的多尺度人群计数算法。以VGG16网络结构为基础,引入特征金字塔构建多尺度特征融合骨干网络解决人群多尺度变化问题,设计Double-Head-CC结构对融合后的特征图进行前景背景分割和密度图预测以抑制背景干扰。基于密度图的局部相关性和多任务学习,定义多重损失函数和多任务联合损失函数进行网络优化。在ShanghaiTech、UCF-QNRF和JHU-CROWD++数据集上进行训练和评测,实验结果表明,该算法能够很好地预测人群密度分布和人群数量,具有较高的准确性,且鲁棒性强、泛化性能良好。     

基于跨列特征融合的人群计数方法

人群计数是计算机视觉和机器学习领域中一个极具挑战性的课题.由于人群尺度变化和场景遮挡等现象会导致计数准确度不高,因此提出了一种基于跨列特征融合的人群计数方法(Cross-column Features Fusion Network,CCFNet).该方法融合了来自多列不同接受域的特征,并且结合了拥有互质扩张率的空洞卷积...     

采用截面流量统计的高密度人群行人计数

利用摄像头实现行人计数在智能视频监控领域有着重要的价值,但是行人互相遮挡、噪声、摄像机透视效果和图像背景等问题影响了人群计数的准确性.针对高密度人群场景的行人计数准确率的问题,提出了基于截面流量统计的行人计数方法,该方法基于梯度运动历史图像检测前景,并用有效运动图像改进了基于特征提取的行人计数方法,结合运动速度提取方法实现了行人计数.实验结果表明,提出的计数方法在高密度人群场景中具有较高的准确率和实时性,是一种针对高密度人群有效的行人计数方法.     

人数统计与人群密度估计技术研究现状与趋势

人数统计与人群密度估计是人群分析中的重要分支,也是视频监控所关注的重要信息之一。尽管近几十年来该领域取得了一些重要进展,但仍存在一些具有挑战性的问题。综述了基于计算机视觉的人数统计与人群密度估计方法的研究现状以及发展动态。首先,介绍了人数统计与人群密度估计技术的发展背景及应用方向。其次,总结了近年来提出的比较重要的方法,从机器学习的角度,将其分为浅层学习的方法和深度学习的方法;而从学习到的模型角度又可将其分为直接的方法(即基于检测的方法)和间接的方法(如基于像素的方法、基于纹理的方法以及基于角点的方法)。详细介绍了近二十年来基于浅层学习的方法,并对近些年来基于深度学习的人数统计与人群密度估计技术做了一个简要的总结。然后,对人数统计及人群密度估计方法性能评估技术进行简介,并提供了几个用于人数统计与人群密度估计的测试与评估数据集。最后,总结了该领域存在的技术挑战并对未来的研究方向进行了展望。     

基于视频的人数识别方法综述

基于计算机视觉的人群行为分析是一个非常活跃的研究领域,视频人数统计是人群行为分析的一个重要内容.本文对视频人数识别近年来的发展作了比较详细的论述,从基于特征点跟踪、基于区域的跟踪和基于模板匹配的跟踪三个方面分析近些年人数识别进展情况.文章通过对各种不同识别算法思想的研究,对当前该研究方向上亟待解决的问题做了比较详细的分析,并对未来人数识别的指出了一些改进方法.     

基于SSD卷积神经网络的公交车下车人数统计

传统典型的公交车人数统计方法在准确率和速度方面存在一些不足,且提取目标特征的效果较差.本文提出了基于深度卷积神经网络的公交车人数统计系统解决人群计数问题.首先制作数据集,难点在于所有用于训练的数据集均是手工标注.并且公交车摄像头角度比以往文献覆盖更广区域.本文首先比较了多种不同的深度卷积神经网络模型对乘客进行全身检测的效果.综合考虑检测速率、准确率等方面,最终采用单次检测器深度卷积神经网络模型对乘客进行人头目标检测,在线实时目标追踪算法实现人头的多目标追踪,跨区域人群计数方法统计公交车下车人数.系统准确率达到78.38%,运行速率约为每秒识别19.79帧.实现了人群计数.     

基于多尺度特征融合的抗背景干扰人群计数网络

随着计算机视觉和人工智能相关技术的快速发展,基于智能视频分析的人群计数算法取得长足进步,但在计数准确性和算法鲁棒性上还有很大的提升空间.针对复杂场景人群计数任务中存在的目标多尺度及背景干扰等问题,文中提出基于多尺度特征融合的抗背景干扰人群计数网络(Anti-Background Interference Crowd Counting Network Based on Multi-scale Feature Fusion, AntiNet-MFF).在U-Net网络架构基础上融入多层次特征分割提取模块,借助深度学习强大的表征能力提取人群多尺度特征.同时,为了提升计数模型对人群区域的关注度,减少背景噪声干扰,在解码阶段生成背景分割注意力图,作为注意力引导计数模型聚焦人头区域,提升人群分布密度图的质量.在多个典型人群计数数据集上的实验表明,AntiNet-MFF在准确性和鲁棒性上都取得良好效果.     

基于多尺度金字塔Transformer的人群计数方法

针对密集人群场景中背景复杂、目标尺度变化较大导致人群计数精度较低的问题,本文提出一种基于多尺度金字塔Transformer的人群计数方法 (multi-scale pyramid transformer network, MSPT-Net)。在特征提取阶段设计了一种基于深度可分离自注意力的金字塔Transformer主干网络结构,该网络结构能有效捕获图像的局部和全局信息,从而有效解决人群密度图像背景复杂导致计数精度低的问题;设计了一种特征金字塔融合模块及多尺度感受野的回归头,实现了密集人群图像浅层细节特征和深层语义特征的高效融合,增强了网络对不同尺度目标的捕获能力;采用深度监督的训练方法在3个公开数据集上对提出的方法进行验证。实验结果表明,本文方法在全监督与弱监督学习策略中,与目前主流的人群计数方法相比,实现了更高精度的人群计数,克服了主流方法对背景复杂、目标尺度变化大的密集人群图像计数精度低的问题,同时本文方法保持着更小的参数量与计算量。     

基于信道状态信息的室内人群计数方法

人群计数对于室内空间公共安全管理、建筑节能优化等都具有重大的价值,商场也可以根据人数信息进行商品推荐和流量调控。传统基于视觉图像的方法部署成本高,受视线遮挡严重,而且容易造成隐私问题。采用商用WiFi的信道状态信息(CSI)来进行室内人群计数。首先对原始信号数据进行预处理,最小化噪声并降低数据复杂度;然后,通过滑动窗口将无线时间序列信号转换为热图图像,并设计了一个卷积神经网络CNN对热图进行特征提取,用以映射相应环境下的不同人数。实验设计了一种人员位置相对静态的模拟办公场景和另一种人员走动的模拟商业场景进行验证,结果表明所提方法在静态和动态条件下的准确率分别达到了98%和89%,相比传统算法均取得了更优效果,证明了该方法的有效性。     

基于深度学习的人群计数研究综述

人群计数旨在估计图像或视频中人群的数量、密度或分布,属于目标计数(object counting)领域的研究范畴,广泛应用于人群行为分析、公共安全管理之中,以便及时发现人群拥挤或异常行为,避免事故发生.鉴于人群计数系统强大的实用性,自21世纪以来,研究者对其方法及应用进行了大量广泛的研究.近年来,深度学习技术发展迅猛,很多工作发现深度学习技术可以有效地解决人群计数系统存在的一系列关键问题,例如跨场景计数、透视畸变、尺度变化等.因此,对基于深度学习的人群计数这一研究领域进行回顾、分析和展望.具体地,首先从概念、步骤、方法等维度详细介绍人群计数模型,分析基于传统方法和基于深度学习方法这2类人群计数模型的差异.然后,从计数网络结构、ground-truth生成、损失函数、评价指标这4个方面阐述基于深度学习的人群计数模型的研究现状.最后,比较分析了各种人群计数数据集的特点,并探讨和展望人群计数领域未来可能的研究方向.     

基于PCA和多元统计回归的人群人数统计方法

针对人群人数统计中分割特征与纹理特征相分离以及回归模型精度提高的问题,提出一种基于PCA和多元统计回归相结合的人群人数统计方法。通过PCA对提取到的人群前景分割特征和纹理特征进行降维处理;建立多元线性回归模型,以确定特征量和人群人数之间关系的趋势方向;通过回归出的趋势方向,对高斯过程回归模型进行修正。实验结果表明该方法更适合进行大规模人群人数统计。     

基于卷积神经网络的人群计数算法研究

随着城市监控网络的完善,对人群图像的计数处理正产生巨大价值.传统人群计数方法存在准确度低,无法处理高遮挡图像,受光影影响大等问题.卷积神经网络在人群计数上表现出色,但仍存在精确度较低,无法排除背景图像干扰等问题.为提高对复杂人群图像的感知能力,减少背景区域对统计的影响,并同时生成人群密度特征图像,在卷积神经网络的基础上...     

基于图像视野划分的公共场所人群计数模型

为解决公共场所中人群分布不均以及目标尺度不一而影响人数估计的问题,提出了基于图像视野划分的公共场所人群计数模型。首先将图像场景划分为远近视野两个区域,对近视野区域,使用基于YOLO的网络进行行人检测并通过添加场景约束避免在远近视野区域内重复计数;对远视野区域,使用改进的MobileNets提取人群密度分布特征,并引入超分辨率重建模块提升人群密度图质量,最终通过计算两者之和得到整幅图像中的人群数量。在Shanghai Tech和Mall数据集上进行测试,结果表明该模型在准确性和鲁棒性上有显著的提高,实验证明模型切实可行。