基于多尺度多列卷积神经网络的密集人群计数模型

针对尺度和视角变化导致的监控视频和图像中的人数估计性能差的问题,提出了一种基于多尺度多列卷积神经网络（MsMCNN）的密集人群计数模型。在使用MsMCNN进行特征提取之前,使用高斯滤波器对数据集进行处理得到图像的真实密度图,并且对数据集进行数据增强。MsMCNN以多列卷积神经网络的结构为主干,首先从具有多尺度的多个列中提取特征图;然后,用MsMCNN在同一列上连接具有相同分辨率的特征图,以生成图像的估计密度图;最后,对估计密度图进行积分来完成人群计数的任务。为了验证所提模型的有效性,在Shanghaitech数据集和UCF_CC_50数据集上进行了实验,与经典模型Crowdnet、多列卷积神经网络（MCNN）、级联多任务学习（CMTL）方法、尺度自适应卷积神经网络（SaCNN）相比,所提模型在Shanghaitech数据集Part_A和UCF_CC_50数据集上平均绝对误差（MAE）分别至少减小了10.6和24.5,均方误差（MSE）分别至少减小了1.8和29.3;在Shanghaitech数据集Part_B上也取得了较好的结果。MsMCNN更注重特征提取过程中的浅层特征的结合以及多尺度特征的结合,可以有效减少尺度和视角变化带来的精确度偏低的影响,提升人群计数的性能。     

基于特征金字塔的人群密度估计方法

轨道交通作为城市中主要的运输方式之一,客流量大,易因拥挤而引发人群骚乱、踩踏等安全事故,并引发一系列公共安全问题,造成重大人员伤亡和财产损失。利用监控图像及其相应标注数据行模型监督训练,训练可融合高低阶特征图的卷积神经网络,对图像中不同尺度人群的底层特征高分辨率和高层特征的高语义信息进行融合,达到可预测多尺度图像的人群密度图和估计人群人数的目的。结合几何适应高斯核以及人群透视图,生成的人群密度图能表达三维真实场景中的人群密度分布情况。通过增广训练数据集,增强网络泛化能力,提高网络的鲁棒性。所提出的深度特征金字塔卷积神经网络模型能够提高人群密度估计的准确率,便于人群预警管理系统尽早发现拥挤踩踏事故的端倪,给有关部门采取相关措施提供帮助。     

基于回归模型的全卷积网络人群计数算法

针对当前采用密度图回归方法估计人群数量时人数被高估的问题,提出一种基于计数回归和密度图估计的全卷积网络框架,采用计数回归与密度图回归相结合的方式对人群密度图进行估计。为训练模型参数和有效避免过拟合现象的出现,设计一种更深更轻且参数数量很少的完全卷积网络(full convolutional network,FCN)作为人群密度图估计器。实验结果表明,提出算法对密度分布不均和尺度不一的人群图像都有很好的适用性和准确性,算法性能优于现有的人群计数算法。     

比例融合与多层规模感知的人群计数方法

针对密集场景下人群图像拍摄视角或距离多变造成的多尺度特征获取不足、融合不佳和全局特征利用不充分等问题,提出一种比例融合与多层规模感知的人群计数网络。首先采用骨干网络VGG16提取人群密度初始特征;其次,设计多层规模感知模块,获得人群多尺度信息的丰富表达;再次,提出比例融合策略,根据卷积层捕获的特征权重重构多尺度信息,提取显著性人群特征;最后,采用卷积回归策略进行密度图的回归。同时,提出一种局部一致性损失函数,通过区域化密度图的方式增强生成密度图与真实密度图的相似度,提高计数性能。在多个人群数据集上的试验结果表明,所提模型优于近年人群计数的先进方法,且在车辆计数上有较好推广性。     

高低密度多维视角多元信息融合人群计数方法

针对人群密度在二维图像中随图像视角变化呈现较大差异、特征空间多尺度信息丢失等问题,提出一种多维视角多元信息融合(MDPMIF)的人群密度估计方法.首先,由“上-左-右-下”的方向对视角变化进行信息编码,通过递进聚合方式捕获深层次全局上下文信息,同步提取多维度视角的尺度关系特征;然后,设计联合学习策略获取全局尺度关系特征,并将全局上下文表达、全局尺度关系特征集成,得到更全面的视角变换描述;最后,采用语义嵌入方式实现高、低阶特征相互补充,增强输出密度图的质量.同时,真实场景下的人群聚集模式存在差异,单纯密度图方法易对图像中的低聚集部分造成人群计数高估,基于此,提出一种高低密度多维视角多元信息融合人群计数网络.设计高低密度区分策略对MDPMIF输出进行高低密度区域自适应划分,高密区域保持MDPMIF网络估计结果,低密区域采用检测方法实现人群计数修正,提高模型的鲁棒性.实验结果表明,所提出方法的性能优于对比方法.     

基于对抗式扩张卷积的多尺度人群密度估计

目的 人群密度估计任务是通过对人群特征的提取和分析,估算出密度分布情况和人群计数结果。现有技术运用的CNN网络中的下采样操作会丢失部分人群信息,且平均融合方式会使多尺度效应平均化,该策略并不一定能得到准确的估计结果。为了解决上述问题,提出一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。方法 利用扩张卷积在不损失分辨率的情况下对输入图像进行特征提取,且不同的扩张系数可以聚集多尺度上下文信息。最后通过对抗式损失函数将网络中提取的不同尺度的特征信息以合作式的方式融合,得到准确的密度估计结果。结果 在4个主要的人群计数数据集上进行对比实验。在测试阶段,将测试图像输入训练好的生成器网络,输出预测密度图;将密度图积分求和得到总人数,并以平均绝对误差（MAE）和均方误差（MSE）作为评价指标进行结果对比。其中,在ShanghaiTech数据集上Part_A的MAE和MSE分别降至60.5和109.7,Part_B的MAE和MSE分别降至10.2和15.3,提升效果明显。结论 本文提出了一种新的基于对抗式扩张卷积的多尺度人群密度估计模型。实验结果表明,在人群分布差异较大的场景中构建的算法模型有较好的自适应性,能根据不同的场景提取特征估算密度分布,并对人群进行准确计数。     

基于深度卷积神经网络的人群密度估计方法

人群密度自动估计作为人群控制和管理的方法,是当前视频监控中的一个重要研究领域。现有的方法通过提取复杂的特征来进行人群密度估计,由于人群遮挡、透视效果和环境复杂等条件限制,难以满足实际应用中的需求,而深度卷积神经网络在特征学习上具有较强的能力。提出了一种基于深度卷积神经网络DCNN(Deep Convolution Neural Network)的方法来进行自然场景下人群密度估计。首先,为了消除摄像机透视效果,以图像中行人身高作为尺度基准,将图像分成多个子图像块。其次,设计一种新的深度卷积神经网络结构,利用多种不同的卷积核提取人群图像的深层次特征进行人群密度估计。实验结果证明该方法在自然场景下人群密度估计具有良好的稳定性和鲁棒性。     

抗高光的光场深度估计方法

目的 光场相机一次成像可以同时获取场景中光线的空间和角度信息,为深度估计提供了条件。然而,光场图像场景中出现高光现象使得深度估计变得困难。为了提高算法处理高光问题的可靠性,本文提出了一种基于光场图像多视角上下文信息的抗高光深度估计方法。方法 本文利用光场子孔径图像的多视角特性,创建多视角输入支路,获取不同视角下图像的特征信息;利用空洞卷积增大网络感受野,获取更大范围的图像上下文信息,通过同一深度平面未发生高光的区域的深度信息,进而恢复高光区域深度信息。同时,本文设计了一种新型的多尺度特征融合方法,串联多膨胀率空洞卷积特征与多卷积核普通卷积特征,进一步提高了估计结果的精度和平滑度。结果 实验在3个数据集上与最新的4种方法进行了比较。实验结果表明,本文方法整体深度估计性能较好,在4D light field benchmark合成数据集上,相比于性能第2的模型,均方误差（mean square error,MSE）降低了20.24%,坏像素率（bad pixel,BP）降低了2.62%,峰值信噪比（peak signal-to-noise ratio,PSNR）提高了4.96%。同时,通过对CVIA （computer vision and image analysis） Konstanz specular dataset合成数据集和Lytro Illum拍摄的真实场景数据集的定性分析,验证了本文算法的有效性和可靠性。消融实验结果表明多尺度特征融合方法改善了深度估计在高光区域的效果。结论 本文提出的深度估计模型能够有效估计图像深度信息。特别地,高光区域深度信息恢复精度高、物体边缘区域平滑,能够较好地保存图像细节信息。     

深度语义分割人群密度检测技术

随着社会的发展,人们大量外出导致拥挤场景越来越多,对人群密度的检测就显得尤为重要.针对人群中由于摄像机视角引起的人与人尺度不一的多尺度问题,提出了一种基于深度语义分割的人群密度检测方法.网络前端采用改进的VGG网络对人群特征进行提取,使输出的特征图为原图1/8以提高预测密度图的准确性,后端设计了两阵列扩张率不同的空洞卷积模块来捕捉人群的多尺度特征,使得网络能够捕捉更多的尺度细节及边缘信息.网络最后使用1×1的卷积对输出进行级联,得到高质量预测密度图.同时,为解决空洞卷积带来栅格效应,设计了锯齿状网络结构,使补零后的卷积操作中每一个像素都进行计算来保证信息的连续性,以此来提高网络的准确性.分别在ShanghaiTech和UCF_CC_50数据集上对网络性能进行了测试,测试结果优于目前主流的人群密度检测方法,测试所得的MAE值相较于MCNN网络提高了42.4％和38.1％,相较于SANet网络提高了5.3％和9.6％.     

基于像素级注意力机制的人群计数方法

针对人群分布不均和网络学习参数众多问题,提出了一种由像素级注意力机制（PAM）和改进的单列人群密度估计网络两部分组成的高密度人群计数方法。首先,使用PAM通过对人群图像进行像素级别的分类来生成高质量的局部人群密度图,利用全卷积网络（FCN）生成每个图像的密度掩码,将图像中的像素分为不同的密度级别;然后,以生成的密度掩码为标签,使用单列人群密度估计网络以更少的参数学习到更多的代表性特征。在此之前,在Shanghaitech数据集part_B部分、UCF_CC_50数据集以及WorldExpo'10数据集上,拥塞场景识别网络（CSRNet）方法的计数误差最小。将所提方法与CSRNet方法的误差结果对比,发现所提方法在Shanghaitech数据集part_B部分的平均绝对误差（MAE）和均方误差（MSE）分别降低了8.49%和4.37%;在UCF_CC_50数据集上的MAE和MSE分别降低了58.38%和51.98%,优化效果显著;在WorldExpo'10数据集上的整体平均值部分的MAE降低了1.16%。实验结果表明,在针对人群分布不均的高密度人群计数时,结合PAM和单列人群密度估计网络的方法能够有效提高高密度人群计数的精确度和训练效率。     

基于背景抑制与上下文感知的人群计数网络

针对图像背景噪声、透视畸变等影响人群计数网络计数精度的问题,提出一种基于背景抑制与上下文感知的新网络。利用VGG-16网络提取图像特征,并分别将特征输入密度图生成模块和背景噪声抑制（BNS）模块中进行处理,生成密度特征图和空间注意力图。使用BNS模块优化密度特征图并生成初级密度图,以抑制图像中背景噪声干扰,提高人群区域的特征权重。为减少透视畸变对人群密度估计的影响,使用上下文感知增强网络优化初级密度图,并生成预测密度图。在ShanghaiTech、UCF-CC-50及UCF-QNRF 3个公开数据集上的实验结果表明,该网络相较于MCNN、SwitchCNN、CSRNet等网络的计算准确度较高,尤其在UCF-QNRF数据集上其平均绝对误差和均方误差分别为85.8、146.0,相较于其他网络最高分别下降69.0%和67.2%,能充分抑制图像背景噪声并有效减小透视畸变引起的误差,具有良好的泛化能力和较强的鲁棒性。     

基于空间维度循环感知网络的密集人群计数模型

考虑目前对具有透视畸变的高密度人群图像进行特征提取的局限性,提出了一种融合全局特征感知网络(GFPNet)和局部关联性特征感知网络(LAFPNet)的人群计数模型LMCNN.GFPNet是LMCNN的主干网络,将其输出的特征图进一步序列化并作为LAFPNet的输入,再利用循环神经网络(RNN)在时序维度上对局部关联性特...     

多任务多层级CNN在人群计数中的应用

为了提升人群图像的计数精度,设计一种多层级多任务深度卷积网络。多层级神经网络由卷积和上采样的组合方式构成,该网络的优点在于结合浅层网络提取的细节信息和深层网络提取的高阶语义信息。在此基础上,使用多任务学习的方法提升网络性能,多任务学习分为两个部分：人群密度估计任务和人群密度等级分类任务。网络的高分辨率层与人群密度估计任务相连,网络的深层与人群密度等级分类任务相连。将两个任务的损失融合并构成新的损失函数。实验在人群计数公共数据集ShanghaiTech、WorldExpo’10和UCF_CC_50上进行,实验结果表明,该网络在人群计数上具有较好的准确率和鲁棒性。     

基于序的空间金字塔池化网络的人群计数方法

视频中的人群计数在智能监控领域具有重要价值. 由于摄像机透视效果、图像背景、人群密度分布不均匀和行人遮挡等干扰因素的制约, 基于底层特征的传统计数方法准确率较低. 本文提出一种基于序的空间金字塔池化(Rank-based spatial pyramid pooling, RSPP)网络的人群计数方法. 该方法将原图像分成多个具有相同透视范围的子区域并在各个子区域分别取不同尺度的子图像块, 采用基于序的空间金字塔池化网络估计子图像块人数, 然后相加所有子图像块人数得出原图像人数. 提出的图像分块方法有效地消除了摄像机透视效果和人群密度分布不均匀对计数的影响. 提出的基于序的空间金字塔池化不仅能够处理多种尺度的子图像块, 而且解决了传统池化方法易损失大量重要信息和易过拟合的问题. 实验结果表明, 本文方法相比于传统方法具有准确率高和鲁棒性好的优点.     

基于单列多尺度卷积神经网络的人群计数

单张图片和监控视频中的人群计数问题在近年来受到了越来越多的关注。尺度的变化和人群遮挡等问题,导致人群计数是一项十分具有挑战性的任务,但是深度卷积神经网络被证明能有效地解决这一问题。文中提出了一种单列多尺度的卷积神经网络,该网络提供了一种数据驱动的深度学习方法,能够理解各种不同的场景,并能进行精确的计数估计。该网络模型主要由作为二维特征提取的前端与中端,和用来还原密度图的后端组成。其中,使用堆叠池代替最大池化层,在不引入额外参数的前提下增加了模型的尺度不变性。网络模型前端采用部分VGG-16结构;中端采用FME(特征聚合模块),用来打破不同列之间的独立,以更好地提取多尺度特征信息;后端采用3列5层的不同扩张率的空洞卷积,在保持分辨率不变的情况下增加感受野,生成更高质量的人群密度图,并引入一种相对人数损失,以提升稀疏密度人群情况下模型的性能。该模型在两个最具挑战性的人群计数数据集上都取得了很好的效果。实验结果表明,在公开人群计数数据集ShanghaiTech的两个子集和UCF_CC_50上,该方法的平均绝对误差(MAE)和均方误差(MSE)分别是66.2和103.0、8.7和13.4、251.0和329.5,性能比传统人群计数方法更好。与其他模型相比,该模型拥有更高的精度和更好的鲁棒性,对稀疏人数图像有着更好的计数效果。     

基于尺度融合的密集人群计数

现实场景中人群尺度的巨大差异给密集人群计数算法带来了巨大的挑战,因此提出一种基于尺度融合的密集人群计数算法.首先对密度图构建算法进行优化,利用多个头部检测器获取稀疏人群的部分头部尺度,并用径向基差值进行补全,在人群密集区域辅之以距离自适应的人群密度图生成算法,生成更为精确的人群密度图.其次利用移动翻转瓶颈卷积模块设计尺度融合的人群密度图回归神经网络,并加入膨胀卷积模块进一步提升人体头部边缘特征提取能力.最后,通过将人群区域和非人群区域进行区分对人群密度图回归神经网络损失函数进行优化.在实验部分,将该算法在多个数据集上与多个同类算法进行了充分的对比实验与消融实验,实验结果表明提出的方法能够显著提升密集人群计数算法的准确性.     

基于尺度自适应卷积神经网络的人群计数算法

为解决单幅图像中的人群遮挡和尺度变化问题,提出一种基于多列卷积神经网络的人群计数算法。利用具有不同尺寸感受野的卷积神经网络(CNN)和特征注意力模块自适应提取多尺度人群特征,引入可变形卷积增强CNN网络空间几何形变学习能力并优化特征图,从而生成高质量的密度图。Shanghai Tech和UCF_CC_50数据集上的实验结果表明,该算法能学习输入图和人群密度图之间的映射关系,且计数准确性高、鲁棒性强。     

用于车辆重识别的视角感知局部注意力网络

车辆重识别的目的是从大型车辆数据库中找到与查询车辆相同特征的所有车辆图片。目前,由于同一车辆在不同视角下外观差异大或颜色、车型相同的不同车辆在特定视角下外观差异小,导致车辆重识别的准确度和鲁棒性均有待提高。提出一个视角感知局部注意力网络,采用弱监督注意力学习方式代替人工手动的车辆局部部件标注,自适应学习每个视角内所有显著性局部特征。通过局部注意力裁剪操作裁剪并放大该视角领域内部件细节信息,并基于局部注意力擦除操作擦除一些局部区域,以鼓励模型发掘该视角领域内其他更多的显著性局部线索。构建一种共同视角的注意力增强模块,以强化共同视角特征学习,并根据视角的相似度给每个视角分配相应的权重,使同一视角特征学习得到增强,不同视角特征学习受到抑制。实验结果表明,所提网络在VeRi-776数据集下的mAP为81.2%,在VehicleID数据集下的CMC@1、CMC@5分别为85.7%、98.0%,相较于PRN、PVEN、SAVER等重识别网络具有更高的识别精度和更强的泛化能力。