多层次特征融合的人群密度估计

目的 人群数量和密度估计在视频监控、智能交通和公共安全等领域有着极其重要的应用价值。现有技术对人群数量大,复杂环境下人群密度的估计仍存在较大的改进空间。因此,针对密度大、分布不均匀、遮挡严重的人群密度视觉检测,提出一种基于多层次特征融合网络的人群密度估计方法,用来解决人群密度估计难的问题。方法 首先,利用多层次特征融合网络进行人群特征的提取、融合、生成人群密度图;然后,对人群密度图进行积分计算求出对应人群的数量;最后,通过还原密度图上人群空间位置信息并结合估算出的人群数量,对人群拥挤程度做出量化判断。结果 在Mall数据集上本文方法平均绝对误差（MAE）降至2.35,在ShanghaiTech数据集上MAE分别降至20.73和104.86,与现有的方法进行对比估计精度得到较大提升,尤其是在环境复杂、人数较多的场景下提升效果明显。结论 本文提出的多层次特征融合的人群密度估计方法能有效地对不同尺度的特征进行提取,具有受场景约束小,人群数量估计精度高,人群拥挤程度评估简单可靠等优点,实验的对比结果验证了本文方法的有效性。     

基于像素级注意力机制的人群计数方法

针对人群分布不均和网络学习参数众多问题,提出了一种由像素级注意力机制（PAM）和改进的单列人群密度估计网络两部分组成的高密度人群计数方法。首先,使用PAM通过对人群图像进行像素级别的分类来生成高质量的局部人群密度图,利用全卷积网络（FCN）生成每个图像的密度掩码,将图像中的像素分为不同的密度级别;然后,以生成的密度掩码为标签,使用单列人群密度估计网络以更少的参数学习到更多的代表性特征。在此之前,在Shanghaitech数据集part_B部分、UCF_CC_50数据集以及WorldExpo'10数据集上,拥塞场景识别网络（CSRNet）方法的计数误差最小。将所提方法与CSRNet方法的误差结果对比,发现所提方法在Shanghaitech数据集part_B部分的平均绝对误差（MAE）和均方误差（MSE）分别降低了8.49%和4.37%;在UCF_CC_50数据集上的MAE和MSE分别降低了58.38%和51.98%,优化效果显著;在WorldExpo'10数据集上的整体平均值部分的MAE降低了1.16%。实验结果表明,在针对人群分布不均的高密度人群计数时,结合PAM和单列人群密度估计网络的方法能够有效提高高密度人群计数的精确度和训练效率。     

基于多尺度空间注意力特征融合的人群计数网络

针对严重的尺度变化和遮挡导致在不同密集场景人群计数任务中性能差的问题,在密集场景识别网络（CSRNet）的基础上通过增加多尺度特征融合结构并引入空间注意力机制,提出了一种多尺度空间注意力特征融合网络（MAFNet）。在MAFNet进行特征提取之前,需要对添加了人头标记的场景图进行高斯滤波生成真实密度图;此外,MAFNet还通过联合使用两种基本损失函数的方法来约束密度估计图与真实密度图的一致性。接着,MAFNet以多尺度特征融合结构为主干,首先采用边提取多尺度特征边融合的策略得到多尺度融合特征图,然后使用空间注意力模块对特征图进行校准和再融合,之后通过扩张卷积生成密度估计图,最后对密度估计图逐像素积分得到场景中的人数。为了验证所提出模型的有效性,在四个人群计数数据集（ShanghaiTech、UCF_CC_50、UCF_QRNF和World-Expo’10）上进行了评估。其中ShanghaiTech数据集PartB的实验结果显示,MAFNet与CSRNet相比,平均绝对误差（MAE）降低了34.9%,均方误差（MSE）降低了29.4%。在多个数据集上的实验结果表明,采用注意力机制和多尺度特征融合策略使MAFNet可以提取更多细节信息,减少尺度变化和遮挡带来的影响。     

静态图像中采用混合卷积结构进行人群密度估计

提出了一种混合卷积神经网络用于人群数量的感知计算,在高度密集的场景中可以准确地预测人群密度图。模型仅由两个部分组成：前端为扩张卷积神经网络提取二维特征;后端采用分数步长卷积神经网络降低下采样中的信息损失。为了验证和分析算法性能,模型设计基于当前较为流行的Shanghai Tech数据集,使用回归问题的评价指标,即平均绝对误差（MAE）和均方误差（MSE）作为评估算法性能的标准。在Shanghai Tech（MAE=100.8）、UCF_CC_50（MAE=305.3）与WorldExpo’10数据集上进行测试,实验表明模型在密集场景下较以往的方法有效降低了MAE和MSE,提高了密集人群计数的准确率。     

多任务多层级CNN在人群计数中的应用

为了提升人群图像的计数精度,设计一种多层级多任务深度卷积网络。多层级神经网络由卷积和上采样的组合方式构成,该网络的优点在于结合浅层网络提取的细节信息和深层网络提取的高阶语义信息。在此基础上,使用多任务学习的方法提升网络性能,多任务学习分为两个部分：人群密度估计任务和人群密度等级分类任务。网络的高分辨率层与人群密度估计任务相连,网络的深层与人群密度等级分类任务相连。将两个任务的损失融合并构成新的损失函数。实验在人群计数公共数据集ShanghaiTech、WorldExpo’10和UCF_CC_50上进行,实验结果表明,该网络在人群计数上具有较好的准确率和鲁棒性。     

基于多尺度残差视觉信息融合的牧场牛只数量估计方法

由于牧场牛只分布不均以及尺度变化大,传统的目标计数算法在畜牧领域计数精度不高,且用于研究的牛只数据集较少。针对这些问题创建了一个用于牛只密度估计的数据集,并提出了一种基于多尺度残差视觉信息融合的牧场牛只数量估计方法。该方法利用多个并列且空洞率不同的空洞卷积提取牛只目标的多尺度特征,并将残差结构与小空洞率卷积相结合,设计出更适合牛只活体计数的深度神经网络,从而缓解了由空洞卷积带来的“网格效应”的影响,同时能更好地适应牛只的多尺度变化。在牛只密度数据集中,该方法取得了最低的平均绝对误差（MAE）和均方根误差（RMSE）。此外,在密集人群数据集中,该方法的MAE和RMSE也属于最优或次优结果。实验结果表明,该方法不仅适用于牛只场景的数量估计,在人群密度估计中也有较高的准确性和鲁棒性。     

密集场景下基于多尺度特征聚合的人群计数方法

密集场景下个体尺度存在巨大差异，目标个体尺度不一导致人群计数精度不高。针对这一问题，提出了一种密集场景下基于多尺度特征聚合的人群计数方法。该方法研究不同特征层级对不同尺度个体的特征信息表示能力，通过层级连接充分获取多尺度特征；同时，提出了一个多尺度特征聚合模块，采用多列具有不同扩张率的空洞卷积，通过动态特征选择机制自动调整感受野，以有效提取不同尺度个体的特征。该方法能够在保留小尺度个体特征信息的基础上进一步扩大感受野，增强大尺度个体的检测能力，使其更好地适应人群个体的多尺度变化。在3个公共人群计数数据集上进行了实验，实验结果表明，所提模型在计数准确性上有了进一步的提高，其中在ShanghaiTech数据集Part＿A上MAE为51.21,MSE为83.70。     

基于单列多尺度卷积神经网络的人群计数

单张图片和监控视频中的人群计数问题在近年来受到了越来越多的关注。尺度的变化和人群遮挡等问题,导致人群计数是一项十分具有挑战性的任务,但是深度卷积神经网络被证明能有效地解决这一问题。文中提出了一种单列多尺度的卷积神经网络,该网络提供了一种数据驱动的深度学习方法,能够理解各种不同的场景,并能进行精确的计数估计。该网络模型主要由作为二维特征提取的前端与中端,和用来还原密度图的后端组成。其中,使用堆叠池代替最大池化层,在不引入额外参数的前提下增加了模型的尺度不变性。网络模型前端采用部分VGG-16结构;中端采用FME(特征聚合模块),用来打破不同列之间的独立,以更好地提取多尺度特征信息;后端采用3列5层的不同扩张率的空洞卷积,在保持分辨率不变的情况下增加感受野,生成更高质量的人群密度图,并引入一种相对人数损失,以提升稀疏密度人群情况下模型的性能。该模型在两个最具挑战性的人群计数数据集上都取得了很好的效果。实验结果表明,在公开人群计数数据集ShanghaiTech的两个子集和UCF_CC_50上,该方法的平均绝对误差(MAE)和均方误差(MSE)分别是66.2和103.0、8.7和13.4、251.0和329.5,性能比传统人群计数方法更好。与其他模型相比,该模型拥有更高的精度和更好的鲁棒性,对稀疏人数图像有着更好的计数效果。     

基于深度卷积神经网络的人群密度估计方法

人群密度自动估计作为人群控制和管理的方法,是当前视频监控中的一个重要研究领域。现有的方法通过提取复杂的特征来进行人群密度估计,由于人群遮挡、透视效果和环境复杂等条件限制,难以满足实际应用中的需求,而深度卷积神经网络在特征学习上具有较强的能力。提出了一种基于深度卷积神经网络DCNN(Deep Convolution Neural Network)的方法来进行自然场景下人群密度估计。首先,为了消除摄像机透视效果,以图像中行人身高作为尺度基准,将图像分成多个子图像块。其次,设计一种新的深度卷积神经网络结构,利用多种不同的卷积核提取人群图像的深层次特征进行人群密度估计。实验结果证明该方法在自然场景下人群密度估计具有良好的稳定性和鲁棒性。     

比例融合与多层规模感知的人群计数方法

针对密集场景下人群图像拍摄视角或距离多变造成的多尺度特征获取不足、融合不佳和全局特征利用不充分等问题,提出一种比例融合与多层规模感知的人群计数网络。首先采用骨干网络VGG16提取人群密度初始特征;其次,设计多层规模感知模块,获得人群多尺度信息的丰富表达;再次,提出比例融合策略,根据卷积层捕获的特征权重重构多尺度信息,提取显著性人群特征;最后,采用卷积回归策略进行密度图的回归。同时,提出一种局部一致性损失函数,通过区域化密度图的方式增强生成密度图与真实密度图的相似度,提高计数性能。在多个人群数据集上的试验结果表明,所提模型优于近年人群计数的先进方法,且在车辆计数上有较好推广性。     

基于多列卷积神经网络的参数异步更新算法

针对现有人群计数算法采用同步人工优化深度学习网络,忽略了网络学习的负面信息,导致大量冗余参数甚至过拟合,进而影响到计数准确性的问题,提出基于多列卷积神经网络MCNN(Multi-column Convolution Neural Network)的参数异步更新算法.首先将单帧图像输入网络,经过三列卷积分别提取不同尺度特...     

基于3D CNN的鼻咽癌CT图像分割

鼻咽癌CT图像分割是鼻咽癌诊断和治疗的先行任务,然而,由于鼻咽癌细胞的外形多样、灰度不均匀、边界模糊、病变形状复杂等因素使得分割难以准确。针对这一问题,提出了一种基于三维深度卷积神经网络的鼻咽癌CT图像分割方法,三维深度卷积神经网络框架的前5层采用卷积核为3~3的普通卷积,中间6层采用空洞率为2的膨胀卷积,后6层采用空洞率为4的膨胀卷积,每2个卷积层之间有一个残差连接,最后利用Softmax函数对每个像素点进行分类。膨胀卷积有助于得到精确的密集预测和沿物体边界的精细分割图,残差连接使深度卷积神经网络中的信息传播平滑,并能提高训练速度。实验结果表明,在鼻咽癌CT图像分割中该方法与其他主流方法相比有更好的性能。     

基于多尺度特征融合的人群计数算法

针对密集场景下人群目标尺度变化大导致识别精度不高的问题,本文提出两种多尺度特征融合结构:注意力加权融合模块(attention-weighted fusion module,AWF)和自底向上融合模块(bottom-up fusion module,BUF).其中AWF模块引入注意力分支学习特征图的权重,并将加权后的多...     

FF-CAM:基于通道注意机制前后端融合的人群计数

单个图像中的人群计数在计算机视觉领域中备受关注,因为其在公共安全方面具有重要作用.例如,在人群聚集的场景中监控设备可以实时监测人群数量变化,对过度拥挤和异常情况进行预警以预防安全事故的发生.然而,由于受到遮挡、透视扭曲、尺度变化和背景干扰的严重影响,在单个图像中对人群计数的预测要达到较高精确度是极其困难的,其面临着巨大...     

Pyramid-dilated deep convolutional neural network for crowd counting

Statistics on crowds in crowded scenes can reflect the density level of crowds and provide safety warnings. This is a laborious task if conducted manually. In recent years, automated crowd counting has received extensive attention in the computer vision field. However, this task is still challenging mainly due to the serious occlusion in crowds and large appearance variations caused by the viewing angles of cameras. To overcome these difficulties, a pyramid-dilated deep convolutional neural network for accurate crowd counting called PDD-CNN is proposed. PDD-CNN is based on a VGG-16 network that is designed to generate dense attribute feature maps from an image with an arbitrary size or resolution. Then, two pyramid dilated modules are adopted, each consisting of four parallel dilated convolutional layers with different rates and a parallel average pooling layer to capture the multiscale features. Finally, three cascading dilated convolutions are used to regress the density map and perform accurate count estimation. In addition, a novel training loss, combining the Euclidean loss with the structural similarity loss, is employed to attenuate the blurry effects of density map estimation. The experimental results on three datasets (ShanghaiTech, UCF_CC_50, and UCF-QNRF) demonstrate that the proposed PDD-CNN produces high-quality density maps and achieves a good counting performance.

     

基于空洞卷积的快速背景自动更换

针对背景更换过程复杂性较高导致传统方法效率低下并且精确度难以提高的问题,提出一种基于空洞卷积的快速图像背景更换方法——FABRNet。首先,采用VGG（Visual Geometry Group network）模型中前三部分网络结构对输入图片进行卷积和池化操作;其次,多组空洞卷积并联组合使得网络拥有足够大和足够细的感受野,并且加上残差网络结构来保证卷积过程中信息位置分布的准确性;最后,通过双线性插值算法将图片缩放到原图尺寸输出。在实验部分,与三种经典方法KNN（K-Nearest Neighbor）matting、Portrait matting和Deep matting进行了对比,结果表明,FABRNet能够有效地完成背景自动更换的操作,并且在速度方面有一定的优势。     

DeepLabv3plus-IRCNet：小目标特征提取的图像语义分割

目的 为了解决经典卷积神经网络无法满足图像中极小目标特征提取的准确性需求问题,本文基于DeepLabv3plus算法,在下采样过程中引入特征图切分模块,提出了DeepLabv3plus-IRCNet（IR为倒置残差（inverted residual,C为特征图切分（feature map cut））图像语义分割方法,支撑图像极小目标的特征提取。方法 采用由普通卷积层和多个使用深度可分离卷积的倒置残差模块串联组成的深度卷积神经网络提取特征,当特征图分辨率降低到输入图像的1/16时,引入特征图切分模块,将各个切分特征图分别放大,通过参数共享的方式提取特征。然后,将每个输出的特征图进行对应位置拼接,与解码阶段放大到相同尺寸的特征图进行融合,提高模型对小目标物体特征的提取能力。结果 本文方法引入特征图切分模块,提高了模型对小目标物体的关注,充分考虑了图像上下文信息,对多个尺度下的各个中间层特征进行融合,提高了图像分割精度。为验证方法的有效性,使用CamVid（Cambridge-driving labeled video database）数据集对提出的方法进行验证,平均交并比（mean intersection over union,mIoU）相对于DeepLabv3plus模型有所提升。验证结果表明了本文方法的有效性。结论 本文方法充分考虑了图像分割中小目标物体的关注度,提出的DeepLabv3plus-IRCNet模型提升了图像分割精度。     

基于尺度自适应卷积神经网络的人群计数算法

为解决单幅图像中的人群遮挡和尺度变化问题,提出一种基于多列卷积神经网络的人群计数算法。利用具有不同尺寸感受野的卷积神经网络(CNN)和特征注意力模块自适应提取多尺度人群特征,引入可变形卷积增强CNN网络空间几何形变学习能力并优化特征图,从而生成高质量的密度图。Shanghai Tech和UCF_CC_50数据集上的实验结果表明,该算法能学习输入图和人群密度图之间的映射关系,且计数准确性高、鲁棒性强。