比例融合与多层规模感知的人群计数方法

针对密集场景下人群图像拍摄视角或距离多变造成的多尺度特征获取不足、融合不佳和全局特征利用不充分等问题,提出一种比例融合与多层规模感知的人群计数网络。首先采用骨干网络VGG16提取人群密度初始特征;其次,设计多层规模感知模块,获得人群多尺度信息的丰富表达;再次,提出比例融合策略,根据卷积层捕获的特征权重重构多尺度信息,提取显著性人群特征;最后,采用卷积回归策略进行密度图的回归。同时,提出一种局部一致性损失函数,通过区域化密度图的方式增强生成密度图与真实密度图的相似度,提高计数性能。在多个人群数据集上的试验结果表明,所提模型优于近年人群计数的先进方法,且在车辆计数上有较好推广性。     

基于多尺度空间注意力特征融合的人群计数网络

针对严重的尺度变化和遮挡导致在不同密集场景人群计数任务中性能差的问题,在密集场景识别网络（CSRNet）的基础上通过增加多尺度特征融合结构并引入空间注意力机制,提出了一种多尺度空间注意力特征融合网络（MAFNet）。在MAFNet进行特征提取之前,需要对添加了人头标记的场景图进行高斯滤波生成真实密度图;此外,MAFNet还通过联合使用两种基本损失函数的方法来约束密度估计图与真实密度图的一致性。接着,MAFNet以多尺度特征融合结构为主干,首先采用边提取多尺度特征边融合的策略得到多尺度融合特征图,然后使用空间注意力模块对特征图进行校准和再融合,之后通过扩张卷积生成密度估计图,最后对密度估计图逐像素积分得到场景中的人数。为了验证所提出模型的有效性,在四个人群计数数据集（ShanghaiTech、UCF_CC_50、UCF_QRNF和World-Expo’10）上进行了评估。其中ShanghaiTech数据集PartB的实验结果显示,MAFNet与CSRNet相比,平均绝对误差（MAE）降低了34.9%,均方误差（MSE）降低了29.4%。在多个数据集上的实验结果表明,采用注意力机制和多尺度特征融合策略使MAFNet可以提取更多细节信息,减少尺度变化和遮挡带来的影响。     

一种抗背景干扰的多尺度人群计数算法

人群计数技术以估计人群图片或视频中的人数为目标,可以有效预防人群踩踏事故的发生,广泛应用于安防预警、城市规划及大型集会管理等领域。然而,由于人群尺度变化、背景干扰、人群分布不均、遮挡和透视效应等因素的影响,单幅图片的人群计数仍是一项非常具有挑战性的任务。针对人群计数中多尺度变化和背景干扰问题,提出一种抗背景干扰的多尺度人群计数算法。以VGG16网络结构为基础,引入特征金字塔构建多尺度特征融合骨干网络解决人群多尺度变化问题,设计Double-Head-CC结构对融合后的特征图进行前景背景分割和密度图预测以抑制背景干扰。基于密度图的局部相关性和多任务学习,定义多重损失函数和多任务联合损失函数进行网络优化。在ShanghaiTech、UCF-QNRF和JHU-CROWD++数据集上进行训练和评测,实验结果表明,该算法能够很好地预测人群密度分布和人群数量,具有较高的准确性,且鲁棒性强、泛化性能良好。     

融合注意力机制与上下文密度图的人群计数网络

为分析商业区人群流动情况,或避免人群踩踏等公共事件的发生,通常采用人群计数方法统计监控图像中的人数信息,从而达到提前预警的效果。受目标遮挡、背景干扰、多尺度变化等因素的影响,现有的人群计数方法在统计人数信息的过程中存在误算或漏算的问题,导致准确率降低。提出一种基于注意力机制与上下文密度图融合的人群计数网络CADMFNet。以VGG16的部分卷积层作为前端网络,通过引入上采样融合模块对输入的特征图进行上下文特征融合,将不同膨胀率的膨胀卷积作为后端网络,生成高质量的中间密度图。在此基础上,采用上下文注意力模块融合不同层级的中间密度图,获得精细的人群密度图。实验结果表明,该网络在Mall数据集上的平均绝对误差和均方根误差分别为1.31和1.59,相比CSRNet、MCNN等网络,能够有效提高计数的准确度,并且具有较优的鲁棒性。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于特征融合和代价敏感学习的图像标注方法

针对图像标注数据集中存在的标注对象比例不一致和标签分布不平衡问题,提出基于特征融合和代价敏感学习的图像标注方法.在卷积神经网络中加入特征融合层,改进VGG16原有的网络结构,特征融合层结合注意力机制,对网络中不同卷积层提取的多尺度特征进行选择性融合,提升对不同尺度对象的标注精度;将代价敏感学习融入损失函数对网络模型进行训练,提升网络的泛化性能.实验结果表明,该方法能提升图像标注的准确率,增加对低频标签的召回率.     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

基于上下文特征重聚合网络的人群计数

针对计数问题中人群目标尺度的变化问题,提出了一种基于上下文特征重聚合的计数算法.将高层网络提取的语义信息与底层网络提取的人群尺度细节信息相结合,旨在利用浅层网络中提取的信息向深层网络提取的特征中融入不同尺度的行人目标特征,从而融合多种尺度的人群特征回归出高质量的人群密度图.此外,在ShanghaiTech、UCF_CC...     

一种改进的RefineDet多尺度人脸检测方法

针对车站、商场等大型场所中客流量大、背景复杂等原因导致多尺度人脸检测精度低的问题,建立了一种基于RefineDet多层特征图融合的多尺度人脸检测方法。首先利用第一级网络进行特征提取并在不同尺度的特征图上粗略预估人脸位置;然后在第二级中通过特征金字塔网络将低层特征与高层特征融合,进一步增强小尺寸人脸的语义信息;最后,通过置信度和焦点损失函数对检测框进行二次抑制,达到边框的精确回归。实验中将人脸候选区域的宽高比只设置为1:1,以此来降低运算量并提高人脸检测精度。在Wider Face数据集上的实验结果表明,该方法能有效检测不同尺度的人脸,在Easy、Medium、Hard 3个子数据集上测试结果分别为93.4%、92%、84.4%的MAP,尤其对小尺寸人脸的检测精度有明显提高。     

一种多尺度特征关联网络的遥感影像场景分类方法

针对遥感影像场景分类中提取特征信息不准确以及融合冗余信息的问题,提出一种多尺度特征关联网络的遥感影像场景分类方法。首先,利用ResNet18提取多尺度影像特征,并在特征金字塔结构中引入空洞卷积和多头自注意力模块关注各层有效信息,以增强语义信息和抑制周围噪声;其次,使用多特征关联模块来增强关键特征信息,对各层使用全局平均池化并加和,得到特征向量;最后,采用全连接层进行分类。该方法在NWPU数据集上的总体分类精度为90.51%,相比VGG＿VD16-MSCP、VGG＿VD16-SAFF以及DTDCNN等网络分别提升1.58%、2.65%和6.39%。结果表明,文章所用的多尺度融合方式能够更好地提取特征地物并抑制周围背景,从而取得更高的遥感影像场景分类精度。     

基于多尺度多列卷积神经网络的密集人群计数模型

针对尺度和视角变化导致的监控视频和图像中的人数估计性能差的问题,提出了一种基于多尺度多列卷积神经网络（MsMCNN）的密集人群计数模型。在使用MsMCNN进行特征提取之前,使用高斯滤波器对数据集进行处理得到图像的真实密度图,并且对数据集进行数据增强。MsMCNN以多列卷积神经网络的结构为主干,首先从具有多尺度的多个列中提取特征图;然后,用MsMCNN在同一列上连接具有相同分辨率的特征图,以生成图像的估计密度图;最后,对估计密度图进行积分来完成人群计数的任务。为了验证所提模型的有效性,在Shanghaitech数据集和UCF_CC_50数据集上进行了实验,与经典模型Crowdnet、多列卷积神经网络（MCNN）、级联多任务学习（CMTL）方法、尺度自适应卷积神经网络（SaCNN）相比,所提模型在Shanghaitech数据集Part_A和UCF_CC_50数据集上平均绝对误差（MAE）分别至少减小了10.6和24.5,均方误差（MSE）分别至少减小了1.8和29.3;在Shanghaitech数据集Part_B上也取得了较好的结果。MsMCNN更注重特征提取过程中的浅层特征的结合以及多尺度特征的结合,可以有效减少尺度和视角变化带来的精确度偏低的影响,提升人群计数的性能。     

基于注意力机制的多尺度融合航拍影像语义分割

航拍影像同一场景不同对象尺度差异较大,采用单一尺度的分割往往无法达到最 佳的分类效果。为解决这一问题,提出一种基于注意力机制的多尺度融合模型。首先,利用不 同采样率的扩张卷积提取航拍影像的多个尺度特征;然后,在多尺度融合阶段引入注意力机制, 使模型能够自动聚焦于合适的尺度,并为所有尺度及每个位置像素分别赋予权重;最后,将加 权融合后的特征图上采样到原图大小,对航拍影像的每个像素进行语义标注。实验结果表明, 与传统的 FCN、DeepLab 语义分割模型及其他航拍影像分割模型相比,基于注意力机制的多尺 度融合模型不仅具有更高的分割精度,而且可以通过对各尺度特征对应权重图的可视化,分析 不同尺度及位置像素的重要性。     

基于上下文多尺度融合的棉铃计数算法

由于实际的棉田环境中存在高度遮挡及尺度多变问题,大幅降低了目标计数算法的精度.针对这一问题,提出基于上下文多尺度融合的棉铃计数算法.算法由金字塔结构的上下文模块和融合卷积神经网络两个部分组成.首先通过全局上下文和局部上下文模块对棉铃图像的上下文信息编码,同时利用多列特征转换模块将输入图像映射成高维特征,最后通过融合卷积神经网络将上下文信息与高维特征进行融合,实现高精度棉铃计数并生成高质量棉铃密度图.此外,从近距离和地空观测两个角度在棉铃数据集上进行实验,实验结果表明,引入上下文信息可以有效提升棉铃计数精度,计数误差MAE和MSE分别下降了27.3和29.4.     

基于尺度自适应卷积神经网络的人群计数算法

为解决单幅图像中的人群遮挡和尺度变化问题,提出一种基于多列卷积神经网络的人群计数算法。利用具有不同尺寸感受野的卷积神经网络(CNN)和特征注意力模块自适应提取多尺度人群特征,引入可变形卷积增强CNN网络空间几何形变学习能力并优化特征图,从而生成高质量的密度图。Shanghai Tech和UCF_CC_50数据集上的实验结果表明,该算法能学习输入图和人群密度图之间的映射关系,且计数准确性高、鲁棒性强。     

基于深度特征融合生成的密集人群计数网络

为了进一步提高密集人群计数任务的计数精度,提出一种利用深度语义特征逐步降维重建的密集人群计数网络。前端采用深度卷积网络得到基本的深度语义特征;后端采用基于空洞卷积的多尺度特征融合块来丰富深度语义特征。通过语义重建块与上采样相结合,在进行多次降维重建以后生成与原始图像相同分辨率的人群密度图,并由此得到人群数量。将该模型在公开的数据集ShanghaiTech、UCF_CC_50、UCF-QNRF上与历年的主要方法进行对比,该方法无论是在人群计数精度还是密度图质量上都体现出了明显的优势,同时在多个数据上的验证实验表明模型具有较好的鲁棒性。     

基于背景抑制与上下文感知的人群计数网络

针对图像背景噪声、透视畸变等影响人群计数网络计数精度的问题,提出一种基于背景抑制与上下文感知的新网络。利用VGG-16网络提取图像特征,并分别将特征输入密度图生成模块和背景噪声抑制（BNS）模块中进行处理,生成密度特征图和空间注意力图。使用BNS模块优化密度特征图并生成初级密度图,以抑制图像中背景噪声干扰,提高人群区域的特征权重。为减少透视畸变对人群密度估计的影响,使用上下文感知增强网络优化初级密度图,并生成预测密度图。在ShanghaiTech、UCF-CC-50及UCF-QNRF 3个公开数据集上的实验结果表明,该网络相较于MCNN、SwitchCNN、CSRNet等网络的计算准确度较高,尤其在UCF-QNRF数据集上其平均绝对误差和均方误差分别为85.8、146.0,相较于其他网络最高分别下降69.0%和67.2%,能充分抑制图像背景噪声并有效减小透视畸变引起的误差,具有良好的泛化能力和较强的鲁棒性。