基于深度特征融合生成的密集人群计数网络

为了进一步提高密集人群计数任务的计数精度,提出一种利用深度语义特征逐步降维重建的密集人群计数网络.前端采用深度卷积网络得到基本的深度语义特征;后端采用基于空洞卷积的多尺度特征融合块来丰富深度语义特征.通过语义重建块与上采样相结合,在进行多次降维重建以后生成与原始图像相同分辨率的人群密度图,并由此得到人群数量.将该模型在...     

双任务交互下的四段监督人群计数网络

针对人群计数任务中存在的场景遮挡问题和人群分布不均问题,本文提出了一种双任务交互下的四段监督人群计数网络(Four stage supervised network, F2SNet).首先,通过优化早期分布来监督早阶段的特征,提升浅层网络对前背景的甄别能力,同时避免了训练过程中的梯度消失以及收敛过慢问题.计数监督则关注了网络的计数准确性,并生成反映不同特征重要程度的人群响应图.终期分布修正模块结合高频语义信息,进一步监督人群的分布预测.背景抑制模块则抑制网络在背景区域上的误判.4个模块协同工作,在保证预测精度的前提下关注了密度分布的一致性.在4个常用人群数据集上的实验结果表明,与已有的人群计数算法相比,F2SNet具有良好的人群计数能力和分布预测能力.     

人群计数研究综述

人群计数广泛应用在公共安防、视频监控和智慧城市建设等领域,对控制特定场所人数、指挥公共交通、防止疫情蔓延、保障社会稳定具有重要积极意义。传统的计数方法精度不高、场景受限,随着深度学习的发展,传统方法逐渐被卷积神经网络（convolutional neural network,CNN）方法代替。介绍了人群计数的研究背景、现状和发展趋势,叙述了两种传统方法;从计数精度、网络结构、评价指标和数据集等方面重点分析了CNN方法,发现CNN技术可以有效解决多尺度和跨场景等问题;阐述了基于Vision Transformer（ViT）序列的弱监督计数方法并且对比各类方法。对未来人群计数的研究前景做出展望。     

自适应融合特征的人群计数网络

针对人群计数方法中存在的尺度变化和多层级特征融合不佳的问题,基于U-Net的编码器-解码器网络结构,提出一种自适应特征融合网络,来进行精准的人群计数。提出自适应特征融合模块,根据解码器分支的需要,高效地聚合编码器分支提取的高层语义信息和底层的边缘信息;提出自适应上下文信息提取器,从不同感受野下提取多尺度的上下文信息并自适应加权融合,提高网络对于人头尺度变化的鲁棒性。在ShanghaiTech、UCF-CC-50和UCG-QNRF上的实验表明,与目前主流的人群计数算法相比,该算法具有更强的准确性和鲁棒性。     

基于多尺度多列卷积神经网络的密集人群计数模型

针对尺度和视角变化导致的监控视频和图像中的人数估计性能差的问题,提出了一种基于多尺度多列卷积神经网络（MsMCNN）的密集人群计数模型。在使用MsMCNN进行特征提取之前,使用高斯滤波器对数据集进行处理得到图像的真实密度图,并且对数据集进行数据增强。MsMCNN以多列卷积神经网络的结构为主干,首先从具有多尺度的多个列中提取特征图;然后,用MsMCNN在同一列上连接具有相同分辨率的特征图,以生成图像的估计密度图;最后,对估计密度图进行积分来完成人群计数的任务。为了验证所提模型的有效性,在Shanghaitech数据集和UCF_CC_50数据集上进行了实验,与经典模型Crowdnet、多列卷积神经网络（MCNN）、级联多任务学习（CMTL）方法、尺度自适应卷积神经网络（SaCNN）相比,所提模型在Shanghaitech数据集Part_A和UCF_CC_50数据集上平均绝对误差（MAE）分别至少减小了10.6和24.5,均方误差（MSE）分别至少减小了1.8和29.3;在Shanghaitech数据集Part_B上也取得了较好的结果。MsMCNN更注重特征提取过程中的浅层特征的结合以及多尺度特征的结合,可以有效减少尺度和视角变化带来的精确度偏低的影响,提升人群计数的性能。     

多任务多层级CNN在人群计数中的应用

为了提升人群图像的计数精度,设计一种多层级多任务深度卷积网络。多层级神经网络由卷积和上采样的组合方式构成,该网络的优点在于结合浅层网络提取的细节信息和深层网络提取的高阶语义信息。在此基础上,使用多任务学习的方法提升网络性能,多任务学习分为两个部分：人群密度估计任务和人群密度等级分类任务。网络的高分辨率层与人群密度估计任务相连,网络的深层与人群密度等级分类任务相连。将两个任务的损失融合并构成新的损失函数。实验在人群计数公共数据集ShanghaiTech、WorldExpo’10和UCF_CC_50上进行,实验结果表明,该网络在人群计数上具有较好的准确率和鲁棒性。     

基于相似性度量的人群计数方法

人群计数问题是计算机视觉领域的一个经典问题,旨在通过计算机的相关方法计算视频或图片场景中的人数,对控制关键场所人数、指挥公共交通、控制疫情蔓延、保障社会稳定具有重要积极意义.针对现有人群计数面临的背景干扰与目标遮挡问题,本文提出了基于相似性度量的人群计数方法.     

一种面向人群计数的卷积注意力网络模型

随着当今国际社会形势逐渐复杂,公共安全和社会稳定面临严峻挑战。视频监控作为维护社会安定与建设智慧城市的重要手段,广泛应用于城市安全管理。高效的人群计数是实现基于视频进行安全管理的一个难点问题,旨在分析计算视频或图片场景中的人数。人群计数对控制关键场所人数、指挥公共交通、控制疫情蔓延、保障社会稳定具有重要积极意义。然而,人群计数问题仍然存在背景干扰、目标遮挡、目标尺度不一和目标分布不均等挑战,导致计数准确度较低。为了解决这些问题,梳理了人群计数发展的时间线,分析了现有方法的不足,并针对这些不足提出了基于相似性度量的卷积注意力网络。该方法结合基于相似性度量的损失函数和基于注意力机制的卷积神经网络模块,有效缓解了人群计数中背景干扰、目标遮挡、目标尺度不一和目标分布不均四个问题。通过在数据集上的实验和相关对比分析发现,基于相似性度量的卷积注意力网络具有很好的准确性和稳定性。     

基于序的空间金字塔池化网络的人群计数方法

视频中的人群计数在智能监控领域具有重要价值. 由于摄像机透视效果、图像背景、人群密度分布不均匀和行人遮挡等干扰因素的制约, 基于底层特征的传统计数方法准确率较低. 本文提出一种基于序的空间金字塔池化(Rank-based spatial pyramid pooling, RSPP)网络的人群计数方法. 该方法将原图像分成多个具有相同透视范围的子区域并在各个子区域分别取不同尺度的子图像块, 采用基于序的空间金字塔池化网络估计子图像块人数, 然后相加所有子图像块人数得出原图像人数. 提出的图像分块方法有效地消除了摄像机透视效果和人群密度分布不均匀对计数的影响. 提出的基于序的空间金字塔池化不仅能够处理多种尺度的子图像块, 而且解决了传统池化方法易损失大量重要信息和易过拟合的问题. 实验结果表明, 本文方法相比于传统方法具有准确率高和鲁棒性好的优点.     

基于深度级联神经网络的自动驾驶运动规划模型

针对基于规则的运动规划算法需要预先定义规则和基于深度学习的方法没有利用时间特征的问题，提出一种基于深度级联神经网络的运动规划模型。该模型将卷积神经网络（CNN）和长短期记忆网络（LSTM）这两种经典的深度学习模型进行融合并构成一种新的级联神经网络，分别提取输入图像的空间和时间特征，并用以拟合输入序列图像与输出运动参数之间的非线性关系，从而完成从输入序列图像到运动参数的端到端的规划。实验利用模拟驾驶环境的数据进行训练和测试，结果显示所提模型在乡村路、高速路、隧道和山路四种道路中均方根误差（RMSE）不超过0.017，且预测结果的稳定度优于未使用级联网络的算法一个数量级。结果表明，所提模型能有效地学习人类的驾驶行为，并且能够克服累积误差的影响，适应多种不同场景下的路况，具有较好的鲁棒性。     

基于多尺度空间注意力特征融合的人群计数网络

针对严重的尺度变化和遮挡导致在不同密集场景人群计数任务中性能差的问题,在密集场景识别网络(CSRNet)的基础上通过增加多尺度特征融合结构并引入空间注意力机制,提出了一种多尺度空间注意力特征融合网络(MAFNet).在MAFNet进行特征提取之前,需要对添加了人头标记的场景图进行高斯滤波生成真实密度图;此外,MAFNe...     

基于BiLSTM-CNN串行混合模型的文本情感分析

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络（BiLSTM-CNN）的串行混合模型。首先,利用双向循环长短时记忆（BiLSTM）神经网络提取文本的上下文信息;然后,对已提取的上下文特征利用卷积神经网络（CNN）进行局部语义特征提取;最后,使用Softmax得出文本的情感倾向。通过与CNN、长短时记忆神经网络（LSTM）、BiLSTM等单一模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了2.02个百分点、1.18个百分点和0.85个百分点;与长短时记忆神经网络和卷积神经网络（LSTM-CNN）、BiLSTM-CNN并行特征融合等混合模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了1.86个百分点和0.76个百分点。实验结果表明,基于BiLSTM-CNN的串行混合模型在实际应用中具有较大的价值。     

基于改进的双向长短期记忆网络的视频摘要生成模型

针对传统视频摘要方法往往没有考虑时序信息以及提取的视频特征过于复杂、易出现过拟合现象的问题,提出一种基于改进的双向长短期记忆(BiLSTM)网络的视频摘要生成模型.首先,通过卷积神经网络(CNN)提取视频帧的深度特征,而且为了使生成的视频摘要更具多样性,采用BiLSTM网络将深度特征识别任务转换为视频帧的时序特征标注任...     

基于长短期记忆的车辆行为动态识别网络

高级辅助驾驶装置采用机器视觉技术实时处理摄录的行车前方车辆视频，动态识别并预估其姿态和行为。针对该类识别算法精度低、延迟大的问题，提出一种基于长短期记忆（LSTM）的车辆行为动态识别深度学习算法。首先，提取车辆行为视频中的关键帧；其次，引入双卷积网络并行对关键帧的特征信息进行分析，再利用LSTM网络对提取出的特性信息进行序列建模；最后，通过输出的预测得分判断出车辆行为类别。实验结果表明，所提算法识别准确率可达95.6%，对于单个视频的识别时间只要1.72 s；基于自建数据集，改进的双卷积算法相比普通卷积网络在准确率上提高8.02%，与传统车辆行为识别算法相比准确率提高6.36%。     

基于图像视野划分的公共场所人群计数模型

为解决公共场所中人群分布不均以及目标尺度不一而影响人数估计的问题,提出了基于图像视野划分的公共场所人群计数模型。首先将图像场景划分为远近视野两个区域,对近视野区域,使用基于YOLO的网络进行行人检测并通过添加场景约束避免在远近视野区域内重复计数;对远视野区域,使用改进的MobileNets提取人群密度分布特征,并引入超分辨率重建模块提升人群密度图质量,最终通过计算两者之和得到整幅图像中的人群数量。在Shanghai Tech和Mall数据集上进行测试,结果表明该模型在准确性和鲁棒性上有显著的提高,实验证明模型切实可行。     

基于融合式神经网络的微生物生长环境关系抽取

为了构建完整的微生物生长环境关系数据库,提出基于卷积神经网络-长短时记忆(CNN-LSTM)的关系抽取系统.结合卷积神经网络(CNN)和长短时记忆(LSTM),实现对隐含特征的深度学习,提取分布式词向量特征和实体位置特征作为模型的特征输入.对比实验验证加入特征后CNN-LSTM模型的优势,并将CNN模型的特征输出作为LSTM模型的特征输入.在Bio-NLP 2016共享任务发布的BB-event语料集上得到目前最好的结果.     

基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法

针对电池荷电状态(SOC)预测的精确度与稳定性问题以及深层神经网络的梯度消失问题,提出一种基于一维卷积神经网络(1D CNN)与长短期记忆(LSTM)循环神经网络(RNN)结合的电池SOC预测方法——1D CNN-LSTM模型.1D CNN-LSTM模型将电池的电流、电压和电阻映射到目标值SOC.首先,通过一层一维卷积...     

基于长短时记忆单元和卷积神经网络混合神经网络模型的视频着色方法

视频可以看作是连续的视频帧图像组成的序列,视频彩色化的实质是对图像进行彩色化处理,但由于视频的长期序列性,若直接将现有的图像着色方法应用到视频彩色化上极易产生抖动或闪烁现象。针对这个问题,提出一种结合长短时记忆（LSTM）和卷积神经网络（CNN）的混合神经网络模型用于视频的着色。该方法用CNN提取视频帧的语义特征,同时使用LSTM单元学习灰度视频的时序信息,保证视频的时空一致性,然后融合局部语义特征和时序特征,生成最终的彩色视频帧序列。通过对实验结果的定量分析和用户研究表明,该方法在视频彩色化上实现了较好的效果。