基于递归神经网络局部建模的人群异常事件监测

针对密集人群建模困难、异常事件检测可靠性差等问题,提出了一种基于递归神经网络局部建模的人群异常事件监测与定位方法。该方法首先对人群场景进行网格划分,提取多尺度光流统计直方图特征,并按照一定规则进行特征选择,建立人群动态序列事件表示;然后采用递归神经网络对人群场景进行局部细粒度建模和预测;最后基于前后帧重构误差进行异常事件判定,实现异常事件的监测和定位。公共数据集UCSD上进行的对比实验结果验证了该方法的有效性。     

基于尺度融合的密集人群计数

现实场景中人群尺度的巨大差异给密集人群计数算法带来了巨大的挑战,因此提出一种基于尺度融合的密集人群计数算法.首先对密度图构建算法进行优化,利用多个头部检测器获取稀疏人群的部分头部尺度,并用径向基差值进行补全,在人群密集区域辅之以距离自适应的人群密度图生成算法,生成更为精确的人群密度图.其次利用移动翻转瓶颈卷积模块设计尺度融合的人群密度图回归神经网络,并加入膨胀卷积模块进一步提升人体头部边缘特征提取能力.最后,通过将人群区域和非人群区域进行区分对人群密度图回归神经网络损失函数进行优化.在实验部分,将该算法在多个数据集上与多个同类算法进行了充分的对比实验与消融实验,实验结果表明提出的方法能够显著提升密集人群计数算法的准确性.     

人群异常状态检测的图分析方法

提出一种图分析方法用于动态人群场景异常状态检测. 使用自适应Mean shift算法对场景速度场进行非参数概率密度估计聚类, 聚类结果构成以聚类中心为顶点、各聚类中心之间距离为边权重的无向图. 通过分析图顶点的空间分布及边权重矩阵动态系统的预测值与观测值之间的离散程度,对动态场景中的异常事件进行检测和定位. 使用多个典型动态场景视频数据库进行对比实验,结果表明图分析方法适应性强、可有效监控动态人群场景中的异常状态.     

基于多尺度卷积神经网络的人群聚集异常预测

已有的公共场所人群聚集异常行为检测方法较少,且大多检测方法都是在人群已经异常聚集后再进行检测,检测准确率不高,时效性不够好。提出一种基于多尺度卷积神经网络（MCNN）的人群聚集异常预测模型。首先,通过多尺度卷积神经网络训练一个人群计数模型,用训练好的模型对人群聚集异常视频进行测试;然后在测试中完成人群人数统计与人群头部坐标点获取,进而计算人群密度、人群距离势能与人群分布熵;最后将得到的3种人群运动状态特征值利用PSO-ELM进行训练,得到预测模型,通过特征数据的变化,完成人群聚集行为的预测。实验结果表明,与现有算法相比,该模型能有效实现人群聚集异常行为的预警与检测,时效性强,为采取相应应急措施提供了更多时间,预测准确率达到了9717%。     

基于深度时空卷积神经网络的人群异常行为检测和定位

针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题,提出一种基于深度时空卷积神经网络的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点,综合利用静态图像的空间特征和前后帧的时间特征,将二维卷积扩展到三维空间,设计面向人群异常行为检测和定位的深度时空卷积神经网络;为了定位人群异常行为,将视频分成若干子区域,获取视频的子区域时空数据样本,然后将数据样本输入设计的深度时空卷积神经网络进行训练和分类,实现人群异常行为的检测与定位。同时,为了解决深度时空卷积神经网络训练时样本数量不足的问题,设计一种迁移学习的方法,利用样本数量多的数据集预训练网络,然后在待测试的数据集中进行微调和优化网络模型。实验结果表明,该方法在UCSD和subway公开数据集上的检测准确率分别达到了99%和93%以上。     

基于多尺度时空Transformer的视频动态场景图生成模型

为应对动态视频中物体间关系在时间维度上的动态变化,提出一种基于多尺度时空Transformer的视频动态场景图生成模型,在经典的Transformer架构基础上引入了多尺度建模思想,以实现对视频动态细粒度语义的精确建模。首先,在空间维度上保留了传统模型对物体在全局空间相关性的关注;同时还对物体间的相对位置进行了局部空间相关性建模,以便更好地理解人和物之间的交互动态,提供更准确的语义分析结果。其次,在时间维度上,除了保留传统模型对视频中物体短期时间相关性的关注外,还关注了同一对物体在完整视频中的长期时间相关性,通过更全面地建模物体之间的长期关系,生成更准确、连贯的场景图,在一定程度上缓解了由遮挡、重合等引起的场景图生成问题。最后,通过空间编码器与时间编码器的共同作用,更加精准地建模视频动态细粒度语义,克服了传统的单尺度模型的局限性。实验结果显示,在Action Genome基准数据集上,与基线模型STTran相比,在谓词分类、场景图分类与场景图检测三个任务的Recall@10指标上分别提升了5.0、2.8、2.9个百分点。实验结果表明,多尺度建模思想能够更加精确地建模,并有效地提高在视频...     

面向遥感影像场景的深度卷积神经网络递归识别模型

在遥感影像场景识别过程中,针对利用卷积神经网络进行固定格网影像场景识别时存在类间可分性不高和局部细节粗糙等问题,提出一种深度卷积神经网络递归识别模型(DCNN-RR)。该模型首先构建卷积层、采样层交替的多层卷积神经网络进行遥感影像多分辨率场景训练。然后,根据格网影像softmax概率计算场景类间混淆指数(Confusion Index,CI),四分格网递归进行卷积神经网络识别,并采用多重窗口滑动递归微调直至CI达到峰值来精准定位场景目标。通过高分辨遥感影像实验表明该模型可适应不同尺度地物的变化,相比固定格网影像显著提高了场景识别精度,局部细节也更为精细。     

利用角点历史信息的异常行为识别算法

针对视频监控场景中的异常行为事件,如突然的奔跑、人群的异常聚集等现象,提出一种利用角点运动历史图策略的行为识别算法,即首先通过角点提取算法进行场景角点提取;然后通过时间累积获取角点的历史图,通过角点历史图将场景中的角点划分为静态角点和动态角点;最后通过动态角点分析完成监控场景异常行为分析识别。新算法充分利用了图像的时空信息,并且克服了场景光照影响,增强了异常行为检测与识别的准确性。通过真实场景实验可以看出,新算法能够对不同监控场景的异常行为进行准确检测,并且其检测速度快,满足实际应用需求。     

基于注意力机制的多尺度空洞卷积神经网络模型

现有的时间知识图谱表示方法不能较好地捕获四元组内的复杂关系,而基于神经网络的模型大都无法建模随时间变化的知识,不能捕获丰富的特征信息,实体和关系间的交互性也较差.因此,文中提出基于注意力机制的多尺度空洞卷积神经网络模型.首先利用长短期记忆网络获得时间感知的关系表示.再利用多尺度空洞卷积神经网络提高四元组的交互性.最后,使用多尺度注意力机制捕获关键特征,提高模型的补全能力.在多个公开时间数据集上的链路预测实验表明,文中模型性能较优.     

密集场景下基于多尺度特征聚合的人群计数方法

密集场景下个体尺度存在巨大差异，目标个体尺度不一导致人群计数精度不高。针对这一问题，提出了一种密集场景下基于多尺度特征聚合的人群计数方法。该方法研究不同特征层级对不同尺度个体的特征信息表示能力，通过层级连接充分获取多尺度特征；同时，提出了一个多尺度特征聚合模块，采用多列具有不同扩张率的空洞卷积，通过动态特征选择机制自动调整感受野，以有效提取不同尺度个体的特征。该方法能够在保留小尺度个体特征信息的基础上进一步扩大感受野，增强大尺度个体的检测能力，使其更好地适应人群个体的多尺度变化。在3个公共人群计数数据集上进行了实验，实验结果表明，所提模型在计数准确性上有了进一步的提高，其中在ShanghaiTech数据集Part＿A上MAE为51.21,MSE为83.70。     

基于多层BP神经网络和无参数微调的人群计数方法

针对大部分现有的人群计数方法被应用到新的场景时性能下降的问题,在多层BP神经网络框架下,提出一种具有无参数微调的人群计数方法。首先,从训练图像中裁切图像块,将获得的相似尺度的行人作为人群BP神经网络模型的输入;然后,BP神经网络模型通过学习预测密度图,得到了一个具有代表性的人群块;最后,为了处理新场景,对训练好的BP神经网络模型进行目标场景微调,可追求有相同属性的样本,包括候选块检索和局部块检索。实验数据集包括PETS2009数据集、UCSD数据集和UCF_CC_50数据集。这些场景的实验结果验证了提出方法的有效性。相比于全局回归计数法和密度估计计数法,提出的方法在平均绝对误差和均方误差方面均有较大优势, 消除了场景间区别和前景分割的影响。     

Remote Sensing Image Scene Oriented Convolutional Neural Network Recursive Recognition Model

In order to solve low separability and rough details in scene recognition，remote sensing image scene oriented convolutional neural network recursive recognition model is presented.Firstly，deep convolutional neural network with multi\|convolutional layers and multi\|pooling layers is constructed by multi\|resolution scenes.Then quad\|grids are subdivided to DCNN scene recursive recognition based on Confusion Index (CI)by softmax probability，and multi\|sliding windows are used to tune recursively for accurately locating scene targets.Experimental results show that the proposed model can adapt scene recognition with different scale，and significantly improve the accuracy compared with the commonly used DCNN.     

基于多尺度特征融合的人群密度检测

基于深度学习的人群密度检测算法取得了巨大进步,但该算法在实际复杂场景中的检测准确性和鲁棒性还有很大的提升空间.复杂场景下目标尺度不一致和背景信息干扰等因素使得人群密度检测成为一项具有挑战性的任务.针对该问题,提出了一种基于多尺度特征融合的人群密度检测网络.该网络首先利用不同分辨率图像并行交互提取人群粗细粒度特征,并引入多层次特征融合机制,以充分利用多层尺度信息.其次采用空间和通道注意力机制突出人群特征权重,聚焦感兴趣的人群,降低背景信息干扰,生成高质量密度图.实验结果表明,在多个典型的公共数据集上与具有代表性的人群密度检测方法相比,多尺度特征融合的人群密度检测网络具有良好的准确性和鲁棒性.     

Abnormal crowd behavior detection using high-frequency and spatio-temporal features

Abnormal crowd behavior detection is an important research issue in computer vision. The traditional methods first extract the local spatio-temporal cuboid from video. Then the cuboid is described by optical flow or gradient features, etc. Unfortunately, because of the complex environmental conditions, such as severe occlusion, over-crowding, etc., the existing algorithms cannot be efficiently applied. In this paper, we derive the high-frequency and spatio-temporal (HFST) features to detect the abnormal crowd behaviors in videos. They are obtained by applying the wavelet transform to the plane in the cuboid which is parallel to the time direction. The high-frequency information characterize the dynamic properties of the cuboid. The HFST features are applied to the both global and local abnormal crowd behavior detection. For the global abnormal crowd behavior detection, Latent Dirichlet allocation is used to model the normal scenes. For the local abnormal crowd behavior detection, Multiple Hidden Markov Models, with an competitive mechanism, is employed to model the normal scenes. The comprehensive experiment results show that the speed of detection has been greatly improved using our approach. Moreover, a good accuracy has been achieved considering the false positive and false negative detection rates.     

基于运动显著图的人群异常行为检测

针对公共场所中人群监控准确性和实时性低的问题,提出一种基于运动显著图的人群异常行为检测方法。该方法首先利用Lucas-Kanade法计算稀疏特征点的光流场,并对光流场进行时间和空间上的滤波处理,然后计算特征点的运动方向、速度和加速度。为了准确描述人群行为,将人群的速度幅值、运动方向变化量和加速度幅值分别映射为图像的R、G、B三个通道,并以此合成代表人群运动特征的运动显著图。最后,设计和训练面向人群运动显著图的卷积神经网络模型,并利用该模型检测人群中是否存在异常行为。实验结果表明,该方法能够有效、实时地检测人群异常行为,在UMN和PETS2009数据集的检测率均达到了97.9%以上。     

基于Faster R-CNN的密集人群检测算法

为提高拥挤场景下的人群检测准确率,提出一种基于改进Faster R-CNN的密集人群检测算法。首先,在特征提取阶段添加空间与通道注意力机制,使用加强的双向特征金字塔网络（S-BiFPN）替代原网络中的多尺度特征金字塔（FPN）,使网络对重要特征进行自主学习并加强对图像深层特征的提取;其次,引入多实例预测（MIP）算法对实例进行预测,以避免模型对拥挤场景下的目标造成漏检;最后,对模型中的非极大值抑制（NMS）进行优化,并额外增设一个交并比（IoU）阈值,以对检测结果的干扰项进行精确抑制。在开源的密集人群检测数据集上进行测试的结果显示,相较于原Faster R-CNN算法,所提算法的平均精度（AP）提升5.6%,Jaccard指数值提升3.2%。所提算法具有较高检测精度和稳定性,可以满足密集场景人群检测的需求。     

基于群体性行为模型的人群分析及其应用

基于视频分析的人群监控,涉及到获取人群行为和数量,这在智能监控领域具有重要的现实价值。本文建立基于运动特征的群体性行为模型,挖掘复杂人群场景中的群体行为,用于人群行为和数量的分析。群体性行为模型是一种主题模型（LDA）,通过样本学习,可以获得描述不同群体行为的特征集,用于人群分析。实验中,将群体性行为模型应用于挖掘监控场景下的不同人群行为及其特征集,并使用人工神经网络完成人数统计,统计正确率达到92.35%。