面向群体行为识别的注意力池化机制

视频行为识别近年来逐渐成为计算机视觉领域学者的研究热点,按照识别对象进行划分,视频行为识别任务可分为个体行为识别与群体行为识别.本文聚焦于群体行为识别,识别与分析视频场景中整体人群的行为,已有的群体行为识别方法大多采用多层时序网络模型,学习得到表征时序变化的个体行为特征并对其进行聚合形成群体行为特征,但是,在个体特征聚...     

群体行为识别深度学习方法研究综述

群体行为识别是计算机视觉领域应用广泛且亟待解决的重要研究问题.伴随着深度神经网络的发展,群体行为识别与理解的宽度与深度也在不断扩展.通过调研近十年来群体行为识别的研究文献,确定了目前群体行为识别研究的问题定义;指出了群体行为识别研究现存的问题与挑战;在深度学习网络架构下,描述了从早期仅仅对群体行为进行分类识别,到如今更...     

视频群体行为识别综述

群体行为识别是指给定一个包含多人场景的视频,模型需要识别出视频中多个人物正在共同完成的群体行为.群体行为识别是视频理解中的一个重要问题,可以被应用在运动比赛视频分析、监控视频识别、社交行为理解等现实场景中.多人场景视频较为复杂,时间和空间上的信息十分丰富,对模型提取关键信息的能力要求更高.模型只有高效地建模场景中的层次化关系,并为人物群体提取有区分性的时空特征,才能准确地识别出群体行为.由于其广泛的应用需求,群体行为识别问题受到了研究人员的广泛关注.对近几年来群体行为识别问题上的大量研究工作进行了深入分析,总结出了群体行为识别研究所面临的主要挑战,系统地归纳出了6种类型的群体行为识别方法,包含传统非深度学习识别方法以及基于深度学习技术的识别方法,并对未来研究的可能方向进行了展望.     

面向群体行为识别的非局部网络模型

目的 视频行为识别一直广受计算机视觉领域研究者的关注，主要包括个体行为识别与群体行为识别。群体行为识别以人群动作作为研究对象，对其行为进行有效表示及分类，在智能监控、运动分析以及视频检索等领域有重要的应用价值。现有的算法大多以多层递归神经网络（RNN）模型作为基础，构建出可表征个体与所属群体之间关系的群体行为特征，但是未能充分考虑个体之间的相互影响，致使识别精度较低。为此，提出一种基于非局部卷积神经网络的群体行为识别模型，充分利用个体间上下文信息，有效提升了群体行为识别准确率。方法 所提模型采用一种自底向上的方式来同时对个体行为与群体行为进行分层识别。首先从原始视频中沿着个人运动的轨迹导出个体附近的图像区块；随后使用非局部卷积神经网络（CNN）来提取包含个体间影响关系的静态特征，紧接着将提取到的个体静态特征输入多层长短期记忆（LSTM）时序模型中，得到个体动态特征并通过个体特征聚合得到群体行为特征；最后利用个体、群体行为特征同时完成个体行为与群体行为的识别。结果 本文在国际通用的Volleyball Dataset上进行实验。实验结果表明，所提模型在未进行群体精细划分条件下取得了77.6%的准确率，在群体精细划分的条件下取得了83.5%的准确率。结论 首次提出了面向群体行为识别的非局部卷积网络，并依此构建了一种非局部群体行为识别模型。所提模型通过考虑个体之间的相互影响，结合个体上下文信息，可从训练数据中学习到更具判别性的群体行为特征。该特征既包含个体间上下文信息、也保留了群体内层次结构信息，更有利于最终的群体行为分类。     

多模态数据的行为识别综述

行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优...     

基于深度学习的场景识别方法综述

随着深度学习的快速发展,基于深度学习的场景识别方法逐渐取代传统的基于手工特征的场景识别方法,成为未来研究的主要方向。针对基于深度学习的场景识别方法,对基本思想进行了总结,将其大体分为以下四类：深度学习与视觉词袋结合场景识别法、基于显著部分的场景识别法、多层特征融合场景识别法、融合知识表示的场景识别法,分析了各个方法的特点及局限性,并对识别效果进行了比较,最后对未来研究方向进行展望。     

基于迁移学习和显著性检测的盲道识别

为了帮助对视觉障碍患者有效识别道路周围的场景,提出一种基于迁移学习和深度神经网络方法,实现实时盲道场景识别。首先提取盲道障碍物的瓶颈描述子和判别区域集成显著性特征描述子,并进行特征融合,然后训练新的盲道特征表示,用Softmax函数实现盲道场景识别。实验中,对成都不同区域盲道周围障碍物采样,分别采用基于Mobilenet模型不同参数训练和测试了提出的新模型,最后在实际应用场景,实现了盲道周边障碍物的实时分类和报警,实验证明提出的方法具有很高准确率和良好的运行性能。     

奶牛身份识别和行为感知技术分析与展望

精准养殖是一种实时监控奶牛信息并分析反馈的信息技术,其目的是保证奶牛福利.计算机视觉技术能够解决接触式方法带来的应激性与成本高问题.综述了奶牛精准养殖技术的发展现状,重点围绕人工智能技术和计算机视觉技术,针对个体身份识别、行为感知两个核心问题,从经典方法和深度学习方法两个方向,着重阐述对比应用对象、应用场景以及算法性能等.研究发现,个体身份识别和行为感知主要以图像分类算法为主;深度学习方法具有更好鲁棒性.最后总结了个体身份识别和行为感知方法的难点,展望了身份识别和行为感知未来发展方向.     

低小慢无人机降落野外场景识别方法

针对低小慢无人机野外飞行场景复杂自主降落场景识别问题,提出了一种融合局部金字塔特征和卷积神经网络学习特征的野外场景识别算法。首先,将场景分为4×4和8×8块的小场景,使用方向梯度直方图（HOG）算法提取所有块的场景特征,所有特征首尾连接得到具有空间金字塔特性的特征向量。其次,设计一个针对场景分类的深度卷积神经网络,采用调优训练方法得到卷积神经网络模型,并提取深度网络学习特征。最后,连接两个特征得到最终场景特征,并使用支持向量机（SVM）分类器进行分类。所提算法在Sports-8、Scene-15、Indoor-67以及自建数据集上较传统手工特征方法的识别准确率提高了4个百分点以上。实验结果表明,所提算法能有效提升降落场景识别准确率。     

基于机器视觉技术的猪行为活动无接触识别系统

信息化和智能化是今后猪养殖产业的主要发展模式,为实现智能化识别猪的行为活动,从而监测猪的健康和生长情况,提出了一种基于机器视觉技术的无接触识别猪行为活动系统.该系统通过CCD相机采集猪行为活动序列图像,利用卷积神经网络提取图像深度特征,再使用特征融合方法融合图像深度特征,最后根据融合的深度特征识别序列图像中猪的行为活动.该系统能高精度识别自然场景下拍摄的猪的运动行为、跛足行为、伏地行为、呼吸行为、饮食行为和排泄行为等活动,对各类行为的识别准确率均在94%以上,均高于现有方法或与现有方法识别准确率相当.     

结合全局与局部的人群集体性卷积网络识别方法

人群运动集体性识别对公共场所人群管理具有重要意义。人群运动集体性不仅取决于运动个体，还受到人群局部运动状态的影响。针对以上分析，本文给出了结合局部特征和全局特征的人群集体性卷积网络识别方法。该方法首先基于光流向量构建人群集体性测度图作为卷积网络的输入；然后，在网络第一层卷积后加入通道注意力，获取人群运动的全局信息；并采用空洞卷积提取人群运动的局部信息。最后，本文在公共数据集上进行对比实验，以验证本文方法的有效性。实验结果表明：本文方法在进行人群场景集体性识别时，其加权平均召回率、加权平均准确率和加权平均精准率均优于其它模型。     

基于改进Canny算子和神经网络的人体行为识别模型

为了提高了人体行为识别的正确率,提出了一种基于改进Canny算子和神经网络的人体行为识别模型（ICanny-RBF）。采用改进Canny算子对人体行为图像进行预处理,提取人体行为轮廓,提取7个不变矩特征作为RBF神经网络的输入向量,训练出能够识别人体行为的RBF神经网络模型,并采用取k-means算法确定RBF神经网络聚类中心,采用Weizmann数据集进行仿真实验。仿真结果表明,与传统方法相比,提出的ICanny-RBF模型提高了人体行为的识别正确率。     

基于深度学习的轻量型人体动作识别模型

针对现有基于深度学习的人体动作识别模型参数量大、网络过深过重等问题,提出了一种轻量型的双流融合深度神经网络模型并将该模型应用于人体动作识别。该模型将浅层多尺度网络和深度网络相结合,实现了模型参数量的大幅减少,避免了网络过深的问题。在数据集UCF101和HMDB51上进行实验,该模型在ImageNet预训练模式下分别取得了94.0%和69.4%的识别准确率。实验表明,相较于现有大多基于深度学习的人体动作识别模型,该模型大幅减少了参数量,并且仍具有较高的动作识别准确率。     

基于深度学习的人体动作识别综述

人体动作识别是视频理解领域的重要课题之一,在视频监控、人机交互、运动分析、视频信息检索等方面有着广泛的应用.根据骨干网络的特点,从2D卷积神经网络、3D卷积神经网络、时空分解网络三个角度介绍了动作识别领域的最新研究成果,并对三类方法的优缺点进行了定性的分析和比较.然后,从场景相关和时间相关两方面,全面归纳了常用的动作视...     

融合多特征与时间序列的人群行为识别模型

人群行为识别在公共安全等领域具有重要的应用价值.现有研究分别考虑了人群情绪、人群类型、人群密度以及人群社会文化环境等因素对于人群行为的影响,但少有综合考虑这些因素的模型,导致模型性能受限.本文综合考虑人群的物理特征、社交特征、情绪人格特征和文化背景特征之间的相关性,以及相结合之后对人群行为的影响,提出一种融合多特征与时间序列的人群行为识别模型.模型采用两个并行的网络层分别处理多特征相关性和时间序列依赖性对于人群行为的影响,同时为提高模型可解释性,网络层采用融合结构因果模型(SCM)与图神经网络(GNN)的因果图网络(CGN).通过在运动情感数据集(MED)上进行实验并与其他方法模型进行对比,证明了本文方法能够成功识别人群行为,并且优于目前最先进的方法.     

改进BP3参数对网络识别能力影响的研究

分别从BP网络的学习步长,学习速率自适应调整算法的参数,动量法和自适应学习速率结合起来算法的参数3方面讨论了改进BP参数对网络识别能力的影响;在确定BP网络的隐含层节点个数的过程中提出了BP神经网络自适应学习算法,使得隐层节点的选取动态实现。仿真实验表明,该改进是可行的。     

基于模糊神经网络火灾探测信号处理方法

针对火灾探测信号的特点,建立了火灾探测系统模型及用于处理火灾信号的模糊神经网络计算模型.利用神经网络构造模糊系统,用神经网络的自学习和自适应能力自动调整模糊系统参数,用改进的BP算法对网络进行学习和训练.根据国家标准试验火数据进行网络的学习和测试,系统误差小于试验火标准误差要求,表明了算法的有效性和可行性.     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。