基于深度学习的人体行为识别方法综述

人体行为识别作为计算机视觉领域的重要研究热点,在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景,备受国内外学者的关注。基于传统手工特征的方法难以处理复杂场景下的人体行为识别。随着深度学习在图像分类方面取得巨大成功,将深度学习用于人体行为识别方法中已逐渐成为一种发展趋势,但其仍然存在一些困难与挑战。首先,根据特征提取方法的不同,简单回顾了早期基于传统手工特征的行为识别方法;然后,从网络结构的角度着重对近年来一些基于深度学习的人体行为识别方法进行论述和分析,其中包括目前常用的双流网络架构和三维卷积网络架构等;另外,还介绍了目前用于评价方法性能的人体行为识别数据集,同时总结了部分典型方法在UCF-101和HMDB51两个著名的公开数据集上的性能;最后,从性能和应用两个方面对基于深度学习的人体行为识别方法的未来发展方向进行了展望,并指出了当前方法存在的不足之处。     

基于视频的人体异常行为识别与检测方法综述

作为计算机视觉的重要分支,异常行为识别与检测技术已在智能安防、医疗监护、交通管控等领域获得了广泛应用.对异常行为的界定及判别方法与场景因素紧密相关,针对不同应用场景特点,适当选择特征提取及异常行为识别与检测方法,进而保证预警准确率,在实际应用中至关重要.基于此,对基于视频的人体异常行为识别与检测方法进行综述,首先给出人体异常行为的定义、特点及分类;其次,对特征提取方法进行总结,特征提取方法的选取及提取特征的好坏直接影响后续判别结果;再次,从异常行为识别和异常行为检测两个角度对异常行为判别方法进行分析和讨论,给出常用异常行为检测数据集及相关算法表现;最后,对本领域未来研究方向提出展望.     

视频中人体行为识别的时序建模算法的分析

目前人体行为识别是视频分析领域的研究热点,准确有效的人体行为识别的关键是动作时序建模和特征表示。该文归纳了人体行为识别常用的数据集,对人体行为识别表示方法进行了全面的回顾,并介绍了人体行为识别研究的最新方法,包括RGB和深度数据中手工设计的动作特征的进展,基于深度学习的时序表示方法的最新进展及当前研究的热点。最后总结了目前待解决的问题,对未来行为识别可能的发展方向进行了论述。     

动作识别与行为理解综述

随着“以人为中心计算”的兴起和生活中不断涌现的新应用,动作识别和行为理解逐渐成为计算机视觉领域的研究热点。主要从视觉处理的角度分析了动作识别和行为理解的研究现状,从行为的定义、运动特征提取和动作表示以及行为理解的推理方法3个方面对目前的工作做了分析和比较,并且指出了目前这些工作面临的难题和今后的研究方向。     

视点无关的行为识别综述

目前,基于视觉的人体的行为识别是一个非常活跃的研究领域.它在智能监控、感知接口和基于内容的视频检索等领域具有广泛的应用前景,然而,一些困难仍然减慢了行为识别的发展,比如现实场景中动作往往是从任意角度拍摄.因此与视点无关的行为识别就十分重要,大量的研究者开始致力于行为识别的视点无关性.对视点无关的姿态与运动识别进行了综述.从基于时空特征的方法,基于状态空间的方法,基于降维的方法和基于运动轨迹的方法4个方面分析了研究进展情况,并列举了视点无关行为识别的公共数据集,评价了目前的研究情况,并对未来的研究提出了展望.     

基于HMM复杂场景下的行为识别方法

人的行为模式的理解与识别是智能视觉监控系统的一个关键环节。针对目前大部分的研究都是简单场景下的简单行为识别,不具有广泛适用性的问题,该文提出一种复杂场景下的分层行为建模和识别方法。通过统计方法在监控画面内选定若干个有意义的标志点,利用这些标志点将复杂行为分解为一系列简单行为,对简单行为的轨迹进行HMM建模,并利用Level-Building算法进行复杂行为的识别。实验结果表明,该方法对复杂行为具有较高的识别率,而且在多种场景下具有普适性。     

面向复杂场景的人物视觉理解技术

面向复杂场景的人物视觉理解技术能够提升社会智能化协作效率,加速社会治理智能化进程,并在服务人类社会的经济活动、建设智慧城市等方面展现出巨大活力,具有重大的社会效益和经济价值。人物视觉理解技术主要包括实时人物识别、个体行为分析与群体交互理解、人机协同学习、表情与语音情感识别和知识引导下视觉理解等,当环境处于复杂场景中,特别是考虑“人物—行为—场景”整体关联的视觉表达与理解,相关问题的研究更具有挑战性。其中,大规模复杂场景实时人物识别主要集中在人脸检测、人物特征理解以及场景分析等,是复杂场景下人物视觉理解技术的重要研究基础;个体行为分析与群体交互理解主要集中在视频行人重识别、视频动作识别、视频问答和视频对话等,是视觉理解的关键行为组成部分;同时,在个体行为分析和群体交互理解中,形成综合利用知识与先验的机器学习模式,包含视觉问答对话、视觉语言导航两个重点研究方向;情感的识别与合成主要集中在人脸表情识别、语音情感识别与合成以及知识引导下视觉分析等方面,是情感交互的核心技术。本文围绕上述核心关键技术,阐述复杂场景下人物视觉理解领域的研究热点与应用场景,总结国内外相关成果与进展,展望该领域的前沿技术与发展趋势。     

基于深度学习的人体行为识别综述

人体行为识别旨在对视频监控中的人体行为进行检索并识别,是人工智能领域的研究热点。基于传统方法的人体行为识别算法存在对样本数据依赖大、易受环境噪声影响等不足。为解决此问题,许多适用于不同应用场景的基于深度学习的人体行为识别算法被提出。介绍了人体行为识别任务中传统特征提取方法和基于深度学习的特征提取方法;从性能和应用两方面对基于深度学习的人体行为识别算法进行总结,重点分析了基于3D卷积神经网络、混合网络、双流卷积神经网络和少样本学习（few-shot learning,FSL）的人体行为识别方法及其在UCF101和HMDB51数据集上的表现;在深度学习的基础上,归纳了主流模型迁移方法的优缺点及其有效性;总结了现有基于深度学习的人体行为识别算法存在的不足,并讨论了以元学习（meta-learning）和transformer为代表的FSL算法将成为未来模型主流算法的可能性,同时对未来基于深度学习的人体行为识别算法的发展方向进行展望。     

基于场景先验知识的室内人体行为识别方法

目前,室内人体行为识别技术被广泛应用于视频内容理解、居家养老、医疗护理等领域,现有研究方法更多的是对人体行为进行建模,忽略了视频中场景与人体行为间的联系。为了充分利用场景信息与室内人体运动的关联性,文中对基于场景先验知识的室内人体行为识别方法进行了研究,提出了一种基于场景先验知识的双流膨胀3D行为识别网络(Scene-Prior Know-ledge Inflated 3D ConvNet, SPI3D)。首先使用ResNet152网络提取场景特征进行场景分类,再基于场景分类的结果,引入量化后的场景先验知识,通过对权值进行约束来优化总体目标函数。另外,针对现有数据集多聚焦于人体行为特征、场景复杂且场景特征不明显的问题,自建了室内场景-行为识别数据集(Scene-Action DataBase, SADB)。实验结果表明,在SADB数据集上,SPI3D网络的识别准确率为87.9%,比直接利用I3D网络的识别准确率高6%。由此可见,引入场景先验知识后的室内人体行为识别模型具有更好的表现。     

弱监督与少样本学习场景下视频行为识别综述

近年来各类人体行为识别算法利用大量标记数据进行训练,取得了良好的识别精度。但在实际应用中,数据的获取以及标注过程都是非常耗时耗力的,这限制了算法的实际落地。针对弱监督及少样本场景下的视频行为识别深度学习方法进行综述。首先,在弱监督情况下,分类总结了半监督行为识别方法和无监督领域自适应下的视频行为识别方法;然后,对少样本场景下的视频行为识别算法进行详细综述;接着,总结了当前相关的人体行为识别数据集,并在该数据集上对各相关视频行为识别算法性能进行分析比较;最后,进行概括总结,并展望人体行为识别的未来发展方向。     

基于人体部件的视频行为识别方法研究

现有人体行为识别算法主要依赖于粗粒度的视频特征,但这些特征不足以有效描述人体行为 的动作构成,从而降低了深度学习模型对易混淆行为的识别能力。该研究提出了一种基于人体部件的 视频行为识别方法,通过学习人体细粒度部件的动作表示,自底向上地学习人体行为视频表征。该方 法主要包含：(1)部件特征增强模块,用于增强基于图像的人体部件特征;(2)部件特征融合模块,用 于融合人体各部件特征以形成人体特征;(3)人体特征增强模块,用于增强视频帧中所有人的人体特 征。该方法在国际标准数据库 UCF101 和 HMDB51 上进行的实验验证结果显示,基于人体部件的视频 行为识别方法与已有方法具有良好的互补性,可以有效提高人体行为识别精度。     

基于混合关节特征的人体行为识别

针对现有行为识别方法中识别效率低,受环境干扰强等缺点,提出了一种基于混合关节特征的人体行为识别方法.混合关节特征由不同的骨骼关节表达构成,综合了各种行为信息,包括动能、势能、关节方向和关节角度,使得特征表达更加有效.利用具有良好处理时间序列能力的长短期记忆(LSTM)神经网络作为分类器进行人体行为识别.在MSR Action 3D数据集上的实验表明:基于混合关节特征较现有的其他许多骨骼特征表现更好.     

低光照场景下基于序列增强的移动机器人人体检测与姿态识别

灾难救援、地下空间开发利用等场景均存在低光照、甚至完全黑暗的问题,导致机器人目标搜索与识别困难。为此,本文面向低光照场景提出基于红外深度相机图像序列的人体检测和姿态识别方法。首先,利用基于YOLO v4的AlphaPose算法检测人体框和关键点。然后,提出基于特征点匹配的漏检人体框恢复算法,降低人体漏检率,同时使用D-S（Dempster-Shafer）证据理论融合人体框和关键点的检测结果,从而降低人体误检率。最后,设计一种基于图像序列信息的人体姿态分层识别方法,在不同的识别层提取不同的人体躯干特征,利用连续多帧躯干向量特征组成的特征序列对人体姿态进行精准的识别并进行实验验证。实验结果表明本文算法能够在低光照条件下实现准确的人体检测与姿态识别,姿态识别准确率高达95.36%。     

自然场景下乌金体藏文的检测与识别

自然场景乌金体藏文文本信息作为高度浓缩的高层语义信息,不仅具有较大的研究和实用价值,而且可以用于协助藏文场景文本理解领域的研究.目前针对自然场景下乌金体藏文的检测与识别的相关研究甚少,本文在人工收集的自然场景乌金体藏文图像数据集的基础上,对比了目前常见的文字检测算法在自然场景乌金体藏文上的检测性能以及在不同特征提取网络下基于序列的文字识别算法CRNN在自然场景乌金体藏文图像数据集上的识别准确率并分析了在314张真实自然场景下乌金体藏文识别出错的特殊例子.实验表明本文在文字检测阶段采用的可微分的二值化网络DBNet在测试集上具有更好的检测性能,该方法在测试集上的准确率、召回率、F1值分别达到了0.89、0.59、0.71;在文字识别阶段采用MobileNetV3 Large作为特征提取网络时,CRNN算法在测试集上的识别准确率最高,达到了0.4365.     

基于混合特征的人体动作识别改进算法

运动特征的选择直接影响人体动作识别方法的识别效果.单一特征往往受到人体外观、环境、摄像机设置等因素的影响不同,其适用范围不同,识别效果也是有限的.在研究人体动作的表征与识别的基础上,充分考虑不同特征的优缺点,提出一种结合全局的剪影特征和局部的光流特征的混合特征,并用于人体动作识别.实验结果表明,该算法得到了理想的识别结果,对于Weizmann数据库中的动作可以达到100％的正确识别率.     

视角无关的动作识别

人体动作识别是计算机视觉中一个流行而且重要的研究课题.当观察视角发生变化时,动作识别变得格外困难.至今为止,关于动作识别和手势识别的大多数研究工作都是围绕着视角相关的表达展开的.有一小部分利用了视角不变的表示开展研究,可是它们大多数存在一些缺陷,比如缺少用于识别的足够信息,依赖鲁棒的语义特征点的检测或者是点对应.为了解决这个问题,实现视角无关、动作人无关的动作识别,提出了"包容形状"的表示,这种表示不依赖于特定视角.在人体动作识别中,人的身体旋转通常是引起视角变化的主要原因.包容形状充分利用了两个正交摄像机拍摄的轮廓信息以去除由人的身体旋转产生的影响.从来自两个正交的摄像机拍摄的外轮廓,可以很容易计算得到包容形状.利用包容形状的体态表示和隐马尔可夫模型,取得了非特定人、任意视角下动作识别的很好的实验结果.这些实验结果也表明了包容形状包含有足够区分度的信息.同时提出了包客形状的扩展表示,以便在两个摄像机并不完全正交的更为一般的摄像机配置条件下也可以应用,这极大地加强了其实用价值.     

基于显著性检测和稠密轨迹的人体行为识别

稠密轨迹的人体行为识别对每一帧全图像密集采样导致特征维数高、计算量大且包含了无关的背景信息。提出基于显著性检测和稠密轨迹的人体行为识别方法。首先对视频帧进行多尺度静态显著性检测获取动作主体位置,并与对视频动态显著性检测的结果线性融合获取主体动作区域,通过仅在主体动作区域内提取稠密轨迹来改进原算法;然后采用Fisher Vector取代词袋模型对特征编码增强特征表达充分性;最后利用支持向量机实现人体行为识别。在KTH数据集和UCF Sports数据集上进行仿真实验,结果表明改进的算法相比于原算法识别准确率有所提升。     

基于ERP信号的目标检测研究综述

目标检测技术应用广泛,现有的基于计算机视觉的目标检测方法由于目标遮挡、光照强弱等因素难以适应复杂场景的需求。而人脑的高级认知能力和快速感知能力在处理复杂情况时具有一定的优势。基于事件相关电位（Event-Related Potentials,ERP）的脑机接口（Brain Computer Interface,BCI）系统与特定事件相关,可检测独立于自发脑电的高级认知活动,是当前人工智能领域的研究热点之一。针对基于ERP信号的目标检测各个环节进行了研究现状的全面归纳,梳理了以快速串行视觉呈现（Rapid Serial Visual Presentation task,RSVP）为主的实验范式,包括呈现模式、目标视场角、目标复杂度等设计因素。总结了脑电信号分析中的预处理方法、特征提取和特征分类算法,介绍了其在人脸识别、军事作战、医学分析等领域中的初步应用。探讨了目前研究中存在的问题和挑战并展望未来的研究方向与应用前景。