基于深度学习的人体行为识别算法综述

人体行为识别和深度学习理论是智能视频分析领域的研究热点, 近年来得到了学术界及工程界的广泛重视, 是智能视频分析与理解、视频监控、人机交互等诸多领域的理论基础. 近年来, 被广泛关注的深度学习算法已经被成功运用于语音识别、图形识别等各个领域.深度学习理论在静态图像特征提取上取得了卓著成就, 并逐步推广至具有时间序列的视频行为识别研究中. 本文在回顾了基于时空兴趣点等传统行为识别方法的基础上, 对近年来提出的基于不同深度学习框架的人体行为识别新进展进行了逐一介绍和总结分析; 包括卷积神经网络(Convolution neural network, CNN)、独立子空间分析(Independent subspace analysis, ISA)、限制玻尔兹曼机(Restricted Boltzmann machine, RBM)以及递归神经网络(Recurrent neural network, RNN)及其在行为识别中的模型建立, 对模型性能、成果进展及各类方法的优缺点进行了分析和总结.     

基于深度学习的人体行为识别方法综述

人体行为识别作为计算机视觉领域的重要研究热点,在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景,备受国内外学者的关注。基于传统手工特征的方法难以处理复杂场景下的人体行为识别。随着深度学习在图像分类方面取得巨大成功,将深度学习用于人体行为识别方法中已逐渐成为一种发展趋势,但其仍然存在一些困难与挑战。首先,根据特征提取方法的不同,简单回顾了早期基于传统手工特征的行为识别方法;然后,从网络结构的角度着重对近年来一些基于深度学习的人体行为识别方法进行论述和分析,其中包括目前常用的双流网络架构和三维卷积网络架构等;另外,还介绍了目前用于评价方法性能的人体行为识别数据集,同时总结了部分典型方法在UCF-101和HMDB51两个著名的公开数据集上的性能;最后,从性能和应用两个方面对基于深度学习的人体行为识别方法的未来发展方向进行了展望,并指出了当前方法存在的不足之处。     

基于深度学习的人体行为识别综述

人体行为识别旨在对视频监控中的人体行为进行检索并识别,是人工智能领域的研究热点。基于传统方法的人体行为识别算法存在对样本数据依赖大、易受环境噪声影响等不足。为解决此问题,许多适用于不同应用场景的基于深度学习的人体行为识别算法被提出。介绍了人体行为识别任务中传统特征提取方法和基于深度学习的特征提取方法;从性能和应用两方面对基于深度学习的人体行为识别算法进行总结,重点分析了基于3D卷积神经网络、混合网络、双流卷积神经网络和少样本学习（few-shot learning,FSL）的人体行为识别方法及其在UCF101和HMDB51数据集上的表现;在深度学习的基础上,归纳了主流模型迁移方法的优缺点及其有效性;总结了现有基于深度学习的人体行为识别算法存在的不足,并讨论了以元学习（meta-learning）和transformer为代表的FSL算法将成为未来模型主流算法的可能性,同时对未来基于深度学习的人体行为识别算法的发展方向进行展望。     

基于深度学习的视频行为动作识别在无纸化考试中的应用

面向在无纸化考试中的视频行为识别应用需求,提出了基于深度学习的可疑行为识别方法。首先,分析考试视频,提取事件信息。其次,结合深度学习模型,将事件信息作为输入进行训练,以识别可疑行为。最后,基于考试视频数据集进行对比实验,评估所提出方法的准确率。实验结果表明,文章提出的卷积神经网络-长短期记忆网络（Convolutional Neural Networks-Long Short Term Memory,CNN-LSTM）组合模型适用于视频较长的应用场景,CNN-BiGRU适用于视频较短的场景。     

基于深度学习的视频跟踪研究进展综述

近年来深度学习迅猛发展，颠覆了语音识别、图像分类、文本理解等领域的算法设计思路。深度学习因其具备强大的特征提取能力，在图像识别领域的成绩尤为突出。然而深度学习与视频监控领域的结合并不多，由于深度模型具有多层网络结构，算法复杂度大，训练和更新模型时比较耗时，很难满足实时性要求。回顾了深度学习的发展史，介绍了最近10年来国内外深度学习主要模型，论述了基于深度学习的目标跟踪算法，指出了各算法的优缺点，最后对当前该领域存在的问题和发展前景进行了总结和展望。     

一种基于卷积神经网络深度学习的人体行为识别方法

为提高基于智能终端的人体行为识别的准确率,提出一种基于卷积神经网络深度学习人体行为识别方法。该方法将原始数据进行简单处理,直接作为输入数据输入到卷积神经网络中,由卷积神经网络进行局部特征分析,得到特征输出项,直接输入到Softmax分类器中,可识别走路、跑步、上下楼梯、站立等5种动作。 对比实验结果表明,其对不同的实验者的识别率达到84.8%,证明了该方法的有效性。     

基于深度学习的行人再识别技术研究综述

行人再识别（Re-id）作为智能视频监控技术之一，其目的是在不同的摄像机视图中检索出指定身份的行人，因此该项技术对维护社会治安稳定具有重大研究意义。针对传统的手工特征方法难以应对行人Re-id任务中复杂的摄像机环境的问题，大量基于深度学习的行人Re-id方法被提出，极大地推动了行人Re-id技术的发展。为了深入了解基于深度学习的行人Re-id技术，整理和分析了大量相关文献，首先从图像、视频、跨模态这3个方面展开综述性介绍，将图像行人Re-id技术分为有监督和无监督两大类并分别进行概括；然后列举了部分相关数据集，并对近年来在图像和视频数据集上的一些算法进行性能的比较与分析；最后总结了行人Re-id技术的发展难点，并深入讨论了该技术未来可能的研究方向。     

基于深度学习的视频预测研究综述

近年来,深度学习算法在众多有监督学习问题上取得了卓越的成果,其在精度、效率和智能化等方面的性能远超传统机器学习算法,部分甚至超越了人类水平。当前,深度学习研究者的研究兴趣逐渐从监督学习转移到强化学习、半监督学习以及无监督学习领域。视频预测算法,因其可以利用海量无标注自然数据去学习视频的内在表征,且在机器人决策、无人驾驶和视频理解等领域具有广泛的应用价值,近两年来得到快速发展。本文论述了视频预测算法的发展背景和深度学习的发展历史,简要介绍了人体动作、物体运动和移动轨迹的预测,重点介绍了基于深度学习的视频预测的主流方法和模型,最后总结了当前该领域存在的问题和发展前景。     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

基于深度学习的轻量型人体动作识别模型

针对现有基于深度学习的人体动作识别模型参数量大、网络过深过重等问题,提出了一种轻量型的双流融合深度神经网络模型并将该模型应用于人体动作识别。该模型将浅层多尺度网络和深度网络相结合,实现了模型参数量的大幅减少,避免了网络过深的问题。在数据集UCF101和HMDB51上进行实验,该模型在ImageNet预训练模式下分别取得了94.0%和69.4%的识别准确率。实验表明,相较于现有大多基于深度学习的人体动作识别模型,该模型大幅减少了参数量,并且仍具有较高的动作识别准确率。     

基于改进深度学习方法的人体动作识别综述

为了梳理深度学习方法在人体动作识别领域的发展脉络,对该领域近年来最具代表性的模型和算法进行了综述。以人体动作识别任务流程为线索,详细阐述了深度学习方法在视频预处理阶段、网络结构上的最新成果及其优缺点。介绍了人体动作识别相关的两类数据集,并选取常用的几种进行具体说明。最后,对人体动作识别未来的研究方向进行了探讨与展望。     

基于视频的人体动作识别算法综述

以基于视频的人体动作识别为核心,首先对传统RGB动作识别领域的算法进行了全面回顾,包括传统算法和基于深度学习的算法,基于RGB视频的动作识别易受背景光照的影响识别精度不高,但有丰富的颜色外观信息;然后对RGB-D动作识别领域的算法进行分析总结,主要分为深度序列、骨骼和多特征融合三个方面,RGB-D视频具有多个模态可以为动作识别提供更多的信息,可以弥补基于RGB视频的不足但也带来了新的挑战;最后对常用数据集和未来可能的发展方向进行了展望。     

基于深度学习的人体动作识别方法

针对人体动作深度视频的四维信息映射到二维空间后,动作分类容易发生混淆的问题,提出一种基于深度学习的人体动作识别方法。首先构建空间结构动态深度图,将深度视频的四维信息映射到二维空间,进行信息降维处理;然后提出基于联合代价函数的深度卷积神经网络,结合交叉熵损失函数与中心损失函数作为联合代价函数,指导卷积层学习到更具分辨力的深度特征,以进行更精确的分类。在MSRDailyActivity3D和SYSU 3D HOI两个数据集的实验结果表明,与现有方法相比,该方法识别率得到了较明显的提升,验证了其有效性和鲁棒性。该方法较好地解决了动作分类容易发生混淆的问题。     

弱监督与少样本学习场景下视频行为识别综述

近年来各类人体行为识别算法利用大量标记数据进行训练,取得了良好的识别精度。但在实际应用中,数据的获取以及标注过程都是非常耗时耗力的,这限制了算法的实际落地。针对弱监督及少样本场景下的视频行为识别深度学习方法进行综述。首先,在弱监督情况下,分类总结了半监督行为识别方法和无监督领域自适应下的视频行为识别方法;然后,对少样本场景下的视频行为识别算法进行详细综述;接着,总结了当前相关的人体行为识别数据集,并在该数据集上对各相关视频行为识别算法性能进行分析比较;最后,进行概括总结,并展望人体行为识别的未来发展方向。     

基于深度卷积神经网络的数字调制方式识别

针对非协作通信条件下信号调制方式识别问题,提出了一种基于深度神经网络的调制方式自动识别新方法。该方法对接收到的信号进行预处理,生成星座图,并将星座图形状作为深度卷积神经网络的输入,根据训练好的网络模型对调制信号进行分类识别。与以往的识别方法相比,该方法利用卷积神经网络自动学习各种数字调制信号的星座图特征,克服了特征提取困难,通用性不强,抗噪声性能差等缺点,处理流程简单,并对星座图的形变具有不敏感性。针对4QAM、16QAM和64QAM三种典型的数字调制方式,进行了仿真实验,当信噪比大于4时,调制方式的识别正确率大于95％,实验结果表明,基于深度卷积神经网络的信号调制方式识别方法是有效的。     

基于深度学习的海底观测视频中鱼类的识别方法

针对海底环境恶劣、海底观测视频品质差导致视频中的海洋鱼类识别难的问题，提出一种基于深度学习的海洋鱼类识别方法。首先，将海底观测视频分解为图片，由于海底观测视频中存在较大比例的空白数据，使用背景差分法过滤不包含鱼类的图片，缩短处理全部数据的时间；然后，考虑到海底拍摄环境亮度低、场景模糊的实际情况，对图片基于暗通道先验算法进行预处理提高品质；最后，以卷积神经网络（CNN）为基础构建深度学习模型，并且提出了权重化特征的卷积过程，提高模型的鲁棒性。实验结果表明:面对较差品质的海底观测视频图片，在深度学习模型结构相同的条件下，与普通卷积神经网络模型相比，使用权重化卷积作为隐层并且加入预处理过程后，对海洋鱼类识别准确率的提升幅度达到23%，有助于实现对海底观测视频图片中海洋鱼类的精准识别。     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。