基于局部描述子的人体行为识别

提出一种新的局部时空特征描述方法对视频序列进行识别和分类。结合SURF和光流检测图像中的时空兴趣点,并利用相应的描述子表示兴趣点。用词袋模型表示视频数据,结合SVM对包含不同行为的视频进行训练和分类。为了检测这种时空特征的有效性,通过UCF YouTube数据集进行了测试。实验结果表明,提出的算法能够有效识别各种场景下的人体行为。     

一种基于SR3D网络的人体行为识别算法

针对三维卷积神经网络无法高效地提取时空特征,提出了一种基于SR3D网络的人体行为识别算法。首先,将三维残差模块的BN层和Relu激活函数放置在三维卷积层之前,更好地提取时空特征;然后,将改进的三维残差块和SE模块组合成SR3D模块,增加重要通道的利用率,提高了网络的识别率。在UCF-101和自制异常行为数据集上进行了大量实验结果表明,SR3D算法分别达到了47.7%和83.6%的识别率(top-1精度),与三维卷积网络(C3D)相比分别提高了4.6和17.3个百分点。     

多尺度方法结合卷积神经网络的行为识别

为了同时计算行为序列样本在时间和空间的特征,提出了一种基于包含多尺度卷积算子的卷积神经网络识别模型。首先通过叠加的方式将序列样本中的骨骼向量信息整合为一个行为矩阵,然后将矩阵输入识别模型。为了挖掘具有不同邻接关系的骨骼点在描述人体行为时的作用,将卷积神经网络各层中的卷积算子拓展为多尺度卷积算子,并使用该网络得到的特征进行分类。实验在MSR-Action3D数据集和HDM05数据集获得较好的识别率。     

时域非填充网络视频行为识别算法研究

视频行为识别是图像和视觉领域的一个基础问题,在基于深度学习的行为识别模型中,2D卷积方法模型参数较少,但是准确率不高;3D卷积方法在一定程度上提高了准确率,但会产生较多的参数和计算量。为了在保持准确率的前提下降低3D卷积神经网络行为识别模型的参数量,减少计算资源消耗,提出了时域零填充卷积网络行为识别算法,对视频进行3D卷积时不在时间维度上填充额外数据,以此来保证时域信息的完整性。为了充分利用有限的时间信息,设计了适合此填充方式的网络结构：先以时域不填充的方式使用3D卷积提取时空信息,然后利网络重组结构将3D卷积变为2D卷积来进一步提取特征。实验表明,该网络的参数量为10.385×106,不使用预训练权重的情况下在UCF101数据集上准确率为60.28%,与其他3D卷积网络行为识别方法相比在资源占用和准确率上都有明显优势。     

一种基于Mobilenet的轻量级卷积神经网络手势识别算法

随着机器设备的发展和广泛应用,人机交互（HumanComputerInteraction,HCI）已经融入生活。其中,手势交互作为人机交互中一种重要的方式,具有自然、直观、形象的优点。近年来,随着汽车的飞速发展,人们的生活与汽车产生了越来越紧密的关系。当前大多汽车只能采用方向盘进行控制,控制方法较单一,因此基于Mobilenet的汽车手势识别算法研究了一种更自然直观的手势交互方法。     

基于3D卷积神经网络的动态手势识别

传统的2D卷积神经网络在进行视频识别时容易丢失目标在时间维度上的相关特征信息,导致识别准确率降低。针对该问题,本文采用3D卷积网络作为基本的网络框架,使用3D卷积核进行卷积操作提取视频中的时空特征,同时集成多个3D卷积神经网络模型对动态手势进行识别。为了提高模型的收敛速度和训练的稳定性,运用批量归一化（BN）技术优化网络,使优化后的网络训练时间缩短。实验结果表明,本文方法对于动态手势的识别具有较好的识别结果,在Sheffield Kinect Gesture (SKIG)数据集上识别准确率达到98.06%。与单独使用RGB信息、深度信息以及传统2D CNN相比,手势识别率均有所提高,验证了本文方法的可行性和有效性。     

基于动态时空信息融合的视频行为识别

由于视频数据在时空维度上具有复杂和冗余的信息。针对这个问题,提出运动模块,该模块基于时空特征去计算像素特征之间的时空差异。将动态的时空差异分解为两个分支进行处理,一个分支用于修正相邻帧间特征差上的时空位移,另一个分支用于捕获此时间差上的上下文信息。在当前时间差中,对时空差异的像素点的概率分布进行建模。结果表明,在尽量不影响计算量(flops)与参数量的情况下,运动模块提高了视频识别任务方面的性能,并在公共数据集上证实了其有效性和效率。     

轻量级多信息图卷积神经网络动作识别方法

针对如何在保持低参数量和低计算量前提下构建高性能模型的问题,提出一种轻量级多信息图卷积神经网络（LMI-GCN）。LMI-GCN通过将关节坐标、关节速度、骨骼边、骨骼边速度四种不同信息编码至高维空间的方式进行信息融合,并引入可以聚合重要特征的多通道自适应图和分流时间卷积块以减少模型参数量。同时,提出一种随机池数据预处理方法。在NTU-RGB+D120数据集上与基线方法SGN（语义引导神经网络）相比,在两种评估设置cross-subject和cross-setup上提高5.4%和4.7%。实验结果表明,LMI-GCN性能高于SGN。     

基于深度学习的轻量型人体动作识别模型

针对现有基于深度学习的人体动作识别模型参数量大、网络过深过重等问题,提出了一种轻量型的双流融合深度神经网络模型并将该模型应用于人体动作识别。该模型将浅层多尺度网络和深度网络相结合,实现了模型参数量的大幅减少,避免了网络过深的问题。在数据集UCF101和HMDB51上进行实验,该模型在ImageNet预训练模式下分别取得了94.0%和69.4%的识别准确率。实验表明,相较于现有大多基于深度学习的人体动作识别模型,该模型大幅减少了参数量,并且仍具有较高的动作识别准确率。     

基于深度残差网络的轻量级人脸识别方法

针对深度残差网络在小型移动设备的人脸识别应用中存在的网络结构复杂、时间开销大等问题,提出一种基于深度残差网络的轻量级模型。首先对深度残差网络的结构进行精简优化,并结合知识转移方法,从深度残差网络（教师网络）中重构出轻量级残差网络（学生网络）,从而在保证精度的同时,降低网络的结构复杂度;然后在学生网络中通过分解标准卷积减少模型的参数,从而降低特征提取网络的时间复杂度。实验结果表明,在LFW、VGG-Face、AgeDB和CFP-FP等4个不同数据集上,所提模型在识别精度接近主流人脸识别方法的同时,单张推理时间达到16 ms,速度提升了10%~20%。可见,所提模型能够在推理速度得到有效提升的同时识别精度基本不下降。     

基于推理网络的人体动作识别

为更好地对动作进行分类,提出基于推理网络的人体动作识别算法.通过Faster RCNN提取以人为主要区域、以场景信息为附加区域的特征信息,将其输入到LSTM中进行边框回归以及动作分类,通过结合Faster RCNN和LSTM获得动作的空间特征和时间特征,得到更精确的动作分类.在公认的两个数据集上进行实验,U C F-1...     

基于LSTM神经网络的人体动作识别

人体动作识别为人机合作提供了基础支撑,机器人通过对操作者动作进行识别和理解,可以提高制造系统的柔性和生产效率.针对人体动作识别问题,在三维骨架数据的基础上,对原始三维骨架数据进行平滑去噪处理以符合人体关节点运动的平滑规律;构建了由静态特征和动态特征组成的融合特征用来表征人体动作;引入了关键帧提取模型来提取人体动作序列中...     

基于贝叶斯网络的飞行动作识别方法

飞行动作识别是客观评估飞行训练质量的基础。复杂机动动作具有较强的随机性和模糊性,传统的飞行动作识别方法难以有效识别。为此,提出一种基于贝叶斯网络的飞行动作识别方法。根据飞行动作中参数曲线形态特征,采用基于DTW距离的时间序列层次聚类方法进行分类;通过依赖统计分析方法确定参数曲线的描述特征;根据形态特征和描述特征构建贝叶斯网络;利用贝叶斯网络进行推理。仿真实验结果表明,基于贝叶斯网络的飞行动作识别方法对复杂机动动作具有较高的识别率。     

基于多尺度残差注意网络的轻量级行人属性识别算法

近年来,随着深度学习的蓬勃发展,行人属性识别得到了广泛的研究.但是,由于属性复杂且多样化、图像质量差、视角遮挡等困扰,难以捕获图像中的细粒度属性特征,具有很大的挑战性.对此,基于深度学习,提出多尺度残差注意网络(MRAN)用于行人属性识别,以Resnet50为主体架构,使用轻量级的金字塔卷积提供不同内核大小的并行卷积以完成多尺度信息的提取,嵌入注意力模块以关注属性存在的关键区域并挖掘属性内部联系;其次,使用特征金字塔融合策略,更充分地提取和融合多尺度特征.网络结合了多尺度学习、注意力机制和残差学习的思想,使网络提取出更丰富、更细腻的特征.最后,在PETA和PA100K两个数据集上进行实验研究,结果表明,所提出方法优于现有的研究方法.通过消融研究验证整个网络体系结构的3个组成部分的有效性和先进性,且所提出网络具有高准确性和低复杂度的双向优化.     

基于BP神经网络的人体行为识别

针对人体行为识别问题,提出一种基于径向基函数（BP）神经网络的人体行为分类算法。首先,利用奇异值分解（SVD）算法提取视频每一帧的奇异值,将每一帧的奇异值按照行拼接起来即为一个视频的样本,样本按照行排成样本矩阵;然后,利用主成分分析（PCA）对得到的矩阵进行去相关并且降低维数,降低维数的矩阵再进行线性鉴别分析（LDA）,使样本变得线性可分;最后,利用BP神经网络对样本进行分类;实验结果表明,与采用最近邻分类和K近邻分类（kNN）相比,所提算法具有更高的识别率。     

基于全局时空编码网络的猴类动物行为识别

猴类动物行为的准确量化是临床前药物安全评价的一个基本目标。视频中猴类动物行为分析的一个重要路径是使用目标的骨架序列信息,然而现有的大部分骨架行为识别方法通常在时间和空间维度分别提取骨架序列的特征,忽略了骨架拓扑结构在时空维度的整体性。针对该问题,提出了一种基于全局时空编码网络(GSTEN)的骨架行为识别方法。该方法在时空图卷积网络(ST-GCN)的基础上,并行插入全局标志生成器(GTG)和全局时空编码器(GSTE)来提取时间和空间维度的全局特征。为了验证提出的GSTEN性能,在自建的猴类动物行为识别数据集上开展实验。实验结果表明,该网络在基本不增加模型参数量的情况下,准确率指标达到76.54%,相较于基准模型ST-GCN提升6.79%。