基于特征融合时序分割网络的行为识别研究

行为识别是当今计算机视觉领域的一个研究热点,是一项具有挑战性的任务.行为识别分析与其网络输入数据类型、网络结构、特征融合环节具有密切联系.目前,主流的行为识别网络输入数据为RGB图像和光流图像,网络结构主要以双流和3D卷积为主;而特征选择直接影响到识别的效率,多层次的特征融合工作还有很多问题有待解决.针对主流的双流卷积网络输入数据为RGB图像和光流图像的局限,利用低秩空间中稀疏特征能够有效捕捉视频中运动物体信息的特点,对网络输入数据进行补充.同时,针对网络中缺乏信息交互的特点,将深度网络中高层语义信息和低层细节信息结合起来共同识别行为动作,使时序分割网络性能更具优势.在行为识别数据集UCF101和HMDB51上取得了97.1%和76.7%的识别效果,较目前主流算法有了较大的提升.实验结果表明,该方法能够有效地提高行为识别的识别率.     

基于多级特征融合和时域扩展的行为识别方法

近年来,基于图卷积网络的行为识别是计算机视觉领域的研究热点。然而,现有的图卷积行为识别方法忽略了肢体层面的动作特征,使得行为空间特征提取不准确。此外,这些方法缺乏在间隔帧间进行时序动态建模的能力,导致行为时域特征表达不充分。针对上述问题提出一种基于多级特征融合和时域扩展的图卷积网络行为识别方法。该方法通过多级融合模块提取与融合低层次的关节特征和高层次的肢体特征,从而得到判别性更强的多层级空间特征。同时通过时域扩展模块从相邻帧、间隔帧中学习丰富的多尺度时域特征,增强行为特征的时序表达。在三个大型数据集（NTU RGB+D 60、NTU RGB+D 120和Kinetics-Skeleton）上的实验结果表明,所提方法的识别准确度高于现有行为识别方法。     

多频段时域分解的行为识别特征优选方法

为了降低外界环境对移动用户行为识别的影响,保留行为敏感特征、提高行为识别的准确率,提出了一种多频段时域分解的人体行为识别特征优选方法.该方法对行为样本数据进行多频段分解,计算样本数据在不同频段信号的特征,利用遗传算法以决策树作为分类器进行特征优选,在多组特征中搜索出近似最优的特征组合.实验结果表明,该方法优选出的特征组合能有效提高行为识别的准确率.     

基于时域分割的人体行为连续性动作预测仿真

传统人体行为动作预测方法对人体骨架上的所有关键特征映射点包含范围模糊,导致实时处理速度慢,无法有效对连续性动作进行预测,且错位率较高.为此提出一种基于时域分割的人类行为连续性动作预测.首先通过三维空间捕捉技术构建人体骨架模型,通过时域分割确定关节点的位置信息,将任意关节点都视为映射特征点,提取人体的运动数据特征,利用LLE把提取的特征数据映射进二维空间里,结合拉格朗日的乘法最优化重建权值矩阵,建立动作向量库,确定人体做出随意性动作与向量库中动作相似或者相同时,就能够对人体的动作进行提前预判,即可以完成动作预测.仿真结果证明,所提方法时域分割效果好,实时预测速度快,能够有效的对人体连续性动作精准预测.     

基于区域特征融合网络的群组行为识别

针对目前群组行为识别方法未充分利用场景空间信息和计算复杂度较高的问题,文中提出基于区域特征融合的群组行为识别方法.首先,利用卷积神经网络提取场景的区域特征.再将场景区域特征依据空间位置分离、排列、组合成一系列区域特征序列.最后,利用长短时记忆网络融合区域特征序列,同时综合多层次和多模态策略提升方法效果.在Collective、Volleyball数据集上的实验表明文中方法性能较优.     

基于特征融合网络的行人重识别

行人重识别旨在大规模的分布式监控系统中进行行人目标匹配,紧凑且具有鲁棒性的特征表达对其至关重要,为此,本文提出了一种基于特征融合网络的特征提取方法.首先,利用STEL算法增强了LOMO特征对背景噪声的抗噪性能,利用KPCA算法降低维度以便于后续融合.随后,本文探索了手工特征和CNN特征的互补性,将改进LOMO特征融入至卷积神经网络之中,得到了区分度更高的融合特征.在VIPeR和CUHK01数据集上的测试结果表明,本文融合特征的区分度明显高于单一特征和级联特征,Rank-1较级联特征分别提高了3.73%和2.36%.     

基于多特征融合网络的独居老人行为识别研究

为了识别独居老人的行为，选用NTURGB+D120数据集的23个医疗与日常行为类别的多场景视频作为数据集，并设计了一套高效特征融合策略。该策略改进了SlowFast网络的输入方式，使得改进后的网络能够同时处理输入的两个不同特征的图像序列，实现向量上的合并融合。实验结果表明，将使用AlphaPose网络获取的骨骼信息嵌入在红、绿、蓝（Red Green Blue,RGB）与红外图像序列中，作为网络输入，并得到行为识别的Top-1准确率与Top-5准确率，分别为91.58%与90.00%，与RGB单特征输入的Slow Fast网络识别的准确率相比较为提升。     

基于双路时空网络的驾驶员行为识别

驾驶员危险驾驶行为是恶性交通事故发生的主要原因之一,因此识别驾驶员行为具有工程应用上的重要意义。目前,主流基于视觉的检测方法是对驾驶员行为的局部时空特征进行研究,针对全局空间特征及长时序相关性特征研究较少,这在一定程度上无法结合场景上下文信息对危险驾驶行为进行识别。为了解决上述问题,提出一种基于双路时空网络的驾驶员行为识别方法,整合不同时空通路的优点以提高行为特征丰富度。首先,使用一种改进的双流卷积神经网络(TSN)对时空信息进行表征学习,同时降低提取特征的稀疏性;其次,构建一种基于Transformer的串行时空网络补充长时序相关性信息;最后,联合双路时空网络进行融合决策,增强模型的鲁棒性。实验结果表明,所提方法在驾驶员疲劳检测数据集YawDD、驾驶员分心检测数据集SF-DDDD和最新驾驶员行为识别数据集SynDD1这3个公开数据集上分别取得99.85%、99.94%和98.77%的识别准确率,特别是在SynDD1上,与使用动作识别的网络MoviNet-A0相比识别准确率提升了1.64个百分点;消融实验结果也验证了该方法对驾驶员行为有较高的识别精度。     

时域非填充网络视频行为识别算法研究

视频行为识别是图像和视觉领域的一个基础问题,在基于深度学习的行为识别模型中,2D卷积方法模型参数较少,但是准确率不高;3D卷积方法在一定程度上提高了准确率,但会产生较多的参数和计算量。为了在保持准确率的前提下降低3D卷积神经网络行为识别模型的参数量,减少计算资源消耗,提出了时域零填充卷积网络行为识别算法,对视频进行3D卷积时不在时间维度上填充额外数据,以此来保证时域信息的完整性。为了充分利用有限的时间信息,设计了适合此填充方式的网络结构：先以时域不填充的方式使用3D卷积提取时空信息,然后利网络重组结构将3D卷积变为2D卷积来进一步提取特征。实验表明,该网络的参数量为10.385×106,不使用预训练权重的情况下在UCF101数据集上准确率为60.28%,与其他3D卷积网络行为识别方法相比在资源占用和准确率上都有明显优势。     

基于上下文特征融合的行为识别算法

针对LSTM网络无法充分提取短时信息导致人体行为识别率不高的问题,提出一种基于上下文特征融合的卷积长短时记忆网络联合优化架构,用于仅具有RGB数据的行为识别网络。使用3D卷积核对输入的动作序列提取其空间特征和短时时间特征,并将多通道信息进行融合,将融合后的特征送入下一级卷积神经网络和LSTM层中进行长期时间的特征学习,获取上下文的长期时空信息,最后用Softmax分类器进行人体行为的分类。实验结果表明,在人体行为识别公开数据集UCF-101上,提出的基于上下文特征融合的卷积长短时记忆网络的平均识别准确率达93.62%,相比于未进行特征融合的卷积长短时记忆网络提高了1.28%,且平均检测时间降低了37.1%。     

Two-Stream Temporal Convolutional Networks for Skeleton-Based Human Action Recognition

Journal of Computer Science and Technology - With the growing popularity of somatosensory interaction devices, human action recognition is becoming attractive in many application scenarios....     

面向人体动作识别的局部特征融合时间卷积网络

针对3D人体骨架序列动作识别这一问题,提出了一种结合了局部特征融合的时间卷积网络方法.首先,对一个动作中整个骨架序列的所有关节点的空间位置变化进行建模,提取其骨架序列的全局空间特征;然后,根据人体关节点及连接关系的拓扑结构将全局空间特征划分为人体局部空间特征,并将得到的局部空间特征分别作为对应TCN的输入,进而学习各关节内部的特征关系;最后,对输出的各部分特征向量进行融合,学习各部分关节之间的协作关系,从而完成对动作的识别.运用该方法在当前最具挑战性的数据集NTU-RGB+D进行了分类识别实验,结果表明,与已有的基于CNN,LSTM以及TCN的方法相比,其在对象交叉(cross-subject)和视图交叉(cross-view)的分类准确率上分别提高到了79.5%和84.6%.     

基于时空深度特征的人体行为识别算法

针对底层局部时空特征数量少以及中层特征表达能力弱的问题,结合时空深度特征,提出一种人体行为识别算法。依据运动剧烈区域在行为识别中提供更多判别信息的思想,利用视频图像的深度信息确定人体运动显著性区域,通过计算区域内光流特征作为度量区域活跃度的能量函数,依据能量函数对运动显著性区域进行高斯取样,使样本点分布于运动剧烈区域。将采集到的样本点作为动作底层特征描述人体行为,结合词袋模型,采用支持向量机分类器对行为进行识别。实验结果表明,在SwustDepth数据集中,基于时空深度特征的人体行为识别算法的平均行为识别准确率达到92%,且具有较高的鲁棒性。     

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG （Temporal Actionness Grouping）生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS 2014数据集和ActivityNet v1.3数据集获得较好的识别率.     

基于径向基函数神经网络的特征识别技术研究

特征表示和识别效率是基于神经网络特征识别技术所面临的基本问题。在研究特征拓扑结构信息的基础上，提出一种应用特征构成面及其邻接边信息构成特征编码的特征表示模型，并在此基础上，提出基于径向基函数神经网络的特征识别方法。最后，应用此方法实现了对典型加工特征的识别。     

基于手势特征融合的操作动作识别

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块。其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类。在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63%,识别综合动作的准确度达到了74.67%。     

人体动作识别中基于HTM架构的时空特征提取方法

针对人体动作识别中时空特征提取问题,提出一种基于层次时间记忆(HTM)架构的深度学习模型,用来提取图像帧的时空特征。首先,将图像帧构建成树形节点层次结构。然后,在每一层中,通过欧氏距离分组来提取图像样本的空间特征,利用时间邻接矩阵提取样本的时间特征,利用置信传播方法将各层局部特征组进行汇总归类,最终得到整体特征组,作为该图像帧的时空特征。此外,在节点操作中引入张量代数,从而避免出现高维特征。最后,将特征送入支持向量机(SVM)分类器进行识别分类。在MSR Gesture 3D动作数据库和KTH动作数据库上的实验结果表明,提出的方法能够有效提取出高分类性能的时空特征,分类准确率高于其他几种较新的方法。     

用于视频行为识别的高效二维时序建模网络

二维卷积难以对视频数据进行有效的时间信息建模。针对这个问题,提出了一个高效的基于二维卷积的时间建模网络。该网络只需要RGB图像作为输入,避免了复杂的光流计算,在低计算复杂度的前提下,可以在行为识别任务中达到先进的准确性。网络主要由两个部分组成,即运动特征增强模块和时序聚集模块。具体来说,运动特征增强模块主要实现短期时序建模,它利用当前帧与相邻帧的差异信息对当前帧中的运动信息进行自适应性的增强,让网络能够了解图像中的哪一部分将要产生运动。时序聚集模块实现长期的时序建模,主要应用于网络的后期,通过二维卷积对时序上的信息进行信息聚合,让每一帧图像经过网络提取特征后,都能够结合时序上所有帧序列的信息。在三个常见的视频动作识别数据集（UCF101、HMDB51和Something-Something V1）上进行的大量实验表明,与大多数现有方法相比,所提出的时序建模网络可以获得先进的识别性能。     

基于组合特征的Bp神经网络数字识别方法

提出一种组合特征作为Bp神经网络输入层向量实现数字字符识别算法.该算法首先引入了数字字符结构特征中图段特征,并结合数字字符的行列统计特征组合成为新的特征向量;然后根据新的组合特征向量设计Bp神经网络分类器;最后对已有的数字图像样本空间中的训练样本库按照Bp神经网络分类器训练方法进行训练,并对测试样本库中的样本进行识别.根据测试实验,数字字符的识别准确率可达到94%以上.