基于关键帧的双流卷积网络的人体动作识别方法

针对视频序列中人体动作识别存在信息冗余大、准确率低的问题,提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入,送入VGG16网络模型,提取视频的深度特征;其次提取视频的关键帧,通过不断预测每个视频帧的重要性,选取有足够信息的有用帧并汇聚起来送入神经网络进行训练,选出关键帧并丢弃冗余帧;最后将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体动作识别器,实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明,与当前人体动作识别的主流方法相比,该方法具有较高的识别率,并且相对降低了网络的复杂度.     

时空特征与通道注意力融合的视觉手势识别技术

为了解决双流融合网络对动态手势关键帧及手部轮廓特征检测不足的问题,提出一种手势时空特征与通道注意力融合的动态手势识别方法.首先,在双流融合网络中引入有效通道注意力(eficient channel attention,ECA)增强双流识别算法对手势关键帧的关注度,并利用双流中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征;其次,通过ECA在空间流中选取最高关注度的手势帧,利用单发多框检测器技术(single shot multibox detector,SSD)提取相应手部轮廓特征;最后,将手部轮廓特征与双流中提取的人体姿态特征、时序特征融合后分类识别手势.该方法在Chalearn 2013多模态手语识别数据集上进行了验证,准确率为66.23％,相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果.     

基于视频数据特性的动态手势识别

针对现有动态手势识别方法环境适应性低、计算复杂的问题,提出了一种基于视频数据特性的动态手势识别方法.使用基于密度的聚类算法DBSCAN直接从视频编码数据中的运动矢量提取出运动趋势特征,再通过随机森林分类运动趋势,结合卷积神经网络（CNN）提取的手型特征识别动态手势.实验结果表明,该方法对剑桥大学和美国西北大学数据集中动态手势的平均识别率分别达到94.22%和94.48%,并且与CNN结合长短期记忆网络的识别方法相比,手势识别时间减少了85%.在背景图像复杂且光照条件不足时,该方法仍然能够维持较高的识别率,表现出较好的鲁棒性.     

基于3D-CBAM注意力机制的人体动作识别

针对已有的动作识别方法的特征提取不足、识别率较低等问题,结合双流网络、3D卷积神经网络和卷积LSTM网络的优势,提出一种融合模型. 该融合模型为了更好地提取人体动作特征,采用SSD目标检测方法将人体目标分割出作为局部特征和原视频的全局特征共同训练,并采用后期融合进行分类; 将3D卷积块注意模块采用shortcut结构的方式融合到3D卷积神经网络中,加强神经网络对视频的通道和空间特征提取; 并且通过将神经网络中部分3D卷积层替换为ConvLSTM层的方法,更好地得到视频的时序关系. 实验在公开的KTH数据集     

一种识别表情序列的卷积神经网络

传统的人脸表情识别方法需要人为指定特征训练方向,卷积神经网络方法虽然可以自动训练分类特征,但是存在无法识别表情序列的弊端．针对此问题,运用一种多网络融合技术,使构建的网络能够对表情序列进行识别．网络构建方法为:首先构建多个卷积神经网络,使每个网络处理一帧图片;然后将处理结果在融合层进行融合;最后通过一个分类器输出识别结果．在CK+人脸表情数据库上,分别对3帧、4帧和5帧表情序列进行实验,均获得了较高的识别率．     

基于运动学动态图的人体动作识别方法

为了识别RGB-D视频中的人体动作,针对视频中运动信息利用不充分的问题,提出了一种基于运动学动态图的人体动作识别方法。首先利用RGB视频序列和对应的深度图序列生成场景流特征图,基于场景流特征图计算运动学特征图序列,其中包含丰富的运动信息;使用分层排序池化将运动学特征图序列编码为运动学动态图,同时将RGB视频序列编码为外观动态图,最后将运动学动态图和外观动态图输入到双流卷积网络进行人体动作识别。结果表明:基于运动学动态图和双流卷积网络的人体动作识别方法融合了外观信息和运动信息,不仅充分表征了视频的动态,而且使用了视频中具有丰富运动信息的运动学特征;在公开的数据集上对本方法进行验证,在M2I数据集和SBU Kinect Interaction数据集的动作识别率分别为91.8%和95.2%。     

改进频率切片小波变换和卷积神经网络的手势肌电信号识别

为了提高肌电信号手势动作识别准确率,基于数据驱动提出结合改进频率小波切片变换和卷积神经网络的肌电手势识别方法。利用滑动窗对8通道肌电信号进行分割,通过改进频率小波切片变换将信号映射为时间-频率谱图,处理后的谱图输入一个18层卷积神经网络进行手势识别。采用133 000个肌电样本数据随机等分进行实验验证,7种手势动作的平均准确率达到97.94%,准确率在不同环境温度和电极测量位置(±1 cm)下无明显降低,提出方法手势识别准确率高、鲁棒性好。     

基于视觉和肌电信息融合的手势识别方法

针对人机交互技术对手势识别的可识别种类和识别正确率的问题,提出一种基于视觉方向梯度直方图(HOG)特征和肌电信号(EMG)时域特征融合及支持向量机(SVM)分类器的手势识别方法.利用视觉传感器和智能臂环分别采集手势图像信息和肌电信号,预处理后提取对应的HOG特征和时域特征;采用串行融合的方式将2种特征进行特征级融合;以...     

基于多时长特征融合的人体行为识别方法

对于视频中的人体行为识别问题,提出了多时长特征融合模块以提取多种具有不同时长的行为信息,多时长特征融合模块由多个具有不同时间维度的3D卷积核计算并联组成,并结合密集连接模块设计了一种基于多时长信息特征融合的密集连接卷积神经网络。该网络对从视频中提取的序列图像进行特征学习,有效地提取了动态行为特征,并对其进行分类。同时,提出了一种3D卷积神经网络预训练策略,实现了从2D到3D卷积神经网络的迁移学习。实验结果表明:该方法能够对视频中的人体行为进行有效地识别,在UCF101与HMDB51数据集上分类准确率分别达到87.1%与58.3%。     

基于级联卷积神经网络的视频动态烟雾检测

复杂场景中烟雾特性的提取是目前视频烟雾检测领域的主要挑战。针对该问题,提出一种静态和动态特征结合的卷积神经网络视频烟雾检测框架。在静态单帧图像特征检测的基础上,进一步分析其时空域上的动态纹理信息以期克服复杂的环境干扰。实验结果显示,该级联卷积神经网络模型可有效应用于复杂视频场景中烟雾事件的实时检测。