舞蹈视频图像中动作识别方法研究

运用计算机及"看"视频是当前人机交互领域的一个热门话题.以计算机视觉对舞蹈视频图像中舞者的动作进行识别意义重大.以舞蹈视频图像动作识别为切入点,提出对舞蹈视频图像动作进行灰度转换、阈值化处理、背景减除、降噪等预处理,对舞蹈视频图像特征提取及关节点建模进行分析,形成了舞蹈视频图像动作识别的系统思路.     

基于空间骨架时序图的舞蹈特定动作识别方法

随着机器视觉技术的发展,人体动作识别逐渐成为热门的研究方向,但其在舞蹈动作识别领域的应用研究则处于起步阶段。文中将基于深度学习的人体动作识别技术引入此领域,以实现辅助训练的智能化。文中首先分析最先进的人体动作识别算法,在计算机视觉方面的优势与在特定领域的局限性。在此基础上,提出一种基于空间骨架时序图的舞蹈动作识别算法。该算法先使用PAFs对舞蹈视频中的舞蹈演员提取骨架节点,再生成骨架序列。最后,结合LSTM对其进行动作识别。测试与分析结果表明,该算法可针对Balletto舞蹈视频数据库进行识别,且可有效识别舞蹈动作,实现对舞蹈演员的动作纠正。     

粒子群优化神经网络的体育动作识别

为了提高体育动作识别的准确性,提出一种粒子群优化神经网络的体育动作识别模型。首先采用背景差法对体育视频图像处理,获得体育动作轮廓,实现体育动作分割,然后提取体育动作的特征,并对特征进行核主成分分析,最后采用BP神经网络对特征向量进行训练,并通过粒子群优化算法选择BP神经网络参数,建立体育动作识别的分类器。测试结果表明,该模型提高了体育动作的识别率,降低了误识率,可以满足体育动作的在线识别要求。     

基于语音控制的舞蹈机器人的设计与制作

本文主要介绍了基于语音控制的舞蹈机器人的设计与制作过程。通过对舞蹈机器人机械、电气和程序的设计与实现,使机器人完成优美的舞蹈动作。行走电机采用继电器控制,以AT89S51单片机为中央处理器,实现各种舞蹈动作,采用语音识别技术实现语音控制。     

高动态舞蹈视频中特定动作片段检索系统设计

为了实现高动态舞蹈视频的分析和管理,需要对视频中特定动作片段检索系统设计方法进行研究。当前基于镜头内容的高动态舞蹈视频特定动作片段检索系统设计方法存在检索效率较低的问题。为了减少检索系统运行时间,提高查准率,提出一种基于相似性计算的高动态舞蹈视频特定动作片段检索系统设计方法。首先对高动态舞蹈视频中特定动作片段的背景进行初始化处理和更新,获取特定动作片段前景图像,实现其特征检测;然后依据特征检测结果,计算特定动作片段的密度分布、紧密程度和离散程度,以及特定动作片段的活跃块比率和它们之间的相似性;最后在此基础上设计特定动作片段的检索系统框架。实验结果分析证明,所提方法能够提高查全率和查准率,且减少了检索系统运行时间。     

特征降维和高斯混合模型的体育运动动作识别

为了解决当前体育运动动作识别方法的不足,以获得更优的体育运动动作识别效果,提出特征降维和高斯混合模型的体育运动动作识别方法。首先采集体育运动动作的视频图像,并提取体育运动动作的特征向量,然后采用随机投影算法对特征向量进行降维处理,最后采用高斯混合模型对降维后的训练样本进行学习,构建体育运动动作识别模型,并采用各种体育运动动作数据集对性能进行测试。结果表明,该方法获得了理想的体育运动动作识别结果,而且识别正确率高于其他体育运动动作识别方法。     

基于轮廓图像空频域特征的舞蹈翻腾姿态识别模型

文中旨在研究基于轮廓图像空频域特征的舞蹈翻腾姿态识别模型。该模型先将待识别舞蹈视频图像实施腐蚀、膨胀、中心归一化等预处理,利用处理后图像提取舞蹈翻腾姿态能量图,通过离散余弦变换提取舞蹈翻腾姿态能量图频域特征,利用Contourlet变换提取舞蹈翻腾姿态能量图空域轮廓特征,采用特征级融合方法融合以上特征获取舞蹈轮廓图像的空频域特征向量集,再将待识别舞蹈视频序列候选姿态利用Baum-Welch算法训练为隐马尔可夫模型,利用舞蹈轮廓图像的空频域特征向量集将隐马尔可夫模型量化至观察序列,通过前向后向算法获取观察序列姿态概率,观察序列概率值最大的隐马尔可夫模型对应姿态即为所需识别舞蹈翻腾姿态。实验结果表明,该模型可较好地提取具有空频域特征的舞蹈轮廓图像,有效识别舞蹈视频中舞蹈翻腾姿态,且识别100帧有阴影舞蹈视频图像中舞蹈翻腾姿态识别准确率高于96%。     

基于轮廓模型和AdaBoost算法的民族地区舞蹈人员跟踪技术研究

为了提高对民族地区舞蹈人员的指导能力,提出基于轮廓模型和AdaBoost算法的民族地区舞蹈人员跟踪技术。构建民族地区舞蹈人员的视频跟踪扫描成像模型,检测民族地区舞蹈人员的视频图像边缘轮廓模型,根据初始轮廓分布进行民族地区舞蹈人员视频图像的增强处理,建立民族地区舞蹈人员跟踪图像的视觉感知模型,通过区域像素特征重构方法进行民族地区舞蹈人员图像跟踪的三维信息重建,采用AdaBoost算法完成民族地区舞蹈人员的轮廓检测和像素跟踪,提高民族地区舞蹈人员的像素跟踪和识别能力。仿真结果表明,采用该方法跟踪民族地区舞蹈人员的信息融合度及识别率较高,能有效提高民族地区舞蹈的训练指导能力。     

基于2D姿势估计的高动态舞蹈动作识别方法

针对舞蹈视频图像中动作复杂多变、连贯性强、遮挡问题严重等问题,文中结合先进的舞蹈动作识别技术发展方向及其应用场景,同时考虑到彩色图像处理中计算机处理负载过重的问题,设计了一种基于2D姿势估计的高动态舞蹈动作识别方法。该方法主要分为模板建立与姿势估计两个部分,主要涉及的处理操作有图像预处理、模板特征提取和模板匹配这三种。验证测试结果表明,训练集图像经过灰度化与阈值化后,即可获得图像中前景舞者的图形,再利用Kinect人体模型提取动作特征信息。由于考虑到拍摄角度等原因导致的特征差异,将描述同一动作的多张训练图的特征信息保存在同一信息矩阵中,可进一步提高动作识别的准确性。     

基于异构多流网络的多模态人体动作识别

人体动作识别在人机交互、视频内容检索等领域有众多应用,是多媒体信息处理的重要研究方向。现有的大多数基于双流网络进行动作识别的方法都是在双流上使用相同的卷积网络去处理RGB与光流数据,缺乏对多模态信息的利用,容易造成网络冗余和相似性动作误判问题。近年来,深度视频也越来越多地用于动作识别,但是大多数方法只关注了深度视频中动作的空间信息,没有利用时间信息。为了解决这些问题,本文提出一种基于异构多流网络的多模态动作识别方法。该方法首先从深度视频中获取动作的时间特征表示,即深度光流数据,然后选择合适的异构网络来进行动作的时空特征提取与分类,最后对RGB数据、RGB中提取的光流、深度视频和深度光流识别结果进行多模态融合。通过在国际通用的大型动作识别数据集NTU RGB+D上进行的实验表明,所提方法的识别性能要优于现有较先进方法的性能。