视频序列中运动参数估计方法研究

运动参数估计是数字视频处理的一个核心问题。其任务是从视频序列中检测出运动信息,识别与跟踪运动目标和估计三维运动及结构参数。首先对传统的运动估计方法进行了全面介绍,然后重点研究基于小波变换的参数估计方法,并就各种方法的特点及应用范围进行了对比、分析与评价。     

基于视频的运动捕获

现有的运动捕获方法大都存在运动捕获设备昂贵、演员运动受限等缺点，为此，提出了一种利用视觉技术从视频中提取人体运动的方法，并对其中的特片跟踪和三维运动序列恢复等关键技术进行了深入研究。基于人体模型的特征跟踪算法利用卡尔曼滤波和极线方程，能精确地跟踪比较大的人体运动；采用不共面的非线性定标模型和考虑运动不确定性的三维重建方法，能恢复逼真的三维人体骨架模型，实验结果验证了基于视频的运动捕获方法的可行性和有效性。     

视频运动特征提取模块的实现

基于内容的视频检索为人们检索具有相似内容的视频数据提供了新的手段,而运动信息作为视频内容中的一种特有信息,是视频检索领域研究关键问题之一.通过对运动特征提取算法进行研究,设计并实现了一个实用的全局运动特征和局部运动特征提取模块.实验表明：该模块能够有效地分割全局运动与局部运动,提取的运动特征信息可作为基于内容的视频相似检索系统的重要索引.     

视频图像序列中的运动目标检测技术

对视频监控中的运动目标检测的基本原理和方法进行了阐述,介绍了几种运动目标检测方法,最后指出了评价各种方法的性能所面临的问题.     

视频运动对象分割技术的研究

随着视频标准MPEG-4和MPEG-7的出现，视频运动对象的分割显得极其重要．详细分析了几种典型的视频运动对象分割技术，并对视频运动对象分割技术的发展趋势进行了展望。     

视频序列图像中运动对象分割综述*

视频分割技术作为多媒体技术应用的一个主要方面, 在视频编码、检索、多媒体交互中存在着广阔的前景, 而且在计算机视觉中也有着极为重要的应用; 但是由于视频图像内容复杂, 还没有一个通用的分割方法, 视频分割算法还面临着挑战。主要介绍视频分割中采用的一些算法, 并对各种算法和性能进行了比较和讨论。     

视频序列中的运动目标检测

针对室内安全监控的场景特点,提出一种稳健的运动目标检测方法,对每个背景像素使用多个矢量表示,利用当前帧和背景帧像素的色度分量差分进行运动检测,并选择性地更新背景模型.实验表明,该方法能有效消除背景中振动对象的干扰,提高运动目标检测的准确性,有利于消除由于虚假目标而导致的误报警.     

基于统计方法的视频序列运动人体检测

描述了一种运动人体检测的方法。首先利用多帧图象统计平均的方法得到背景模型,采用背景差法检测出运动目标,并实时地对背景模型更新,以适应光线变化和场景本身的变化;然后在HSV色度空间下检测消除阴影,得到准确的运动目标。最后用形态学方法减小噪声和背景扰动带来的影响。实验结果表明,这种方法简单高效、抗噪性强,能实现复杂背景下的运动目标检测。     

一种快速的视频序列运动分割方法

提出一种视频序列运动分割的实时方法,该方法通过两次背景更新提取运动前景,其中长程背景更新检测噪声运动区域,并将长时间停留在场景中的物体纳入背景范围,短程背景更新利用单高斯分布模型实现对光线缓慢变化的适应。采用基于颜色空间的方法实现对阴影的消除,通过投影分割提取出不同的运动目标。试验证明该方法能够快速、精确地实现视频序列中多个运动目标的分割,消除背景噪声运动、目标阴影以及场景变化的影响。     

视频语义分析运动特征表征与抽取技术研究

视频运动特征蕴含丰富的语义信息,运动特征的简洁表征方式和高效抽取方法研究是视频语义分析的关键技术之一。针对视频语义分析的特点,将运动特征分为3类,分别对各类运动特征进行表征和抽取。相关抽取实验证明此方法可有效抽取语义分析所需的运动特征,同时在运动特征抽取的基础上实现了基于运动的视频语义分析原型系统。     

时空特征局部保持的运动视频关键帧提取

为提高运动视频关键帧的运动表达能力和压缩率,提出柔性姿态估计和时空特征嵌入结合的运动视频关键帧提取技术。首先,利用人体动作的时间连续性保持建立具有时间约束限制的柔性部件铰接人体（ST-FMP）模型,通过非确定性人体部位动作连续性约束,采用N-best算法估计单帧图像中的人体姿态参数;接着,采用人体部位的相对位置和运动方向描述人体运动特征,通过拉普拉斯分值法实施数据降维,获得局部拓扑结构表达能力强的判别性人体运动特征向量;最后,采用迭代自组织数据分析技术（ISODATA）算法动态地确定关键帧。在健美操动作视频关键帧提取实验中,ST-FMP模型将柔性混合铰接人体模型（FMP）的非确定性人体部位的识别准确率提高约15个百分点,取得了81%的关键帧提取准确率,优于KFE和运动块的关键帧算法。所提算法对人体运动特征和人体姿态敏感,适用于运动视频批注审阅。     

基于深度双向模型和特征融合的视频转文字研究

自动生成视频的自然语言描述,是一个非常具有挑战性的研究热点。基于深度BLSTM模型和CNN特征的方法,能够学习到视频序列的全局时空关联信息。针对视频转文字时面临的准确率低以及计算复杂度高的问题,提出了深度BMGU模型,从而在保持深度BLSTM模型结构优势的同时提高计算效率;还将原始视频帧的CNN特征,与经过Haar特征预处理后的视频的CNN特征进行后期融合,从而增加了训练特征的多样性,进而提升了视频转自然语言的实验效果。在M-VAD和MPII-MD数据集中,相对原S2VT模型,所提方法分别将METEOR分数从6.7及7.1提高到8.0和8.3。结果表明所提方法有效地改善了原S2VT模型的准确率和语言描述效果。     

一种基于MEM-LBP的动作特征提取及识别方法*

针对动作识别中如何有效地利用人体运动的三维信息的问题,提出一种新的基于深度视频序列的特征提取和识别方法。该方法首先运用运动能量模型（MEM）来表征人体动态特征,即先将整个深度视频序列投影到三个正交的笛卡儿平面上,再把每个投影面的视频系列划分为能量均等的子时间序列,分别计算子序列的深度运动图能量从而得到运动能量模型（MEM）。然后利用局部二值模式（LBP）描述符对运动能量模型编码,进一步提取人体运动的有效信息。最后用 范数协同表示分类器进行动作分类识别。在MSRAction3D、MSRGesture3D数据库上测试所提方法,实验结果表明该方法有较高的识别效果。     

基于YUV颜色空间的视频运动检测

给出了一种结合YUV颜色空间色度和亮度进行运动检测的算法,该算法首先采用单高斯背景建模,然后利用当前帧和背景帧像素的色度分量差分进行运动检测,并将膨胀后的色度检测结果和亮度检测结果进行与运算,得到色度和亮度联合检测结果.最后利用数学形态学闭运算和连通区域面积阈值化的方法对检测结果进行后处理,实现运动物体内部空洞的填充和周围较大噪声点的消除.实验结果表明,该算法能克服亮度变化和阴影的影响,取得较好的检测结果.     

运动序列的时空结构特征表示模型

运动序列是一种与运动信号相关的多维时间序列,各个维度序列之间具有高耦合性的特点。现有的多维序列表征方法大多基于维度间相互独立的假设或缺乏可解释性,为此,提出一种适用于运动序列的时空结构特征表示模型及其两阶段构造方法。首先,基于空间变化事件的转换方法,将多维时间序列变换成一维事件序列,以保存序列中的空间结构特性。接着,定义了一种时空结构特征的无监督挖掘算法。基于新定义的表示度度量,该算法从事件序列中提取一组具有代表性的低冗余变长事件元组为时空结构特征。在多个人类行为识别数据集上的实验结果表明,与现有多维时间序列表示方法相比,新模型的特征集更具代表性,在运动序列模式识别领域可以有效提升分类精度。     

LNP模型中的神经元滤波特征提取

目的 LNP（linear-nonlinear-Poisson）模型很好地解译了神经元的响应过程,其重要环节之一是线性滤波器的提取。针对传统iSTAC（information-theoretic spike-triggered average and covariance）算法运用于LNP模型时的神经元特性表征不足、运动特征提取效果不佳等问题,特别是在处理低维度刺激问题时,提出了一种改进的iSTAC神经元滤波特征提取算法。方法 引入非触发刺激的统计量,从而更加准确地构建神经元滤波特征子空间的目标函数,同时增强系统的抗噪能力;采用变尺度法最大化目标函数,从而优化解空间,提升算法的收敛速率。结果 不同非线性条件下对线性滤波器的恢复实验结果表明,新算法相较于传统iSTAC算法在高维度刺激时保持较好的表征特性,在刺激维度小于6 500时有明显改善,且总体上优于STA（spike-triggered average）和STC（spike-triggered covariance）算法。结论 提出的新算法适用范围更广,鲁棒性更强,能够运用于建立完整的基于视觉特性的视频运动特征提取模型。     

基于动态序列特征的人脸表情识别方法

基于静态灰度图特征识别表情的方法简单、快捷,在进行特定人表情识别时可以取得很好的识别结果,但在进行非特定人表情识别时却容易受到肤色、光照等因素的影响,识别效果较差。通过动态序列提取的运动特征能有效地反映表情运动的形变过程,用于非特定人表情识别时可以取得较好的识别结果。研究了通过光流和帧间灰度差两类方法提取表情序列动态特征,再与支持向量机（SVM）和隐马尔柯夫模型（HMM）两种分类器组合,进行非特定人表情识别,并分析比较了两类方法的特点与优劣,说明了利用运动特征识别人脸表情的有效性。     

联合特征在行人检测中的应用

提出一种基于动态和静态联合特征的行人检测方法,用于运动背景下的行人检测。运动背景的检测难度在于背景与目标的分离,该方法采用一种改进的Nagel二阶梯度光流算法生成图像的光流场,从中提取行人运动特征(MBH)和IMH(internal motion histograms),增强特征重复性以提高鉴别能力。实验中使用Libsvm训练线性SVM(support vector machine)分类器,使用Mean Shift算法优化分类结果。实验在1 093组图像上获得98%的识别率,证明该方法可以在运动背景下的图像序列上获得较出色的检测效果。