基于用户行为分析的手势跟踪方法

人手结构的高维性而导致粒子滤波跟踪方法中采样数目非常庞大,是实现运动人手的实时性跟踪研究的主要障碍之一.以降低粒子数目为目标,以行为分析和建模为切入点,提出一种手势跟踪方法.首先分析操作者在手势操作过程中的行为特征,建立人手运动的动态模型;其次,研究动态模型的基本特征,并给出一种描述方法;然后,建立人手运动的时段模型,分析了手势状态的时间-空间关系.在此基础上,提出了状态变量微观结构的概念,重点给出了基于状态变量微观结构的手势跟踪算法;最后,设计和完成了实验,并与相关参考文献方法的实验结果进行对比.结果表明,采用该算法,用少量粒子就可以得到比较精确的跟踪结果.提出的核心算法已经用于一个基于自然手势交互的三维虚拟装配原型系统.     

以多模型融合为特征的三维手势跟踪算法

三维手势跟踪是基于手势交互中的一个基础性研究课题,要实时、高精度地实现三维手势跟踪是一个具有挑战性的热点问题.为提高三维人手跟踪的精确度,提出一种基于多模型融合状态预测的粒子滤波跟踪算法.首先通过对基于数字手套的虚拟烤箱系统进行实验,结合人手的行为理解和描述建立了基于认知实验的人手运动状态预测模型;其次对人手跟踪过程中的数据建立人手运动模型,将Sigma点原理应用到人手模型数据上,得到基于局部分析预测模型;最后将这2个模型按照其与当前帧图像的相似度进行融合,得到粒子滤波过程中的状态预测模型.与退火算法相比较的实验结果表明,在运行时间基本相同的情况下,该算法通过改善粒子滤波过程中状态预测的精度提高了人手跟踪过程中的精度.     

使用肤色模型和动态跟踪窗口的手势跟踪算法

手势分析是HCI（Human Computer Interaction）技术的重要研究领域,而手势跟踪是手势分析的的一项重要步骤。提出了一种结合肤色模型和动态跟踪窗口的手势跟踪算法。算法首先在序列图像中进行肤色检测将图像二值化,然后用动态跟踪窗口逼近手部区域。实验结果表明,该算法是有效的,同时也能满足实时性的要求。     

利用轨迹模板匹配方法的实时动态手势识别

利用混合高斯模型进行运动检测,分割出运动前景,采用粒子滤波器结合皮肤椭圆模型进行手势跟踪,获得手势中心点运动轨迹,在此基础上提出利用轨迹模板匹配方法进行动态手势识别.该方法利用基本的几何和三角函数就能完成手势运动轨迹的定义和识别,不需要选择特征或训练样本.实验结果表明,该算法能够实现实时动态手势识别.     

基于区域生长的Meanshift动态变形手势跟踪算法

针对传统Mean shift算法在手势跟踪中由于搜索窗口内手势背景像素改变所导致的跟踪精度不高,以及算法本身由于手势模型更新所引起的时间消耗较多等问题,提出一种基于区域生长与Mean shift算法相结合的动态变形手势跟踪算法。该算法在跟踪初始阶段通过帧间差分法对手势中心完成自动初始化,利用区域生长算法采集手势样本点,并通过Mean shift算法对目标中心进行精确定位。实验结果表明,该方法能够对动态变形手势实现精确实时的跟踪,可较好地降低算法的时间复杂度,保证运动目标跟踪的稳定性和连续性。     

基于SURF特征跟踪的动态手势识别算法

提出了一种基于加速鲁棒特征(SURF)跟踪的动态手势识别算法.其特征在于算法无需预先检测分割人手区域,仅通过跟踪统计相邻帧间匹配SURF特征点的移动主方向来刻画手势运动轨迹.提出采用经时间规整的轨迹方向数据流来建立动态手势模型,利用基于相关分析的数据流聚类方法实现动态手势的识别,大大提高动态手势识别速度.实验使用26个英文字母作为动态手势训练和识别,手势训练集和测试集的识别率分别为87.1%和84.6%,并成功用于实验室自主研制的侦察移动机器人Hunter的运动控制中,证实了该方法的有效性.     

卷积神经网络在动态手势跟踪中的应用

为了解决复杂场景中对动态手势目标进行跟踪的问题,提出了一种动态手势的改进YOLOv3实时跟踪算法。算法首先针对YOLOv3网络检测实时性较差的问题,利用对手势这样的单类目标检测的特性对YOLOv3的主干网络结构进行改进。其次提出一种适合于复杂场景下手势跟踪的规划区域的检测跟踪方法,对手势目标进行检测,过滤掉背景中非当前跟踪目标造成的影响,完成对手势的实时跟踪。最后在设计的手势数据集中进行训练和测试。实验结果表明,算法在复杂场景中的手势跟踪性能均优于YOLOv3算法和一些相关目标跟踪算法。     

基于视觉的手势识别技术及其应用研究

研究基于视觉的手势识别技术,并在OpenCV的平台基础上实现基于该技术的多媒体教学的应用,即在幻灯片播放的过程中能够由动态手势来控制幻灯片的翻页。首先通过摄像头来采集图像,利用背景差分法结合颜色直方图检测动态信息完成手势的检测。其次通过几种动态手势的跟踪算法的分析与比较,采用主流的非线性跟踪算法—粒子滤波算法。最后是应用实现部分,将手势识别的结果应用于多媒体演示文稿的播放中,实现通过动态手势实时控制PPT翻页的功能。     

一种面向实时交互的变形手势跟踪方法

变形手势跟踪是基于视觉的人机交互研究中的一项重要内容.单摄像头条件下,提出一种新颖的变形手势实时跟踪方法.利用一组2D手势模型替代高维度的3D手模型.首先利用贝叶斯分类器对静态手势进行识别,然后对图像进行手指和指尖定位,通过将图像特征与识别结果进行匹配,实现了跟踪过程的自动初始化.提出将K-means聚类算法与粒子滤波相结合,用于解决多手指跟踪问题中手指互相干扰的问题.跟踪过程中进行跟踪状态检测,实现了自动恢复跟踪及手势模型更新.实验结果表明,该方法可以实现对变形手势快速、准确的连续跟踪,能够满足基于视觉的实时人机交互的要求.     

基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.     

动态手势识别及在PPT播放当中的应用研究

本文主要研究了动态手势识别在PPT播放当中的应用,即在播放过程中能够通过动态手势控制PPT的翻页.首先在动态手势检测的研究中,通过采用背景差分和基于HSV的肤色建模相结合的方法,分割出了较好的动态手势图像.其次,通过对几种动态手势的跟踪算法的分析与比较,采用了主流的非线性跟踪算法W勇瞬’惴？通过对得到的手势图像中的V分量值的人为设置,消除了在跟踪过程中脸部及其他的类肤色干扰,从而避免了手势跟踪过程中的遮挡问题.最后通过采用隐马尔可夫模型与阈值Max相结合的方法,实现了对PPT播放的实时控制.实验结果表明动态手势的识别能够应用到PPT播放当中,并最终实现了利用动态手势来实时控制PPT的翻页.     

基于手势识别的机器人人机交互技术研究

研究了基于视觉的动态手势识别技术,采用基于肤色的高斯模型与改进的光流场跟踪算法结合的方 法,实现了复杂背景下实时的手势跟踪,具有快速和准确的特点,且具有较好的鲁棒性．对于动态手势识别器,采 用了隐马尔可夫模型（HMM）作为训练识别算法．考虑到动态手势特征本身的一些特点,对HMM 参数优化算法重 估式加以修正,调整了算法比例因子,从而推导了最佳状态链的确定算法、HMM 参数优化算法．最后将研究开发 的动态手势识别算法成功地应用到了基于网络的远程机器人控制系统中．     

Real-time hand tracking using a mean shift embedded particle filter

Particle filtering and mean shift (MS) are two successful approaches to visual tracking. Both have their respective strengths and weaknesses. In this paper, we propose to integrate advantages of the two approaches for improved tracking. By incorporating the MS optimization into particle filtering to move particles to local peaks in the likelihood, the proposed mean shift embedded particle filter (MSEPF) improves the sampling efficiency considerably. Our work is conducted in the context of developing a hand control interface for a robotic wheelchair. We realize real-time hand tracking in dynamic environments of the wheelchair using MSEPF. Extensive experimental results demonstrate that MSEPF outperforms the MS tracker and the conventional particle filter in hand tracking. Our approach produces reliable tracking while effectively handling rapid motion and distraction with roughly 85% fewer particles. We also present a simple method for dynamic gesture recognition. The hand control interface based on the proposed algorithms works well in dynamic environments of the wheelchair.     

基于Kinect的手势跟踪概述

综述了当前基于Kinect手势跟踪的几种代表性方法:基于轮廓和特征匹配运动目标跟踪算法、均值漂移跟踪算法、连续自适应均值漂移跟踪算法、卡尔曼滤波跟踪算法以及粒子滤波跟踪算法,分析其特点及相互关系,详细探讨了各方法的优缺点.最后对手势跟踪发展趋势作出了展望.     

基于视觉的实时手势识别及其在演示控制中的应用

研究基于计算机视觉的实时动态手势识别技术,并利用OpenCV计算机视觉库在VS2010平台上设计一个基于该技术在多媒体教学中PPT演示控制方面的应用。首先,利用背景差分法进行手势检测,在背景更新的基础上,通过背景差分图和颜色直方图的反投影图来检测运动手势区域,可以达到较为满意的实时运动手势检测效果;其次,采用基于颜色直方图的粒子跟踪算法进行手势跟踪,基本能满足跟踪的实时性;最后,在手势识别阶段,采用基于Hu不变矩的轮廓匹配算法,得到较好的手势识别效果;使用六种手势,来实现演示文稿中的控制应用。