基于自适应活动轮廓模型的实时手势跟踪

在基于视觉的手势分析与识别中，一个关键环节是手势跟踪。本文提出了基于颜色信息的自适应活动轮廓模型，并与均值漂移算法相互融合，实现图像序列的实时手势跟踪。跟踪算法分为两步进行，首先应用均值漂移算法实现手部区域的定位，然后基于自适应活动轮廓模型提取手部轮廓。在跟踪过程中，轮廓提取为下一帧的区域定位更新搜索窗口，提高了搜索效率，使目标跟踪达到实时性要求。同时，本文根据跟踪区域模板与目标模板的相似性度量Bhattacaryya系数给出了在跟踪目标被遮挡时的处理方法，有效地解决了这一难题。实验结果证明了在无遮挡和遮挡两种情况下算法均能实现准确、实时的手势跟踪。     

一种改进的TLD动态手势跟踪算法

针对目前动态手势跟踪算法TLD(跟踪-学习-检测)算法在手势目标遮挡后易出现跟踪漂移的不足,提出了一种改进的TLD动态手势跟踪算法.在跟踪器跟踪成功后,引入遮挡窗的方法进行手势目标遮挡的判定.若出现部分遮挡,则由TLD学习器处理;若出现严重遮挡,则在TLD的跟踪器中加入卡尔曼滤波器来预测估计当前帧中手势可能存在的区域,缩小跟踪器的搜索范围,提高跟踪器的处理速度;并在TLD检测器中加入基于马尔可夫模型的方向预测器,缩小检测器的检测范围,增强检测器对相似手势轨迹的判别能力.实验结果证明,改进后的TLD算法在不同的实验环境下均有较强的鲁棒性,能够快速准确地进行动态手势运动轨迹的跟踪,并且改善了手势目标遮挡后易出现跟踪漂移的问题.     

基于均值漂移与卡尔曼预测相结合的视频运动目标跟踪算法

传统的均值漂移算法是基于颜色直方图的迭代跟踪算法,在跟踪目标出现尺度变化的情况下,其跟踪结果往往出现偏差,甚至跟踪失败。鉴于此,提出了一种基于空间边缘方向直方图的均值漂移跟踪算法,使用空间分布和纹理信息作为匹配信息,将卡尔曼预测器融于均值漂移跟踪算法。实验表明,该方法能在尺度缩放等复杂背景下对目标进行准确有效的跟踪。     

基于均值漂移的多目标被动连续跟踪算法研究

本文基于均值漂移方法设计了一种新的多目标被动连续跟踪算法.该算法分为两部分:先是对采集到的多目标图像进行预处理,包括灰度化、消噪和背景抑制三项工作,从根本上提高目标图像本身的质量;然后融合特征提取和目标检测步骤,利用均值漂移算法实现对多目标物体的检测与跟踪.仿真实验结果表明,与几种典型跟踪算法相比,应用基于均值漂移的算法后,多目标跟踪误差更小,其跟踪结果的平均偏差最大值仅为1.61 m,且跟踪响应耗时最大值仅为900 ms,证明其能够实现对运动目标的准确、可靠跟踪.     

基于Bhattacharyya系数的由粗到精的核匹配搜索方法

均值漂移算法是一种高效的模式匹配算法.在传统的均值漂移方法基础上,本文针对运动范围较大的目标跟踪问题进行研究,提出一种基于Bhattacharyya系数的由粗到精的核匹配搜索方法.该算法能够有效利用相似性度量函数Bhattacharyya系数在实现对运动目标初始的粗定位情况下,利用均值漂移方法进行迭代求解局部最优值,从而实现目标的精定位,成功实现大范围运动目标的跟踪.实验结果验证该算法在跟踪精度和速度上均优于传统方法.     

空间相关背景加权直方图均值漂移目标跟踪

针对传统的基于直方图的均值漂移跟踪算法, 当目标出现于复杂跟踪条件时, 因无法显著区分颜色相近的目标或背景而导致跟踪失败的问题, 提出一种基于空间相关背景加权直方图的均值漂移跟踪算法, 并给出了推导过程. 实验结果表明, 该算法通过在目标模型中减少背景显著特征来增强目标定位, 能在遮挡、光照变化等复杂情况下实现有效的目标跟踪, 改善了传统均值漂移算法中模板不能及时更新等方面的局限性.

     

基于时空上下文的手势跟踪与识别

针对复杂背景下手势运动过程中出现的手势形态变化、遮挡、光照变化等问题,提出了一种基于时空上下文的手势跟踪与识别方法。使用机器学习方法离线训练手势样本分类器,实现对手势的检测和定位;利用时空上下文跟踪算法对动态手势进行跟踪,同时为了避免跟踪过程中出现的漂移、目标丢失等情况,使用手势检测算法对手势位置信息进行实时校准;根据手势运动轨迹对手势运动进行跟踪与识别。实验表明,提出的方法可以实现对手势运动快速、准确、连续识别,满足人机交互的要求。     

基于背景加权的尺度方向自适应均值漂移算法

针对经典的均值漂移算法在跟踪过程中由背景相似度、尺寸变化以及遮挡等引起的跟踪漂移问题,提出了一种基于背景加权的尺度方向自适应均值漂移跟踪算法。结合背景加权来提取目标颜色特征,充分利用了视频图像序列的空间信息,突出了目标区域的信息特征,抑制了由背景相似度和背景模糊引起的跟踪漂移现象。采用尺寸方向自适应的协方差矩阵估计方法,以适应运动目标尺寸方向的实时变化,保证了跟踪的准确性。经实验验证提出的运动目标跟踪算法较之其他经典均值漂移算法在精度和效率上都有显著提高。     

基于多特征空间的均值漂移算法

传统均值漂移跟踪算法都是基于单个特征空间,这不能较好地解决特征相似目标对跟踪的干扰.文中归纳多种具有分布特性的局部性特征,并对各种特征的区分能力提出具体的测度方法,使得特征的选择能够自适应.并在分析均值漂移算法中权重值计算的基础上,提出在多特征空间下,依据特征区分能力赋予相应的权重值,进而融合至均值漂移算法中.改进算法能够有效利用各种特征,使其相互补足,提高目标跟踪的鲁棒性.对于视频序列的实验表明,改进算法能够对受干扰的目标进行有效的实时跟踪.     

基于深度信息和SURF-BoW的中国手语识别算法

为实现视频中手语的准确识别,提出一种基于深度图连续自适应均值漂移(DI_CamShift)和加速强健特征词包(SURF-BoW)的中国手语识别算法.该算法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息.算法首先计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势准确跟踪;然后使用基于深度积分图像的OTSU算法分割手势并提取其加速强健特征(SURF),进而构建SURF-BoW作为手语特征并使用SVM识别.通过实验验证该算法在单个手语字母上的最好识别率为99.37%,平均识别率为96.24%.     

Tracking,recognition, and distance detection of hand gestures for a 3‐D interactive display

Abstract— This study proposes an interactive system for displays, the technologies of which consists of three main parts: hand‐gesture tracking, recognition, and depth measurement. The proposed interactive system can be applied to a general 3‐D display. In this interactive system, for hand‐gesture tracking, Haar‐like features are employed to detect a specific hand gesture to start tracking, while the mean‐shift algorithm and Kalman filter are adopted for fast tracking. First, for recognizing hand gestures, a principal component analysis (PCA) algorithm is used to localize colored areas of skin, and then hand gestures are identified by comparison with a prepared database. Second, a simple optical system is set up with an infrared laser source and a grid mask in order to project a proposed horizontal stripe pattern. Third, the projected patterns are deciphered to extract the depth information using the Hough‐transform algorithm. The system containing hand‐gesture localization, recognition, and associated depth detection (the distance between the display and the hand), was included in a prototype of an interactive display. Demonstration of rotation recognition of a finger‐pointing hand gesture was successful by using the algorithm of radar‐like scanning.     

Real-time hand tracking using a mean shift embedded particle filter

Particle filtering and mean shift (MS) are two successful approaches to visual tracking. Both have their respective strengths and weaknesses. In this paper, we propose to integrate advantages of the two approaches for improved tracking. By incorporating the MS optimization into particle filtering to move particles to local peaks in the likelihood, the proposed mean shift embedded particle filter (MSEPF) improves the sampling efficiency considerably. Our work is conducted in the context of developing a hand control interface for a robotic wheelchair. We realize real-time hand tracking in dynamic environments of the wheelchair using MSEPF. Extensive experimental results demonstrate that MSEPF outperforms the MS tracker and the conventional particle filter in hand tracking. Our approach produces reliable tracking while effectively handling rapid motion and distraction with roughly 85% fewer particles. We also present a simple method for dynamic gesture recognition. The hand control interface based on the proposed algorithms works well in dynamic environments of the wheelchair.     

基于Kinect的动态手势识别

针对现有的动态手势识别率低,识别手势少等不足,利用Kinect设备提出了动态手势识别算法.首先利用Kinect捕获人的手部区域,采用基于像素分类的指尖检测算法找到指尖的个数,并以左右手的手指个数作为动态手势的开始和结束;对人手的运动轨迹进行分析,针对运动轨迹的运动方向的变化,提取了该动态手势的运动方向变化角度作为特征;采用隐马尔科夫模型训练和识别各个手势.实验结果表明:方法能够识别16个大写手写英文字母,且效果较好.     

Hand gesture recognition from depth and infrared Kinect data for CAVE applications interaction

This paper presents a real-time framework that combines depth data and infrared laser speckle pattern (ILSP) images, captured from a Kinect device, for static hand gesture recognition to interact with CAVE applications. At the startup of the system, background removal and hand position detection are performed using only the depth map. After that, tracking is started using the hand positions of the previous frames in order to seek for the hand centroid of the current one. The obtained point is used as a seed for a region growing algorithm to perform hand segmentation in the depth map. The result is a mask that will be used for hand segmentation in the ILSP frame sequence. Next, we apply motion restrictions for gesture spotting in order to mark each image as a ‘Gesture’ or ‘Non-Gesture’. The ILSP counterparts of the frames labeled as “Gesture” are enhanced by using mask subtraction, contrast stretching, median filter, and histogram equalization. The result is used as the input for the feature extraction using a scale invariant feature transform algorithm (SIFT), bag-of-visual-words construction and classification through a multi-class support vector machine (SVM) classifier. Finally, we build a grammar based on the hand gesture classes to convert the classification results in control commands for the CAVE application. The performed tests and comparisons show that the implemented plugin is an efficient solution. We achieve state-of-the-art recognition accuracy as well as efficient object manipulation in a virtual scene visualized in the CAVE.     

基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于TLD和DTW的动态手势跟踪识别

针对动态手势跟踪稳定性的不足和识别效率的问题, 提出一种基于TLD和DTW的动态手势跟踪识别框架. 首先利用基于Haar特征的静态手势分类器获得手势区域, 然后使用TLD跟踪算法对获得的手势区域进行跟踪以获取手势轨迹, 最后提取轨迹特征, 使用改进的DTW算法进行识别. 实验表明, 该框架能够长时间稳定地跟踪手势区域, 并能够在保证识别率的基础上显著提高识别效率.     

基于深度信息的手势识别算法研究

针对在复杂背景中传统手势识别算法的识别率低问题,利用Kinect的深度摄像头获取深度图像,分割出手势区域后进行预处理;提取手势的几何特征,并提出深度信息的同心圆分布直方图特征,融合手势的几何特征和深度信息的同心圆分布直方图特征;学习训练随机森林分类器进行手势识别.文中通过在复杂背景条件下对常见的“石头”、“剪刀”、“布”3种手势进行测试,实验结果表明:文中所提方法具有很好的平移,旋转和缩放不变性,能适应复杂环境的变化.     

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。