机器人视觉交流中的手势识别仿真

手势识别问题,是人与机器人交互中的关键部分。机器人视觉交流中的手势识别,对动作的准确跟踪是识别的难点,主要因为,人在做动作时,与机器人的反应之间存在较为明显的滞后性,对动作的跟踪很难及时准确,造成对整体的图像跟踪存在滞后性,导致传统的分析手势识别方法无法面向快速变化的群体手势特征,也无法进行准确的识别,提出了一种基于手部肤色特征的CAMSHIFT手势识别算法,通过色度直方图模型划分手部皮肤像素和非皮肤像素,获取手部肤色模型,采用摇动检测方法定位人手,依据手部肤色模型对所获取的手部区域进行分割,得到手部区域的二值图,使用改进的CAMSHIFT算法对手势进行跟踪,通过模式识别的方法对群体人手特征进行识别。实验结果说明,所提方法针对群体中的手势进行准确的识别,识别率高于93%,具有较高的应用价值。     

基于自适应活动轮廓模型的实时手势跟踪

在基于视觉的手势分析与识别中,一个关键环节是手势跟踪。本文提出了基于颜色信息的自适应活动轮廓模型,并与均值漂移算法相互融合,实现图像序列的实时手势跟踪。跟踪算法分为两步进行,首先应用均值漂移算法实现手部区域的定位,然后基于自适应活动轮廓模型提取手部轮廓。在跟踪过程中,轮廓提取为下一帧的区域定位更新搜索窗口,提高了搜索效率,使目标跟踪达到实时性要求。同时,本文根据跟踪区域模板与目标模板的相似性度量Bhattacaryya系数给出了在跟踪目标被遮挡时的处理方法,有效地解决了这一难题。实验结果证明了在无遮挡和遮挡两种情况下算法均能实现准确、实时的手势跟踪。     

基于马尔可夫模型的手势识别算法

同时应用手形及其运动轨迹两大特征实现动态手势识别。在轮廓跟踪过程中,获得手部轮廓,同时用轮廓质心的坐标表示手的位置获取手势的运动轨迹,则可得动态手势的特征向量,即观察值序列;然后采用左右结构的带有4个状态的离散马尔可夫模型实现手势识别。试验结果表明算法提高了手势识别率,也达到了实时性效果。     

利用基于颜色的自适应形状模型实现手势跟踪*

提出了一种基于颜色的自适应形状模型,并利用该模型实现了图像序列中的实时手势跟踪.跟踪算法基于自适应的颜色模型实现准确的手部轮廓提取,并利用基于二维颜色模型的粒子滤波器实现序列图像中跟踪目标的运动估计.实验结果表明了基于颜色的自适应形状模型对凸形与凹形手部轮廓均能达到准确的手部轮廓提取,并能满足图像序列手势跟踪的实行性要求.     

基于卷积神经网络优化TLD运动手势跟踪算法

针对TLD（Tracking-Learning-Detection）算法在光照变化不均、遮挡严重、跟踪目标模糊等情况下会出现跟踪失败的问题，提出一种基于卷积神经网络优化TLD运动手势跟踪算法。选取手势特征作正样本，其背景作负样本，获取手势HOG特征并投入到卷积神经网络中加以训练，得到手势检测分类器，从而确定目标手势区域，实现手势的自动识别；再利用TLD算法对手势进行跟踪与学习，对正负样本进行估计检测并实时校正，同时运用SURF特征匹配更新跟踪器。实验结果验证，该算法对比TLD经典算法跟踪精度提高了4.24%，增强了运动手势的跟踪效果，相比经典跟踪算法拥有更高鲁棒性。     

局部特征与全局特征结合的HMM静态手势识别

针对静态手势识别问题,提出了一种综合考虑局部形状与全局轮廓的隐马尔科夫模型(HMM)静态手势识别算法。该算法提取局部形状熵特征与上层轮廓特征分别作为训练数据训练每类手势的HMM参数。测试时,先凭借局部形状熵特征得出初步识别结果,然后根据初步识别结果的模糊性,附加与局部特征互补的上层轮廓特征进行再识别,得出最终识别结果。实验结果表明,该算法对于形状差异占主导地位的手势库有很好的效果,并且将静态手势的空间序列模拟成时间序列使得静态手势识别具有空间尺度不变性;同时该算法合理控制特征维数,一定程度上弱化了HMM训练时间长的弊端,加快了识别的速度。     

基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

基于形状特征检测的手势感兴趣区提取方法

针对采用肤色模型法进行手部区域分割时,人穿着的服装对手臂区域的干扰问题,本文提出了通过手部形状特征检测的手势感兴趣区提取方法.首先利用YCb'Cr’肤色模型提取手部轮廓,通过基于轮廓凸壳信息的方法提取手部轮廓区域的最小外接矩形;然后结合手掌和手臂的特有形状特征识别手腕位置,准确提取出手势感兴趣区域.实验结果表明,本文方法检测手部感兴趣区域准确,对包含和不含手臂的图像中手势感兴趣区域提取均有明显效果.     

基于Kinect深度图像信息的手势轨迹识别及应用

为实现基于Kinect深度图像信息的手势轨迹识别,提出了一种基于隐马尔可夫模型(HMM)的手势轨迹识别的方法。首先采用新型Kinect传感器获取图像深度信息;然后通过OpenNI的手部分析模块获得手心的位置,提取轨迹特征;最后利用隐马尔可夫模型训练有效的轨迹样本并实现轨迹的识别。实验结果证明,该方法能有效地识别手势轨迹,并可用于控制智能轮椅的运动。     

基于Leap Motion的手语识别算法优化

Leap Motion设备产生的数据在虚拟环境中可以进行手势识别。通过识别和跟踪用户的手来生成虚拟3D手部模型,从而获取手势信息。本文设计了一种基于隐马尔可夫模型(Hidden Markov Model, HMM)分类算法来学习从Leap Motion中所获取的手势信息的系统,根据手势特征的重要性赋予不同权值,可进一步提高分类准确率,实现手语信息的识别输入。测试结果表明,识别准确率为86.1%,手语打字输入识别速度为每分钟13.09个字符,可显著提高聋哑人与正常人之间沟通的便捷性。     

基于手势识别的机器人人机交互技术研究

研究了基于视觉的动态手势识别技术,采用基于肤色的高斯模型与改进的光流场跟踪算法结合的方 法,实现了复杂背景下实时的手势跟踪,具有快速和准确的特点,且具有较好的鲁棒性．对于动态手势识别器,采 用了隐马尔可夫模型（HMM）作为训练识别算法．考虑到动态手势特征本身的一些特点,对HMM 参数优化算法重 估式加以修正,调整了算法比例因子,从而推导了最佳状态链的确定算法、HMM 参数优化算法．最后将研究开发 的动态手势识别算法成功地应用到了基于网络的远程机器人控制系统中．     

基于时空上下文的手势跟踪与识别

针对复杂背景下手势运动过程中出现的手势形态变化、遮挡、光照变化等问题,提出了一种基于时空上下文的手势跟踪与识别方法。使用机器学习方法离线训练手势样本分类器,实现对手势的检测和定位;利用时空上下文跟踪算法对动态手势进行跟踪,同时为了避免跟踪过程中出现的漂移、目标丢失等情况,使用手势检测算法对手势位置信息进行实时校准;根据手势运动轨迹对手势运动进行跟踪与识别。实验表明,提出的方法可以实现对手势运动快速、准确、连续识别,满足人机交互的要求。     

基于OpenCV的摄像头动态手势轨迹识别及其应用

利用OpenCV计算机视觉库在vs2008平台上设计了一个基于实时摄像头的集动态手势检测、动态手势跟踪、动态手势轨迹识别的应用.首先,该应用基于静止的背景更新,利用背景差分检测运动手势,再结合颜色直方图的粒子滤波进行动态手势跟踪,最后利用隐马尔可夫模型(HMM)进行运动轨迹识别.在运动检测部分结合了背景差分图与通过颜色直方图获得的反投影图,达到比较满意的实时运动检测效果;在运动手势跟踪部分,改进的颜色直方图的粒子跟踪能够在经过类肤色人脸的干扰后迅速地找回运动手势,基本达到了跟踪的要求,但是同时对于HMM识别轨迹时需要的运动轨迹序列采集造成了影响;在识别轨迹部分,HMM的训练达到了识别的要求,但是识别的效果主要取决于实时运动轨迹序列的采集工作与采集方法的优化.     

基于RGB-D信息的动态手势识别方法*

针对现有的动态手势识别方法在复杂环境下,易受无关肤色、光照变化等因素的影响,识别率低,实时性差等问题进行了研究,提出一种的动态手势识别方法。该方法首先利用K均值聚类算法和YCr''Cb''（由YCrCb变换得到）椭圆肤色模型对RGB-D图像完成手势分割;然后将深度信息引入到传统卡尔曼滤波算法中,作为其跟踪参数之一,并在跟踪过程中对检测范围进行加窗处理;最后结合快速动态时间规整算法和突出关键特征点的思想,改进传统动态时间规整算法,并利用改进后的动态时间规整算法完成手势识别。实验表明：提出的手势识别方法,在复杂背景下的识别率较高（96.8±1.5%）,实时性较好（识别时间1.86±0.02ms）。     

适用于机器人视觉的手势识别系统

手势是一种高效的人机交互和设备控制的方式,基于视觉的手势识别是人机交互、模式识别等领域的一个富有挑战性的研究课题。文章提出并实现了一个可用于与机器人交互的静态手势检测和识别系统。该系统用摇动检测的方法定位人手;用基于现场采样得到的肤色模型进行手的分割;用简化并改进的CAMSHIFT算法对手势进行跟踪;最后用模式识别的方法提取简单特征进行识别。实验证明,该系统快速、稳定而有效。     

基于区域生长的Meanshift动态变形手势跟踪算法

针对传统Mean shift算法在手势跟踪中由于搜索窗口内手势背景像素改变所导致的跟踪精度不高,以及算法本身由于手势模型更新所引起的时间消耗较多等问题,提出一种基于区域生长与Mean shift算法相结合的动态变形手势跟踪算法。该算法在跟踪初始阶段通过帧间差分法对手势中心完成自动初始化,利用区域生长算法采集手势样本点,并通过Mean shift算法对目标中心进行精确定位。实验结果表明,该方法能够对动态变形手势实现精确实时的跟踪,可较好地降低算法的时间复杂度,保证运动目标跟踪的稳定性和连续性。     

基于Kinect的动态手势识别

针对现有的动态手势识别率低,识别手势少等不足,利用Kinect设备提出了动态手势识别算法.首先利用Kinect捕获人的手部区域,采用基于像素分类的指尖检测算法找到指尖的个数,并以左右手的手指个数作为动态手势的开始和结束;对人手的运动轨迹进行分析,针对运动轨迹的运动方向的变化,提取了该动态手势的运动方向变化角度作为特征;采用隐马尔科夫模型训练和识别各个手势.实验结果表明:方法能够识别16个大写手写英文字母,且效果较好.     

动态手势识别及在PPT播放当中的应用研究

本文主要研究了动态手势识别在PPT播放当中的应用,即在播放过程中能够通过动态手势控制PPT的翻页.首先在动态手势检测的研究中,通过采用背景差分和基于HSV的肤色建模相结合的方法,分割出了较好的动态手势图像.其次,通过对几种动态手势的跟踪算法的分析与比较,采用了主流的非线性跟踪算法W勇瞬’惴？通过对得到的手势图像中的V分量值的人为设置,消除了在跟踪过程中脸部及其他的类肤色干扰,从而避免了手势跟踪过程中的遮挡问题.最后通过采用隐马尔可夫模型与阈值Max相结合的方法,实现了对PPT播放的实时控制.实验结果表明动态手势的识别能够应用到PPT播放当中,并最终实现了利用动态手势来实时控制PPT的翻页.     

基于HMM方法的动态手势识别技术的改进

为了提高基于HMM方法的动态手势识别的效率和准确性,针对HMM方法在训练手势中计算的高复杂性,提出了一种HMM算法和动态规划的算法相结合的方法,对HMM算法中的训练阶段进行了改进,增强了人机交互的准确性与实时性。