连续动态手势的时空表观建模及识别

论述了复杂背景下连接动态手势的分割、建模及识别;融合手势运动信息和皮肤颜色信息,进行复杂背景下的手势分割;通过结合手势的时序信息、运动表观以及形状表观,提出动态手势的时空表观模型,并提出基于颜色、运动以及形状等多模式信息的分层次融合策略抽取时空表观模型的参数,最后,提出动态时空规整算法用于手势识别,实验表明,利用上述提出的手势分割、建模、特征参数抽取及识别方法识别１２种手势,平均识别率高达９７％。     

利用轨迹模板匹配方法的实时动态手势识别

利用混合高斯模型进行运动检测,分割出运动前景,采用粒子滤波器结合皮肤椭圆模型进行手势跟踪,获得手势中心点运动轨迹,在此基础上提出利用轨迹模板匹配方法进行动态手势识别.该方法利用基本的几何和三角函数就能完成手势运动轨迹的定义和识别,不需要选择特征或训练样本.实验结果表明,该算法能够实现实时动态手势识别.     

基于加速度传感器的可扩展手势识别

为了提高基于加速度传感器的动态手势识别算法的性能,并且增强系统的可扩展性,提出了一种有效结合机器学习模型与模板匹配的方法.将手势分为基本手势和复杂手势两大类,其中复杂手势可分割为基本手势组成的序列;根据手势运动的特点提取有效的特征量,并利用基本手势样本训练随机森林模型,然后用其对基本手势序列进行分类预测;将预测结果进行约翰逊编码,再与标准模板序列进行相似度匹配.实验结果表明,该方法获得了99.75%的基本手势识别率以及100%的复杂手势识别率.算法既保证了手势识别的精度,也提高了系统的可扩展性.     

基于Kinect的手势识别算法研究及应用

手势识别技术是人机交互技术的重要研究内容。为了提高基于Kinect的手势识别性能,提出基于深度人手定位和hog特征的静态手势识别算法及基于改进HMMs的动态手势识别算法。静态手势识别算法首先通过Kinect的深度信息完成人手定位,而后在定位区域内提取基于梯度方向直方图的形状特征并利用级联Adaboost训练的手势模型,实现对静态手势的准确识别,在公开手势数据库中测试的实验结果表明提出的静态手势识别算法具有较高的识别率。动态手势识别算法首先通过Kinect获取手心轨迹并提取轨迹切线角度作为特征,利用改进的隐马尔科夫模型实现动态手势的判别,实验结果表明提出的动态手势识别算法相比于传统HMMs算法有效地排除了无效手势。此外利用提出的动静态手势识别算法有效地控制了模拟的数字电视。     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

基于Kinect的动态手势识别

针对现有的动态手势识别率低,识别手势少等不足,利用Kinect设备提出了动态手势识别算法.首先利用Kinect捕获人的手部区域,采用基于像素分类的指尖检测算法找到指尖的个数,并以左右手的手指个数作为动态手势的开始和结束;对人手的运动轨迹进行分析,针对运动轨迹的运动方向的变化,提取了该动态手势的运动方向变化角度作为特征;采用隐马尔科夫模型训练和识别各个手势.实验结果表明:方法能够识别16个大写手写英文字母,且效果较好.     

基于特征线条的手势识别

单目视觉的手势识别系统,通常把人手建模成一个像素或者一块,从整体上分析手势的运动参数并提取表观特征.从细微之处着手,融合颜色、运动和边缘等多种信息以提取能够反应人手结构特性的特征线条,并将特征线条分割成小的曲线段,跟踪这些曲线段的运动.采用平面模型对手势图像表观的变化建模,根据各个曲线段的运动,融合成手的整体运动分量.同时分析了图像坐标系的选取和对运动参数的影响,提出了随手运动的坐标系,以抽取平移不变的平面模型参数,进行手势识别.     

基于Hu-GLCM的手势识别方法研究

针对手势识别过程中单一手势特征对手势描述的不足,提出了一种基于改进Hu矩和灰度共生矩阵GLCM的手势识别方法 Hu-GLCM。首先利用肤色模型对采集的图像分割出手势区域;其次采用数学形态学和多边形拟合的方法提取手势的单连通轮廓,利用改进Hu-GLCM算法提取手势的几何形状特征和纹理特征并建立模板数据库;最后通过扩展的Canberra距离对手势图像进行识别和分类。实验结果表明,该改进算法对7种手势的平均识别率达到95%以上,且计算速度快,能够满足实时性的需求。     

基于多特征融合的动态手势识别

针对目前动态手势识别计算复杂度较高以及对实验器材有相应要求的问题,提出基于多特征融合的动态手势识别.使用OpenPose得到手部关键点信息,建立手势模型,将坐标信息利用手部的结构关系进行处理,得到手部的角度和长度特征.将角度特征序列和长度特征序列进行融合,利用阈值设定过滤序列中的奇异点,使用FastDTW算法计算待测动态手势与手势模板库中的序列距离,得到预测手势动作类别.实验表明,该方法计算复杂度较低,识别速度快,选取的四种手势动作的识别准确率均在90％以上,有较好的识别效果.     

基于手势识别的人机交互算法研究

随着人机交互技术的日益成熟,人机交互技术中的手势识别已成为计算机视觉领域的一个重要课题,而手势交互是人机交互中的一种重要方式。手势识别技术日益受到社会各界的广泛关注。虽然手势识别技术应用广泛,但是存在诸多困难与挑战,尤其是动态手势识别。动态手势的挑战主要来自不可预测的环境和手势识别特性,例如光照变化、与手势特征近似的背景区域干扰、目标遮挡等。基于此,研究了一种基于手势识别算法的人机交互系统。手势识别算法包括图像采集、二值化处理、质心计算、数据筛选和方向量化。     

一种面向实时交互的变形手势跟踪方法

变形手势跟踪是基于视觉的人机交互研究中的一项重要内容.单摄像头条件下,提出一种新颖的变形手势实时跟踪方法.利用一组2D手势模型替代高维度的3D手模型.首先利用贝叶斯分类器对静态手势进行识别,然后对图像进行手指和指尖定位,通过将图像特征与识别结果进行匹配,实现了跟踪过程的自动初始化.提出将K-means聚类算法与粒子滤波相结合,用于解决多手指跟踪问题中手指互相干扰的问题.跟踪过程中进行跟踪状态检测,实现了自动恢复跟踪及手势模型更新.实验结果表明,该方法可以实现对变形手势快速、准确的连续跟踪,能够满足基于视觉的实时人机交互的要求.     

A Real-Time Approach to the Spotting, Representation, and Recognition of Hand Gestures for Human–Computer Interaction

Aiming at the use of hand gestures for human–computer interaction, this paper presents a real-time approach to the spotting, representation, and recognition of hand gestures from a video stream. The approach exploits multiple cues including skin color, hand motion, and shape. Skin color analysis and coarse image motion detection are joined to perform reliable hand gesture spotting. At a higher level, a compact spatiotemporal representation is proposed for modeling appearance changes in image sequences containing hand gestures. The representation is extracted by combining robust parameterized image motion regression and shape features of a segmented hand. For efficient recognition of gestures made at varying rates, a linear resampling technique for eliminating the temporal variation (time normalization) while maintaining the essential information of the original gesture representations is developed. The gesture is then classified according to a training set of gestures. In experiments with a library of 12 gestures, the recognition rate was over 90%. Through the development of a prototype gesture-controlled panoramic map browser, we demonstrate that a vocabulary of predefined hand gestures can be used to interact successfully with applications running on an off-the-shelf personal computer equipped with a home video camera.     

基于高斯过程模型的指节图像识别方法

在基于图像的人机交互智能装配的手势识别与动作跟踪中,手部关节的图像定位是基础,并且关节信息的准确性对手势描述和行为识别与理解有直接影响.针对指节图像特征分布具有较强随机性,利用同态滤波进行图像预处理,以增强图像特征.基于高斯过程模型对手部指节图像二类特征进行学习,用样本对象的聚类测度,学习数据分布的特征模型,将学习获得的两类特征模型作为图像特征的检测器,检测结果即为图像的两个似然值.将经过正负类样本标记过的两种模型似然值作为输入,直接依据估计结果对手部关节图像进行检测识别.通过对不同位置处的手部关节识别分析和测试库检测,结果表明,本文所述方法可以直接得到后验概率的分布,提高了目标识别的准确性和效率.     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

基于手轮廓的深度图像手势识别方法

提出了一种新的手势识别方法,该方法从深度图像中提取手形轮廓,通过计算手形轮廓与轮廓形心点的距离,使用离散傅里叶变换获得手势的表观特征,引入径向基核的支持向量机识别手势。建立了一个常见的10种手势的数据集,测试获得了97.9%的识别率。     

A Unified Framework for Gesture Recognition and Spatiotemporal Gesture Segmentation

Within the context of hand gesture recognition, spatiotemporal gesture segmentation is the task of determining, in a video sequence, where the gesturing hand is located and when the gesture starts and ends. Existing gesture recognition methods typically assume either known spatial segmentation or known temporal segmentation, or both. This paper introduces a unified framework for simultaneously performing spatial segmentation, temporal segmentation, and recognition. In the proposed framework, information flows both bottom-up and top-down. A gesture can be recognized even when the hand location is highly ambiguous and when information about when the gesture begins and ends is unavailable. Thus, the method can be applied to continuous image streams where gestures are performed in front of moving, cluttered backgrounds. The proposed method consists of three novel contributions: a spatiotemporal matching algorithm that can accommodate multiple candidate hand detections in every frame, a classifier-based pruning framework that enables accurate and early rejection of poor matches to gesture models, and a subgesture reasoning algorithm that learns which gesture models can falsely match parts of other longer gestures. The performance of the approach is evaluated on two challenging applications: recognition of hand-signed digits gestured by users wearing short-sleeved shirts, in front of a cluttered background, and retrieval of occurrences of signs of interest in a video database containing continuous, unsegmented signing in American Sign Language (ASL).     

基于多特征加权融合的静态手势识别

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题,提出了一种基于多特征加权融合的静态手势识别方法.首先,提取分割后的手势图像的傅里叶和Hu矩等形状特征,将两者融合作为手势图像的局部特征;设计双通道卷积神经网络提取手势图像的深层次特征,采用主成分分析方法对提取的特征进行降维;然后,将提取的局部特征和深层次特征进行加权融合作为手势识别的有效特征描述;最后,使用Softmax分类器进行手势图像分类.实验结果验证了提出方法的有效性,在手势图像数据集上的识别准确率达到了99%以上.     

利用柔性神经树的实时肌电信号手势识别模型

传统的手势识别通常采用数字信号处理(Digital Signal Processing,DSP)芯片或者集合方法(Ensem-ble Methods)研究实时识别问题。这些方法易导致数学模型参数繁多、硬件连接复杂和实时识别率较低。提出一种基于表面肌电信号与柔性神经树(Flexible Neural Trees,FNT)模型的实时手势识别模型。表面肌电信号(surface Electromyography,sEMG)具有非入侵式、易于采集特点,故被广泛应用于行为识别和诊断等领域。柔性神经树模型通过简单的预定义来构建,能够解决人工神经网络(Artificial Neural Network,ANN)的结构依赖性高的问题。柔性神经树模型不仅能够避免复杂的计算和电路连接,还具有较高的实时识别率和较低的方均根误差(Root Mean Square Error,RMSE)。实验针对六名参与者的六种手势进行测试,结果表明该模型实时识别率较高,实际应用也证明该算法可行。