基于分类特征提取的手部动作识别方法的研究及应用

提出一种基于分类特征提取的手部动作识别方法,该方法通过自适应的混合高斯模型构建背景模型,使用背景减除法并充分利用人体手部肤色信息分割出人体手部区域,结合手部关节、骨骼特征及肤色信息估算手部关节点位置,构建三维手部骨架模型,然后提取手部各关节角度、位置信息并利用隐马尔柯夫(HMM)模型对其所表示的动作进行训练识别。     

机器人视觉交流中的手势识别仿真

手势识别问题,是人与机器人交互中的关键部分。机器人视觉交流中的手势识别,对动作的准确跟踪是识别的难点,主要因为,人在做动作时,与机器人的反应之间存在较为明显的滞后性,对动作的跟踪很难及时准确,造成对整体的图像跟踪存在滞后性,导致传统的分析手势识别方法无法面向快速变化的群体手势特征,也无法进行准确的识别,提出了一种基于手部肤色特征的CAMSHIFT手势识别算法,通过色度直方图模型划分手部皮肤像素和非皮肤像素,获取手部肤色模型,采用摇动检测方法定位人手,依据手部肤色模型对所获取的手部区域进行分割,得到手部区域的二值图,使用改进的CAMSHIFT算法对手势进行跟踪,通过模式识别的方法对群体人手特征进行识别。实验结果说明,所提方法针对群体中的手势进行准确的识别,识别率高于93%,具有较高的应用价值。     

基于方向直方图的手语识别方法研究

传统的手语识别方法基本都是利用离散的各帧静态图像进行识别,存在一定局限性,根据普通摄像头获得的视频图像,并采用方向直方图来获得单帧的静态特征矢量和各帧图像间的动态特征矢量.实现手语的识别.首先针对头两帧图像,通过手部边缘轮廓提取算法找到手的区域,然后从中提取出能表现手部形状的静态特征矢量.同时,对连续帧的图像做动作评估,获得手部移动的动态特征欠量.最后,将手部形状的静态特征与动态特征结合,采用使用欧氏距离作为矢量问匹配程度的度量算法以实现手语识别.实验对5个人的5种手语分别进行测试,均能正确识别,结果验证了该方法的有效性.     

一种基于肤色和模板匹配的人脸检测方法

提出了一种基于肤色分割和模板匹配相结合的人脸检测算法.首先利用rgb色彩空间下的人脸肤色模型,对人脸图像进行肤色分割;针对图像中存在的多个肤色区域连接在一起的问题,采用SUSAN算子提取区域的边界,将连接的肤色区域分开;根据肤色区域的形状特征和欧拉数筛选人脸候选区域;最后利用建立的人脸模板和一种改进的混合匹配准则,对候选人脸区域进行匹配识别.实验结果表明,该方法能较好地从复杂背景中检测出人脸.     

基于kinect的手指定位

为了实现更加自然的人机交互方式,利用微软的kinect体感设备提出一种实时手指定位方法。本方法首先利用ki-nect的关节点信息获取包含手部的区域,然后在此区域利用肤色颜色模型来提取出人的手部区域,并利用canny方法提取出手部的边缘信息,最后利用手部边缘曲线的曲率来判断手指的指尖。本方法能快速准确的定位手指位置,为进一步进行手指动作的识别做基础。     

基于kinect的手指定位

为了实现更加自然的人机交互方式,利用微软的kinect体感设备提出一种实时手指定位方法。本方法首先利用kinect的关节点信息获取包含手部的区域,然后在此区域利用肤色颜色模型来提取出人的手部区域,并利用canny方法提取出手部的边缘信息,最后利用手部边缘曲线的曲率来判断手指的指尖。本方法能快速准确的定位手指位置,为进一步进行手指动作的识别做基础。     

基于滑动窗口和动态规划的连续动作分割与识别

针对现有动作识别中对连续动作识别研究较少且单一算法对连续动作识别效果较差的问题，提出在单个动作建模的基础上，采用滑动窗口法和动态规划法结合，实现连续动作的分割与识别。首先，采用深度置信网络和隐马尔可夫结合的模型DBN-HMM对单个动作建模；其次，运用所训练动作模型的对数似然值和滑动窗口法对连续动作进行评分估计，实现初始分割点的检测；然后，采用动态规划对分割点位置进行优化并对单个动作进行识别。在公开动作数据库MSR Action3D上进行连续动作分割与识别测试，结果表明基于滑动窗口的动态规划能够优化分割点的选取，进而提高识别精度，能够用于连续动作识别。     

基于BS-HMM和巴式距离的手势识别技术研究

开发一个基于深度图像的手势识别系统,将巴氏距离(Bhattacharyya distance)引入到贝叶斯感知隐马尔科夫模型(BS-HMM)中,称为BDBS-HMM。使用深度摄像机Kinect捕获深度序列图,通过骨架信息对手部位置进行跟踪,识别手部区域,得到手部分割图;从分割图像中提取4D曲面法线方向分布(HON4D)特征和方向梯度直方图(HOG)特征表示运动模式;将每k个连续的特征向量组合成一个序列分布变换所有训练特征向量,使用分布序列来对BDBS-HMM进行训练。该系统在使用MSRGesture3D数据库和自己建立的数据库的情况下,将BDBS-HMM与标准HMM和BS-HMM进行比较,实验结果表明了该系统的优越性。     

基于纵向视差的铁路危树检测

侵入轨道区域的树木危害铁路运输安全,需要对入侵树木识别和检测。为判定树木与轨道的位置关系,提出基于纵向视差的危树检测方法。使用多个颜色对图像进行多尺度阈值分割,利用颜色特征和分形维数对树木区域进行识别,再通过前后两帧图像的区域匹配和移动计算树木区域与视平面中心的距离,对接触网支架进行检测和距离计算,优化对树木区域的距离估计。实验结果表明,基于纵向视差的检测计算效率和测量精度可以达到铁路危树实时检测的需要。     

基于多特征融合的动态手势识别

针对目前动态手势识别计算复杂度较高以及对实验器材有相应要求的问题,提出基于多特征融合的动态手势识别.使用OpenPose得到手部关键点信息,建立手势模型,将坐标信息利用手部的结构关系进行处理,得到手部的角度和长度特征.将角度特征序列和长度特征序列进行融合,利用阈值设定过滤序列中的奇异点,使用FastDTW算法计算待测动态手势与手势模板库中的序列距离,得到预测手势动作类别.实验表明,该方法计算复杂度较低,识别速度快,选取的四种手势动作的识别准确率均在90％以上,有较好的识别效果.     

面向人机交互的手势识别系统设计

在人机交互领域(Human-Computer Interaction,HCI)中,基于视觉的手势识别因其直观、高效的特点拥有广阔的应用前景。为了改善传统手势识别算法识别率低、鲁棒性差的缺点,基于OpenCV和Keras深度学习框架提出一种简单、快速的手势识别方法作为人机交互的接口。手势图像经过3个处理阶段:预处理、特征提取和分类。对输入图像进行预处理,使用YCbCr肤色模型提取出手部肤色区域,将其转化为灰度图像。使用卷积神经网络对手势图像进行特征提取和分类。实验结果表明:提出的手势识别方法识别率很高,达到99.43%,且具有较好的鲁棒性。与传统的人工选取特征相比,卷积神经网络能够有效地进行特征学习。     

复杂背景下基于傅立叶描述子的手势识别

人的手势是人们日常生活中最广泛使用的一种交流方式。由于在人机交互界面和虚拟现实环境中的应用,手势识别的研究受到了越来越广泛的关注。但是目前基于单目视觉的手势识别技术中,手势分割要求背景简单或者要求识别者戴着笨重的数据手套。而该文结合了运动信息和基于KL变换的肤色模型,在复杂背景下进行手势分割,与传统的基于RGB肤色模型的手势分割相比,在复杂背景环境下得到了很好的分割效果。在对分割的手势区域进行预处理后,该文使用了一种归一化的傅立叶描述子进行手势的特征提取,相比传统的傅立叶描述子更加准确,最后采用了传统的三层BP网络作为模式识别器,手势训练集和测试集的识别率分别达到了95．9％和95％。     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

Coupled grouping and matching for sign and gesture recognition

Matching an image sequence to a model is a core problem in gesture or sign recognition. In this paper, we consider such a matching problem, without requiring a perfect segmentation of the scene. Instead of requiring that low- and mid-level processes produce near-perfect segmentation, we take into account that such processes can only produce uncertain information and use an intermediate grouping module to generate multiple candidates. From the set of low-level image primitives, such as constant color region patches found in each image, a ranked set of salient, overlapping, groups of these primitives are formed, based on low-level cues such as region shape, proximity, or color. These groups corresponds to underlying object parts of interest, such as the hands. The sequence of these frame-wise group hypotheses are then matched to a model by casting it into a minimization problem. We show the coupling of these hypotheses with both non-statistical matching (match to sample-based modeling of signs) and statistical matching (match to HMM models) are possible. Our algorithm not only produces a matching score, but also selects the best group in each image frame, i.e. recognition and final segmentation of the scene are coupled. In addition, there is no need for tracking of features across sequences, which is known to be a hard task. We demonstrate our method using data from sign language recognition and gesture recognition, we compare our results with the ground truth hand groups, and achieved less than 5% performance loss for both two models. We also tested our algorithm on a sports video dataset that has moving background.     

基于特征空间切分建模的变形手势跟踪算法

为解决人机交互中手势形变和无规律运动带来的跟踪难题,提出了一种基于特征空间切分建模的非参数核密度估计算法来实现手势跟踪.首先,在检测模块中利用AdaBoost分类器检测图像中手势的存在,将检测到的手势位置信息传送给跟踪模块,该模块精确提取手势目标从而对其颜色建模.然后,利用目标的颜色模型对各帧图像进行后验概率密度估算,获取运动目标的概率密度图像,将其分解成手势运动区和同色干扰区.最后,对同色干扰区采用混合高斯建模来削弱同色目标的干扰.当目标丢失时启动再检测模块,并利用贝叶斯分类器与方差分类器实现手势目标重检.实验结果表明,该算法通过对特征空间切分建模以及不同分类器的级联解决了变形手势跟踪的同色干扰与再检测难题.该算法提高了跟踪的准确率（>81.5%）,适合于非刚性物体做无规则运动的复杂场景.     

基于改进RCE和RBF神经网络的静态手势识别

针对手势识别的手区域分割、手势特征提取和手势分类的三个过程,提出了一种新的静态手势识别方法。改进了传统的RCE神经网络用于手区域的分割,具有更高的运行速度和更强的抗噪能力。依Freeman链码方向提取手的边缘到掌心的距离作为手势的特征向量。将上一步得到的手势特征向量作为RBF神经网络的输入,进行网络的训练和分类。实验验证了该方法的有效性和可行性,并用其实现了人和仿人机器人的剪刀石头布的猜拳游戏。     

基于Hu-GLCM的手势识别方法研究

针对手势识别过程中单一手势特征对手势描述的不足,提出了一种基于改进Hu矩和灰度共生矩阵GLCM的手势识别方法 Hu-GLCM。首先利用肤色模型对采集的图像分割出手势区域;其次采用数学形态学和多边形拟合的方法提取手势的单连通轮廓,利用改进Hu-GLCM算法提取手势的几何形状特征和纹理特征并建立模板数据库;最后通过扩展的Canberra距离对手势图像进行识别和分类。实验结果表明,该改进算法对7种手势的平均识别率达到95%以上,且计算速度快,能够满足实时性的需求。     

基于手部关键点和肤色的手势识别

基于传统的手部轮廓特征提取不能应对飞行模拟环境下的脸部肤色、遮挡、光照影响,以及传统的傅里叶描述子特征容易受到背景、手的姿态变化,且对手势描述能力有限等问题,对传统的手部分割和特征提取方法改进.本文首先对采集的数据集进行肤色处理,然后结合调用的手部关键点模型检测出手部22个特征点,采用八向种子填充算法进行图像分割.接着...     

Rotation,Translation and Scale Invariant Sign Word Recognition Using Deep Learning

Communication between people with disabilities and people who do not understand sign language is a growing social need and can be a tedious task. One of the main functions of sign language is to communicate with each other through hand gestures. Recognition of hand gestures has become an important challenge for the recognition of sign language. There are many existing models that can produce a good accuracy, but if the model test with rotated or translated images, they may face some difficulties to make good performance accuracy. To resolve these challenges of hand gesture recognition, we proposed a Rotation, Translation and Scale-invariant sign word recognition system using a convolutional neural network (CNN). We have followed three steps in our work: rotated, translated and scaled (RTS) version dataset generation, gesture segmentation, and sign word classification. Firstly, we have enlarged a benchmark dataset of 20 sign words by making different amounts of Rotation, Translation and Scale of the original images to create the RTS version dataset. Then we have applied the gesture segmentation technique. The segmentation consists of three levels, i) Otsu Thresholding with YCbCr, ii) Morphological analysis: dilation through opening morphology and iii) Watershed algorithm. Finally, our designed CNN model has been trained to classify the hand gesture as well as the sign word. Our model has been evaluated using the twenty sign word dataset, five sign word dataset and the RTS version of these datasets. We achieved 99.30% accuracy from the twenty sign word dataset evaluation, 99.10% accuracy from the RTS version of the twenty sign word evolution, 100% accuracy from the five sign word dataset evaluation, and 98.00% accuracy from the RTS version five sign word dataset evolution. Furthermore, the influence of our model exists in competitive results with state-of-the-art methods in sign word recognition.     

图像识别的静态手势识别与动态跟踪系统设计

本文研究了图像手势识别和增强现实技术,设计了可以进行静态手势识别和动态跟踪的系统,通过提前录入不同手势,利用皮肤颜色对图像进行OSTU自适应阈值划分,建立二值化图像,与已知的手势进行匹配,以得到手势结果.实验结果表明,准确率达到96.8％,识别速度达到0.55 s.动态跟踪利用检测每帧图像中手部的位置进行定位和捕捉,图...