复杂背景下基于空间分布特征的手势识别算法

为实现复杂背景下的手势识别,根据手势图像的区域形状特征提出一种基于手势空间分布特征的手势识别算法.利用复杂背景下基于亮度高斯模型的手势分割算法分割出肤色区域,利用"搜索窗口"筛选当前肤色区域实现手势定位,并提取包括空间相对密度特征和指节相对间距特征的手势空间分布特征,最后综合手势的2个手势特征向量计算总的相似性来识别手势.通过引入随机采样机制提高识别速度,并引入搜索窗口机制实现肤色干扰时的手势识别.实验结果表明,在环境光照相对稳定的条件下,文中算法能够实现鲁棒的实时手势识别,且具有很好的旋转、平移、缩放不变性,对于差异较大的手势识别率高达98%.     

基于手势识别的人机交互算法研究

随着人机交互技术的日益成熟,人机交互技术中的手势识别已成为计算机视觉领域的一个重要课题,而手势交互是人机交互中的一种重要方式。手势识别技术日益受到社会各界的广泛关注。虽然手势识别技术应用广泛,但是存在诸多困难与挑战,尤其是动态手势识别。动态手势的挑战主要来自不可预测的环境和手势识别特性,例如光照变化、与手势特征近似的背景区域干扰、目标遮挡等。基于此,研究了一种基于手势识别算法的人机交互系统。手势识别算法包括图像采集、二值化处理、质心计算、数据筛选和方向量化。     

基于肤色检测与卷积神经网络的手势识别

针对光照变化、背景噪声等复杂环境对手势识别的影响,提出了一种基于YCb Cr空间肤色分割去除背景结合卷积神经网络进行手势识别方法。首先根据人体肤色在YCb Cr颜色空间中的聚类效果,采用基于椭圆模型的肤色检测方法进行手势分割;然后对分割后的手势图像提取骨架与边缘相融合的手势特征图;再通过深层次的Alex Net卷积神经网络结构,对经过融合的手势特征图进行识别。实验结果表明,针对复杂的背景环境,该算法具有较强的鲁棒性,在不同数据集下对手势的平均识别率提升了4%,可以达到99.93%。     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

复杂背景下基于傅立叶描述子的手势识别

人的手势是人们日常生活中最广泛使用的一种交流方式。由于在人机交互界面和虚拟现实环境中的应用,手势识别的研究受到了越来越广泛的关注。但是目前基于单目视觉的手势识别技术中,手势分割要求背景简单或者要求识别者戴着笨重的数据手套。而该文结合了运动信息和基于KL变换的肤色模型,在复杂背景下进行手势分割,与传统的基于RGB肤色模型的手势分割相比,在复杂背景环境下得到了很好的分割效果。在对分割的手势区域进行预处理后,该文使用了一种归一化的傅立叶描述子进行手势的特征提取,相比传统的傅立叶描述子更加准确,最后采用了传统的三层BP网络作为模式识别器,手势训练集和测试集的识别率分别达到了95．9％和95％。     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于表观特征分析的手势识别及其应用

针对复杂背景下的手势识别容易受到环境干扰造成的识别困难问题,通过分析手势的表观特征,提出并实现了一种可用于自然人机交互的手势识别算法。该算法基于Kinect深度图像实现手势区域分割,然后提取手势手指弧度、指间弧度、手指数目等具有旋转缩放不变性的表观特征,运用最小距离法实现快速分类。并将该算法成功运用于实验室三指灵巧手平台,达到了理想的控制效果。实验表明该算法具有良好的鲁棒性,针对九种常用手势,平均识别率达到94.3%。     

连续动态手势的时空表观建模及识别

论述了复杂背景下连接动态手势的分割、建模及识别;融合手势运动信息和皮肤颜色信息,进行复杂背景下的手势分割;通过结合手势的时序信息、运动表观以及形状表观,提出动态手势的时空表观模型,并提出基于颜色、运动以及形状等多模式信息的分层次融合策略抽取时空表观模型的参数,最后,提出动态时空规整算法用于手势识别,实验表明,利用上述提出的手势分割、建模、特征参数抽取及识别方法识别１２种手势,平均识别率高达９７％。     

复杂背景下基于深度学习的手势识别

在人机交互领域,针对复杂背景下手势识别率低、算法鲁棒性差的问题,基于深度学习提出一种手势识别算法HGDR-Net(hand gesture detection and recognition network).该算法由手势检测和识别2部分构成.在手势检测阶段,为解决复杂背景下手势区域提取困难的问题,基于改进的YOLO(you only look once)算法进行手势检测.改进的YOLO算法结合了手势检测的特点,解决了原始YOLO对小物体检测效果差、定位准确度不高的问题.在识别阶段,利用卷积神经网络(CNN)进行识别,并针对手势区域的尺寸多样性引入了空间金字塔池化(SPP)来解决CNN的多尺度输入问题.最后在训练过程中联合线下和实时2种数据增强方法避免过拟合问题,提升HGDR-Net的泛化能力.在NUS-II和Marcel两个复杂背景的公共数据集上进行了验证实验,识别率分别达到98.65%和99.59%.结果表明本文算法能准确地从各种复杂背景中识别手势,相比于基于人工提取特征的传统算法和其他基于CNN的算法具有更高的识别准确率和更强的鲁棒性.     

基于深度信息的实时手势识别和虚拟书写系统

鉴于无接触体感交互技术在人机交互领域的成功应用,提出了一种基于Kinect深度相机的实时隔空虚拟书写方法。结合颜色和深度数据检测和分割出手掌区域;进一步,通过修改的圆扫描转换算法获得手指的个数,以识别不同的手势指令;根据指尖检测从指尖的运动轨迹分割出独立的字符或汉字运动轨迹,并采用随机森林算法识别该字符或汉字。这种基于深度信息的手势检测和虚拟书写方法可以克服光照和肤色重叠的影响,可靠实时地检测和识别手势和隔空书写的文字,其识别率达到93.25%,识别速度达到25 frame/s。     

基于DTW算法的肌电信号手势识别方法

为了提高肌电信号手势识别算法的准确度,增强实时性,提出了一种基于动态时间规整（DTW）算法的手势识别方法,该方法利用肌电信号（EMG）对个体间的手势进行识别。首先,采用滑动平均能量的方法对原始的EMG信号进行数据分割,探测有效动作;其次,对于分割的数据段使用平均绝对值（MAV）来提取信号特征;最后,用DTW算法将8维的EMG信号融合并计算测试样本和模版的相似度,其中采用了DTW算法寻找规整路径的方法进行了模板制作,实现了个体间的手势识别。实验结果表明,使用DTW算法对肌电信号进行手势识别,其动作识别的准确率达到96.09%,该方法计算速度快,实时性强。     

基于手势识别的人机交互技术

文章将现有人机交互方法与基于计算机视觉交互方法进行了对比,列举了该交互技术的优点及可行性,并提出了一种利用摄像头采集手势进行人机界面交互的方法,研究了并进一步实现了基于图像的手势分析、识别等关键技术.通过一系列实验结果表明,基于文中技术实现的一套系统能够实时地跟踪手的运动,并识别出手势结果,实现实时的人机手势交互.     

基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

基于深度神经网络的sEMG手势识别研究

为了提高表面肌电信号（sEMG）手势识别算法的准确性,并解决人为提取大量特征具有局限性的问题,提出了一种基于深度神经网络的手势识别方法。将MYO臂环采集到的8通道sEMG数据,采用活动段分割的方法探测到有效动作;设计出一种融合卷积神经网络（CNN）和长短时记忆（LSTM）网络的神经网络;实验的结果表明手势识别准确率为91.6%,验证了提出的方案高效可行。     

Feature fusion for 3D hand gesture recognition by learning a shared hidden space

Hand gesture recognition has been intensively applied in various human-computer interaction (HCI) systems. Different hand gesture recognition methods were developed based on particular features, e.g., gesture trajectories and acceleration signals. However, it has been noticed that the limitation of either features can lead to flaws of a HCI system. In this paper, to overcome the limitations but combine the merits of both features, we propose a novel feature fusion approach for 3D hand gesture recognition. In our approach, gesture trajectories are represented by the intersection numbers with randomly generated line segments on their 2D principal planes, acceleration signals are represented by the coefficients of discrete cosine transformation (DCT). Then, a hidden space shared by the two features is learned by using penalized maximum likelihood estimation (MLE). An iterative algorithm, composed of two steps per iteration, is derived to for this penalized MLE, in which the first step is to solve a standard least square problem and the second step is to solve a Sylvester equation. We tested our hand gesture recognition approach on different hand gesture sets. Results confirm the effectiveness of the feature fusion method.     

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。     

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。     

基于视觉技术的手势跟踪与动作识别算法

对工业生产线上规程化操作动作进行手势跟踪与动作识别研究。首先选取YCbCr颜色模型进行手部区域识别,获得完整手部区域;然后利用Euclidean距离变换计算相邻2个手部运动轨迹点之间的距离和各帧图像的手部运动速度;再利用扩展有限状态机模型实现手部运动的分割,将分割的多个动作与建立的动作模板匹配,利用Hausdorff距离匹配法判断匹配结果的准确性,实现手部动作的识别。实验结果表明：该手部动作识别算法对背景干扰和摄像头轻微震动具有一定的抗噪能力,有较高的动作识别正确率,能够满足现实工作环境下的应用需求。     

基于视觉的动态手势识别概述

基于计算机视觉的动态手势识别是最直观、最自然的人机交互方式之一。简单回顾了手势识别技术的发展历程;从手势检测和分割、手势跟踪、特征提取和识别算法四个方面对动态手势进行阐述,梳理并归纳了几种代表性的算法,详细探讨了各算法的优缺点;介绍了动态手势识别的应用领域,并展望了今后的发展趋势。