基于Kinect的动态孤立手势识别研究北大核心CSCD

当前方法对动态孤立手势的识别,过程复杂、成本高,动态手势的移动轨迹易受到外界环境的干扰、识别准确率低.提出了基于Kinect的动态孤立手势识别方法,利用Kinect传感器获取动态手势信息,对人体手部进行实时、准确的定位跟踪,并对手部图像进行平滑去噪处理,提取动态手势轨迹的特征;引入隐马尔可夫模型(HMM)对动态孤立手势及手部运动轨迹的样本集进行有效训练,最终实现动态孤立手势的精确识别.实验证明提出的方法在噪声干扰和光线缺失的环境下,对动态孤立手势仍具有较高的识别率,鲁棒性强.     

基于HMM的手势轨迹识别方法及应用

结合基于深度图像的手势分割不易受光照、背景变化等诸多因素影响的特点,提出一种基于隐马尔可夫模型(HMM)的动态手势轨迹识别方法.首先采用Kinect传感器获取手势的运动轨迹,利用模板匹配定标起始点,速度变化确定结束点,然后对轨迹进行高斯滤波预处理操作,再对手势轨迹进行方向角的特征提取,最后利用多观察值序列的Baum-Welch算法对HMM进行轨迹样本的训练,并用Viterbi算法求取最大概率序列的方法来实现轨迹识别.实验表明,该方法的实时性高、鲁棒性强,并成功运用到电视的遥控模块中.     

手势识别技术研究

手势识别是从语义上解释人类手势含义的技术。这项技术发展至今,经历了从传统模式识别技术到深度学习方法的转变。本文对其技术的发展过程进行了梳理并展现出来。通过对技术的分析总结,探索今后的发展方向。     

一种基于SDTS的HMM训练算法

用传统的BW算法训练语音识别系统的HMM需要大量的语音数据。本文在假设声学模型系统的子空间捆绑结构(SDTS)为己知的前提下,提出了一种新的训练算法,可以有效地减少系统对训练数据的需求。理论分析和仿真表明,与传统的BW算法比较,新的训练算法(IBW)可压缩模型参数15倍,从而可大量地减少训练数据。尽管新算法要用到系统的先验知识,但它还是显示了许多优越性。     

基于时空特征的动态手势识别方法研究

手势识别研究一直是计算机视觉研究领域的研究热点.针对手势识别过程中易受光照变化、复杂环境影响导致识别率低的问题,提出一种基于手势动作坐标点的识别方法.该方法使用OpenPose提取手部关节坐标点,利用置信度概念选取手势关键帧,使用XGBoost算法进行分类识别.实验部分分别使用静态手势数据集Microsoft Kine...     

基于双手手势融合交互系统的方法设计

针对传统手势识别导致准确率、空间、计算复杂度无法满足要求等问题,提出了双手手势融合的交互方法.该方法提取角度传感器的加速度信号和角速度信号,使用卡尔曼滤波算法优化加速度值和角速度值,通过三维编码算法转化为实际双手手势运动序列,并将其发送至终端进行匹配和处理,加载PC机终端模拟驾驶软件,实现人机交互.实验结果表明,该方法...     

一种基于改进DTW算法的动态手势识别方法

结合Kinect传感器提出了一种基于改进的DTW算法的动态手势识别方法。首先,通过SDK对Kinect传感器获得的深度信息进行分析,获得人体骨骼点3D位置,选取其中4个点作为手部运动特征;然后,用加权距离和全局路径限制的方法对传统的DTW算法进行改进;最后,用改进的DTW算法进行模板训练和实现动态手势的识别。实验表明：该方法能很好地实现动态手势的识别,实时性好,在背景干扰和光照方面有较强的鲁棒性,较传统的DTW算法在识别速度和识别正确率方面有所提高。     

基于动态参数HMM的水声信号线谱轨迹提取方法

针对传统隐马尔可夫模型(HMM)方法提取时变线谱与多线谱的能力较弱以及动态规划过程计算量过大的问题,该文提出一种基于动态参数的1维隐马尔可夫模型(1D-HMM)的方法用于水声信号低频分析与记录(LOFAR)图中的线谱轨迹提取。该方法将时变频率状态建模为1阶马尔可夫过程,利用Viterbi算法循环提取多条线谱轨迹。在动态规划的迭代过程中,通过实时计算序列的1阶导数动态调整HMM中的状态转移概率矩阵,提升了对线谱轨迹的提取能力和多线谱的分辨能力;设计了一种基于动态滑动窗口的功率谱累积方法估计线谱的生灭,剔除虚假的线谱轨迹并判断线谱轨迹提取的结束。同时,该方法在实现过程中设计了对LOFAR图数据的块处理策略,大大减少了计算量。仿真和实际数据的处理结果表明,该方法在低信噪比条件下能够有效地检测和跟踪复杂时变频谱的频率状态,并有较好运行效率,为声呐设备的弱信号检测提供了良好的技术支持。     

基于Kinect传感器的家电手势控制应用研究

为提高智能家电的人机交互性,研究实现了一种基于Kinect传感器的手势识别系统,用户通过该系统可手势控制电视的多种操作功能。对常见的三种动态手势识别算法进行分析对比后,结合应用需求,重点研究了动态手势识别DTW算法。基于Kinect for windows SDK获取的手势深度图像和骨骼图像数据,采用DTW算法进行识别,最后给出了程序实现。实验表明,该方法可实现多种电视控制功能,而且具有较好的实时性和准确性。     

基于加权DTW手势识别方法的研究与实现

基于Kinect技术的手势识别是人机交互方面的一个重点,在DTW算法的基础上提出加权DTW手势识别算法,给出一个参数模型,根据手势关节点对手势的相关性来给关节点设置权重,选取合适的模型参数β来最大化类间差距与类内差异之间的比,通过比较加权后的DTW代价函数找出最匹配的模板手势。根据提出的加权DTW手势识别算法开发一个智能家居手势识别系统,系统识别用户输入手势并通过蓝牙发送相应操作命令来控制智能家居设备。评价使用DTW算法,基于隐马尔科夫模型(HMM)的手势识别算法和加权DTW算法手势识别的效果,得出加权DTW算法有更高的手势识别正确率。     

基于红外传感器和隐马尔可夫模型的动态手势识别

非接触式手势控制交互识别作为一种人机交互的新型技术,摆脱了传统的人机设备限制,更符合人际交流习惯。从其实现原理来看,非接触式手势控制交互识别有多种实现,有基于摄像头的识别,也有基于体感遥控的手势识别。本文采用了基于红外传感器的动态手势识别,其基本实现原理是利用四个定向二极管来感知反射的红外线能量,然后将该数据转换为四个方向的距离信息。对于如何从距离信息识别手势,一般多采用动态时间规整、人工神经网络以及隐马尔可夫模型(HMM, Hidden Markov Model)等模式匹配算法。HMM是一种随时间变化的信号模型,具有自动分割和分类能力,适合进行动态手势识别。本文通过HMM对传感器输出的四个方向距离信息进行训练识别,经过多次试验及调整,使得对于5种手势的识别率平均都达到了75%以上,并且随着手势训练数据的增加,识别率会随之提高。     

结合手势二进制编码和类-Hausdorff距离的手势识别

针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于：提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.     

基于3D体感技术的动态手势识别

提出了一种基于3D体感机Kinect的图像处理手势识别算法,通过深度图像和骨骼图像的方法实现动态手势识别。首先在Kinect提供的骨骼图像中20个骨点中,选取2个离手部最近的骨骼点,通过追踪这两个骨骼点的位置来实现对手部的追踪,再通过判断手部的深度（即其相对于摄像头的距离）的变化来实现动态手势识别。     

基于骨架运算的动态手势定位及识别算法

为满足在不同背景条件下用户的手势识别需求,提出了一种对于动态手势定位及识别的算法。在摄像头固定、目标移动的前提下,采用ViBe算法对背景建模后结合肤色检测,对手势目标区域进行检测。文中提出了掌心的定位方法,算法利用形态学骨架运算提取图像特征,为解决用户不同衣着和动作造成判断区域的多样性和不确定性,进行有效区域选取后定位掌心坐标,根据掌心坐标通过似圆度和掌心极坐标进行手势定位和识别。实验结果证明,所提算法能够在复杂背景下准确地对手掌高于手肘的手势判断出掌心点,分割出手掌并进行手势识别,该算法同时拥有较好的鲁棒性和实时性。     

基于图像的手势识别技术的专利分析

随着图形交互界面技术的发展,手势识别技术的研究日益受到重视,成为界面输入技术的研究热点,但是识别率和易操作性仍是制约手势识别技术发展的重要因素之一.针对基于图像的手势识别技术,分析了该领域历年专利申请数量及专利产出国的分布情况,并对该领域的热点技术手势分割和手势匹配进行了分析,希望对该领域研究者有所帮助.     

基于HMM的嵌入式人脸识别系统研究

系统选用S3C2410A处理器作为硬件平台,Linux操作系统作为软件平台,采用OV7640+OV511的结构实现图像信息采集,使用基于V4L的方法编写图像处理、检测和识别程序,实现了快速、准确识别人脸的功能;并对相关浮点算法进行了改进,极大地提高了ARM处理器上图像预处理的速度。采用基于隐马尔可夫模型(HMM)的方法,简化了人脸检测和识别的过程。     

多尺度时空特征融合的动态手势识别网络

由于动态手势数据具有时间复杂性以及空间复杂性,传统的机器学习算法难以提取准确的手势特征;现有的动态手势识别算法网络设计复杂、参数量大、手势特征提取不充分。为解决以上问题,该文提出一种基于卷积视觉自注意力模型(CvT)的多尺度时空特征融合网络。首先,将图片分类领域的CvT网络引入动态手势分类领域,用于提取单张手势图片的空间特征,将不同空间尺度的浅层特征与深层特征融合。其次,设计一种多时间尺度聚合模块,提取动态手势的时空特征,将CvT网络与多时间尺度聚合模块结合,抑制无效特征。最后为了弥补CvT网络中dropout层的不足,将R-Drop模型应用于多尺度时空特征融合网络。在Jester数据集上进行实验验证,与多种基于深度学习的动态手势识别方法进行对比,实验结果表明,该文方法在识别率上优于现有动态手势识别方法,在动态手势数据集Jester上识别率达到92.26%。     

基于多目标Camshift手势识别

基于单目视觉下的手势识别技术一般由手势建模、特征提取、手势匹配等几个关键技术构成。手势跟踪算法目前主流的是粒子滤波算法和Camshift算法。系统采用Camshift算法,将人手图像由RGB空间转换到HSV空间后,在HSV空间利用半自动预定义模板颜色对人手进行分割,并对其进行改进实现多目标跟踪,由于Camshift算法为半自动算法,在对手势进行跟踪前需对手势进行手动标定,系统采用了手势跟踪与手势识别技术结合的方法,改进了Camshift算法,解决了Camshift的半自动问题和实现多目标跟踪,实现双手的手势识别。     

基于触摸显示屏的人机交互手势分析

针对触摸显示屏的操作特点提出了一种基于元动作的触摸手势分类和表示方法,根据人机交互要求定义了一套笔画触摸手势,提出了基于RBF神经网络的笔画触摸手势训练和识别方法。测试结果表明,所提出的方法能够快速、准确地对触摸手势进行训练和识别,可以为带触摸屏的设备提供一个更加自然、直观的人机交互手段。