基于Kinect的空中手势跟踪识别的研究与实现

本文以肢体语言中的手势为出发点,利用微软的Kinect体感设备,采集RGB彩色图像和深度图像,研究并提出一套手势跟踪识别的设计思路与实现方法。首先,利用Kinect所获取的色彩及深度信息,建立人体骨骼图从而更方便地定位手部位置并获取手部轮廓。其次,从HSI彩色空间对手部的深度图像进行二值化,并进行腐蚀、细化处理,去除手掌掌心部分。最后,通过对手指的计数定义相应操作。经实验测试,该系统具有对手势的识别功能,可以达到用空中手势动作进行人机交互的目的。     

一种基于改进DTW算法的动态手势识别方法

结合Kinect传感器提出了一种基于改进的DTW算法的动态手势识别方法。首先,通过SDK对Kinect传感器获得的深度信息进行分析,获得人体骨骼点3D位置,选取其中4个点作为手部运动特征;然后,用加权距离和全局路径限制的方法对传统的DTW算法进行改进;最后,用改进的DTW算法进行模板训练和实现动态手势的识别。实验表明：该方法能很好地实现动态手势的识别,实时性好,在背景干扰和光照方面有较强的鲁棒性,较传统的DTW算法在识别速度和识别正确率方面有所提高。     

仿真假体视觉下基于深度图像的手势识别研究

针对仿真假体视觉下彩色图像和深度图像对于手势识别的不同效果,研究使用Kinect获取彩色图像以及深度图像进行手势识别。通过Kinect提取的骨骼信息与提取的深度图像结合,将人体与背景图像分离,对OpenCV库分离后的图像进行降噪,并进行像素化处理。在不同分辨率(32×32,48×48,64×64)下进行彩色图像和深度图像的手势识别实验。实验结果表明,随着分辨率的增加,手势识别的准确率也不断增加。同一分辨率下,深度图像下的手势识别率总体高于彩色图像下的手势识别率,且在32×32分辨率下,二者差异显著。     

基于Kinect传感器的家电手势控制应用研究

为提高智能家电的人机交互性,研究实现了一种基于Kinect传感器的手势识别系统,用户通过该系统可手势控制电视的多种操作功能。对常见的三种动态手势识别算法进行分析对比后,结合应用需求,重点研究了动态手势识别DTW算法。基于Kinect for windows SDK获取的手势深度图像和骨骼图像数据,采用DTW算法进行识别,最后给出了程序实现。实验表明,该方法可实现多种电视控制功能,而且具有较好的实时性和准确性。     

基于Kinect传感器的近场手势识别追踪系统的实现

利用Kinect深度传感器所获取的图像深度信息实现手部从背景中的分割,并通过零均值离散高斯滤波、二值化、取最小外包矩形、欧式距离变换等一系列过程对手势目标进行识别,最后把得到的识别结果显示在电脑上,实现实时追踪。该系统相较其它类似系统具有算法简单,实时性好,实现成本低等特点。     

基于Kinect的动态孤立手势识别研究北大核心CSCD

当前方法对动态孤立手势的识别,过程复杂、成本高,动态手势的移动轨迹易受到外界环境的干扰、识别准确率低.提出了基于Kinect的动态孤立手势识别方法,利用Kinect传感器获取动态手势信息,对人体手部进行实时、准确的定位跟踪,并对手部图像进行平滑去噪处理,提取动态手势轨迹的特征;引入隐马尔可夫模型(HMM)对动态孤立手势及手部运动轨迹的样本集进行有效训练,最终实现动态孤立手势的精确识别.实验证明提出的方法在噪声干扰和光线缺失的环境下,对动态孤立手势仍具有较高的识别率,鲁棒性强.     

基于Kinect深度图像的指尖识别及手势判定

在基于微软Kinect体感设备开发的交互应用系统中,使用传统的鼠标、键盘等交互设备难以达到理想的效果。针对这种情况,提出一种基于指尖识别的手势判定方法。采用Kinect传感器获取图像的深度信息,通过OpenNI的内置模块获取手心的位置信息,使用最近邻法实现手部的分割并对手形进行提取;并采用射线求交法优化Graham Scan算法获取凸包点集合,利用轮廓分析法从凸包点中识别出指尖。在此基础上,结合指尖数目和面积比例实现对“抓取”手势的判定。实验结果表明,该方法能有效地识别抓取动作的手势,且具有良好的鲁棒性。     

基于手势识别技术的交互式虚拟摄影系统设计与实现

传统虚拟摄影系统使用手动式控制识别,无法实现短距离交互式非触感识别,为此设计基于手势识别技术的交互式虚拟摄影系统。使用Kinect深度图像模型对手势图像进行分割预处理,完成手势关键节点定位;使用Kinect属性传感器剥离环境条件以及手势表面噪音数据;以数据编程形式对手势特征进行提取并标记关键节点;计算定位延迟,实现交互式虚拟手势姿态定位。试验结果表明,设计的交互式虚拟摄影系统比传统虚拟摄影系统的Miuyg参数高出20%,说明设计的系统具备极高的有效性。     

基于深度摄像头的VR家庭影院手势交互

基于VR家庭影院的深度摄像头技术,提出了一种新颖的手势交互系统理论,实现了手势控制影院相关功能。创建一个综合的手势轮廓信息数据库以及对应的手部标记图,在这个数据库中通过随机森林算法分类,以此在深度轮廓信息中识别手部信息,最后在已识别出的手部信息基础上,通过手势交互生成控制命令。在真实手势上测试系统,从五个不同的对象上获得的平均识别率为98.0%。用户可以通过手势来控制VR家庭影院的菜单选择换台,调节音量等。     

基于Kinect的智能家居系统

针对传统基于物联网技术的智能家居系统用户参与感不强、无法进行自定义手势操控等问题,设计一套基于Kinect的智能家庭管理系统。通过深度传感器得到彩色数据流、深度数据流以及骨骼数据流,从而获取人体的动作轨迹,并自定义手势操控方式来实现家居的智能控制。由于深度数据对光照和背景干扰等因素有较强的鲁棒性,提高了手势及轨迹识别的准确性和可靠性。在明暗两种光照条件下,对该文定义的4种手臂姿势、3种动作任务和5种微小手势的识别实验表明,该文设计的系统能够满足智能家居的基本需求。     

基于多目标Camshift手势识别

基于单目视觉下的手势识别技术一般由手势建模、特征提取、手势匹配等几个关键技术构成。手势跟踪算法目前主流的是粒子滤波算法和Camshift算法。系统采用Camshift算法,将人手图像由RGB空间转换到HSV空间后,在HSV空间利用半自动预定义模板颜色对人手进行分割,并对其进行改进实现多目标跟踪,由于Camshift算法为半自动算法,在对手势进行跟踪前需对手势进行手动标定,系统采用了手势跟踪与手势识别技术结合的方法,改进了Camshift算法,解决了Camshift的半自动问题和实现多目标跟踪,实现双手的手势识别。     

结合手势二进制编码和类-Hausdorff距离的手势识别

针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于：提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.     

基于SIFT的边缘局部仿射的图像拼接算法

本文针对累计误差形成的多幅图像拼接产生畸变的问题,提出了一种基于边缘局部仿射的拼接算法,在拼接过程中逐步衰减仿射变换,使得图像在拼接过程中逐渐降低过仿射带来的畸变.同时为从视觉上分析图像拼接过程特征点的变化情况,本文还提出了一种基于特征点的骨架图算法,通过拼接后骨架图的图像来分析各种拼接算法.可以广泛应用于拼接算法的测试过程.     

On an algorithm for Vision-based hand gesture recognition

A vision-based static hand gesture recognition method which consists of preprocessing, feature extraction, feature selection and classification stages is presented in this work. The preprocessing stage involves image enhancement, segmentation, rotation and filtering. This work proposes an image rotation technique that makes segmented image rotation invariant and explores a combined feature set, using localized contour sequences and block-based features for better representation of static hand gesture. Genetic algorithm is used here to select optimized feature subset from the combined feature set. This work also proposes an improved version of radial basis function (RBF) neural network to classify hand gesture images using selected combined features. In the proposed RBF neural network, the centers are automatically selected using k-means algorithm and estimated weight matrix is recursively updated, utilizing least-mean-square algorithm for better recognition of hand gesture images. The comparative performances are tested on two indigenously developed databases of 24 American sign language hand alphabet.     

基于火焰图像红外动态特征的早期火灾识别算法

针对普通彩色图像对早期火灾高危点的有限检测能力,提出一套基于红外图像动态特征的早期火灾识别算法,该算法使用改进的梯度算子结合图像的动态特征来判断火焰。通过实验,该算法能够快速地识别火灾火焰和早期火灾高危点。算法结构清晰,效率较高,便于工程实现。     

电视机手势遥控系统设计

提出了一种基于手势识别的交互方式用于遥控电视机,系统利用CMOS图像传感器捕捉用户手势信息,结合采集到的人手运动轨迹和手势识别技术,与标准手势的样本信息进行比对,从而判断出与之对应的控制信号,最后通过红外发射器完成对电视机各项基本功能的调控,实现了自然友好的人机交互操作,该系统使人们摆脱了传统的遥控器,可用于数字娱乐、...     

基于ROI的高精度红外全景拼接算法研究

针对红外图像空间分辨率低、视场窄,导致图像配准率低、实时性差的问题,提出一种基于感兴趣区域(ROI)的高精度红外全景拼接算法。该算法首先根据两张相邻图像的近似位置关系,求取图像间的ROI;接着,在ROI窗口中提取尺度不变特征变换(SIFT)特征点并将其作为运动目标,结合KLT(Kanade-Lucas-Tomasi)实时跟踪算法确定待配准图像中特征点的位置信息并进行匹配;然后采用随机采样一致性(RANSAC)算法剔除误匹配点对;最后利用像素级融合法消除拼接痕迹,合成一幅分辨率稳定、视场宽的红外全景图像。经实验验证,该算法与传统SIFT算法相比,配准率提高了3.491%,运行时间约提高了50%,能够准确、有效地实现多帧红外图像的无缝拼接。     

骨架提取在IC晶片缺陷机器视觉识别中的研究

光刻工艺导致的IC晶片制造中缺陷种类多样,丢失物和冗余物缺陷是影响成品率下降的重要原因,其主要造成电路开路和短路.提出一种基于骨架特征的IC晶片丢失物和冗余物缺陷短路故障机器视觉识别方法,应用细化算法抽取图像骨架,提供了使用多余点及多余端枝删除原则和数学形态学处理算法两种方法得到单像素的优化骨架,采用邻域跟踪法实现电路开路和短路形式识别.