基于Kinect深度信息的手势提取与识别研究

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种使用深度信息进行手势提取和识别的研究方案。采用了微软Kinect摄像头进行手势深度图的采集,再将深度图转换为三维点云,根据深度信息过滤来提取手势数据。对手势数据进行方向校正后统计手势数据中深度信息的区间分布特征并输入到支持向量机进行训练,从而实现了对数字手势1～5的手势识别。实验结果证明,该手势识别方案的平均识别率达到95%,使用设备简单且精度较高,鲁棒性较好。     

基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。     

Continues online exercise monitoring and assessment system with visual guidance feedback for stroke rehabilitation

Exercise therapy is a conventional intervention for stroke rehabilitation. Performance monitoring and feedback have shown to further improve the outcome of exercise therapy. This paper proposes a vision based system for monitoring exercise therapy which consists of 3 components: online exercise recognition, exercise performance analysis, and automatic visual feedback generation. The Microsoft Kinect was used for data acquisition. The exercise recognition component utilizes Kinect joints to continuously recognize and track the exercises. Upon completion of each exercise, joint flexibility and compensatory trunk motions are extracted for performance analysis. The visual feedback is a virtual skeleton augmented on top of the Kinect skeleton which displays the correct exercise path during execution. The Kinect skeleton and exercise definitions were applied to a motion hierarchy and animated using forward kinematics. Two additional experiments were also conducted to find accurate methods for calculating joint flexibility based on ROM measurement and trunk representation. Several datasets were created for system design and evaluation: 336 exercise sequences for exercise recognition, 25 records for ROM measurement, and 63 records for finding a suitable trunk representation method and compensatory motion detection. System evaluations showed that each component of the system is capable of producing outputs with significant accuracy.

     

Audio-visual speech recognition integrating 3D lip information obtained from the Kinect

Audio-visual speech recognition (AVSR) has shown impressive improvements over audio-only speech recognition in the presence of acoustic noise. However, the problems of region-of-interest detection and feature extraction may influence the recognition performance due to the visual speech information obtained typically from planar video data. In this paper, we deviate from the traditional visual speech information and propose an AVSR system integrating 3D lip information. The Microsoft Kinect multi-sensory device was adopted for data collection. The different feature extraction and selection algorithms were applied to planar images and 3D lip information, so as to fuse the planar images and 3D lip feature into the visual-3D lip joint feature. For automatic speech recognition (ASR), the fusion methods were investigated and the audio-visual speech information was integrated into a state-synchronous two stream Hidden Markov Model. The experimental results demonstrated that our AVSR system integrating 3D lip information improved the recognition performance of traditional ASR and AVSR system in acoustic noise environments.     

基于微软Kinect的体感控制智能窗帘系统

设计了一种基于微软Kinect的体感控制智能窗帘系统。采用微软Kinect v1传感器及其开发者工具包(SDK)和Microsoft Visual Studio集成开发环境作为核心开发工具,并和基于80c51单片机的步进电机控制系统组成体感控制智能窗帘系统。能够通过Kinect体感传感器对人体肢体动作识别并做判断,并将判断结果通过串口通讯传送至单片机控制步进电机系统,从而使得通过肢体动作控制窗帘系统的开启和关闭。本系统具有动作判断准确、易于针对特殊群体进行拓展开发、使用方便等优点,在智能家居、残疾人士辅助工具方面有较大应用价值。     

基于Kinect跑步机系统

研发了一种基于Kinect的跑步机系统,并提出了跑步系列动作识别算法. 该系统基于Unity游戏引擎、3DSMax、Maya、Photoshop建模和平面设计软件开发,运用微软Kinect体感设备和个人电脑获取人体跑步时各种动作的骨骼点数据,结合运动特征分析研发了基于骨骼绑定的跑步、挥手、跳跃、蹲下各种动作的识别算法,通过对人体动作的识别从而实现人机交互的跑步健身游戏娱乐运动. 实验数据表明基于骨骼绑定的动作识别算法的有效性,该跑步机系统硬件设备体积小,它通过人的肢体动作而不是鼠标键盘来操作跑步机软件,同时结合了跑步健身和游戏娱乐等功能,部分代替了传统跑步机的作用,具有很好的体感交互效果和实用价值,研究成果可以用于更多的人机互动应用领域.     

基于Kinect的手势特征提取的改进算法研究

在手语识别系统的应用背景下,基于微软的Kinect平台对使用者的手部主要特征进行提取。在算法CLTree和Integrating Boosting的基础上进行算法改进,提出新的算法DoubleMixing对提取的特征进行处理．得到一系列能够让计算机进行识别的手语手型特征信息,为后续的手语识别工作打下实验性的基础。     

Development of human-machine interface for teleoperation of a mobile manipulator

Human-robot control interfaces have received increased attention during the past decades for conveniently introducing robot into human daily life. In this paper, a novel Human-machine Interface (HMI) is developed, which contains two components. One is based on the surface electromyography (sEMG) signal, which is from the human upper limb, and the other is based on the Microsoft Kinect sensor. The proposed interface allows the user to control in real time a mobile humanoid robot arm in 3-D space, through upper limb motion estimation by sEMG recordings and Microsoft Kinect sensor. The effectiveness of the method is verified by experiments, including random arm motions in the 3-D space with variable hand speed profiles.     

传感器人体运动行为特征识别研究进展

人体运动行为特征识别在医疗健康、人机接口、体育竞技等诸多领域都有广泛应用。介绍了常见的用于运动数据采集的传感器和相应方法,简述了运动数据预处理的一般手段;介绍了运动数据特征提取的过程,重点描述了常见运动行为特征识别方法的研究现状,并简述其应用现状。最后,指出了目前运动行为特征识别中所面临的问题,并给出了未来的发展方向。     

基于深度数据的人体动作识别方法

本文提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。本文从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,本文利用Lapacian eigenmaps(LE)流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,本文用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。本文用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时本文也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文识别效果优于以往方法。实验结果表明本文所提的方法适用于基于深度图像序列的人体动作识别。     

人脸特征提取与识别技术研究

人脸识别是模式识别和人工智能领域的一个研究热点,近年来,特征提取与识别作为人脸识别系统的关键环节得到了更为广泛和深入的研究.本文首先简要回顾了人脸识别技术的研究背景及发展历程,对目前人脸特征提取与识别的主要方法进行了分类总结.通过对各种特征提取与识别方法的分析与比较,总结了当前存在的技术困难,并展望了今后的研究趋势.     

远距离人体步态识别算法

步态识别是一种新的生物特征识别技术,旨在根据人们走路的姿势进行身份识别。该文就远距离人体识别算法及步态识别所涉及的运动分割、特征提取、模式识别进行了研究,给出了实验图像,并比较和分析了基于模型的步态特征识别和基于人体行走的步态序列特征识别这2种方法。     

融合多模态数据的人体动作识别方法研究

基于多模态融合的人体动作识别技术被广泛研究与应用,其中基于特征级或决策级的融合是在单一级别阶段下进行的,无法将真正的语义信息从数据映射到分类器。提出一种多级多模态融合的人体动作识别方法,使其更适应实际的应用场景。在输入端将深度数据转换为深度运动投影图,并将惯性数据转换成信号图像,通过局部三值模式分别对深度运动图和信号图像进行处理,使每个输入模态进一步转化为多模态。将所有的模态通过卷积神经网络训练进行提取特征,并把提取到的特征通过判别相关分析进行特征级融合。利用判别相关分析最大限度地提高两个特征集中对应特征的相关性,同时消除每个特征集中不同类之间的特征相关性,将融合后的特征作为多类支持向量机的输入进行人体动作识别。在UTD-MHAD和UTD Kinect V2 MHAD两个多模态数据集上的实验结果表明,多级多模态融合框架在两个数据集上的识别精度分别达到99.8%和99.9%,具有较高的识别准确率。     

静态人脸识别技术探讨

人脸识别是人工智能领域的一个研究热点.本文简要介绍了静态人脸识别技术的研究背景及识别系统的构成,重点对目前人脸特征提取与识别的主要方法进行了分类总结.通过对各种方法的分析比较,总结了当前存在的技术困难,并展望了今后的研究趋势.     

基于Kinect 的人脸表情捕捉及动画模拟系统研究

三维人脸表情动画技术是一个具有巨大应用前景和研究意义的学科方向。在研究 现有表情捕捉和动画合成技术的基础上,提出了一种基于Microsoft Kinect 设备的人脸表情动画 系统。该系统首先利用Kinect 设备捕捉人脸并提取相关表情参数,同时利用Autodesk Maya 动 画软件建立对应的人脸三维模型,之后将模型导入到OGRE 动画引擎并把提取的表情参数传递 给OGRE,渲染生成实时人脸表情动画。实验结果表明该技术方案可行,实时表情动画效果达 到实际应用水平,相比于现有其他表情动画技术,系统采用通用的Kinect 设备,成本更大众化 且更容易进行操作。     

基于流形学习的人体动作识别

目的 提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。方法 从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,利用LE（Lalpacian eigenmaps）流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。结果 用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文方法识别效果优于以往方法。结论 实验结果表明本文方法适用于基于深度图像序列的人体动作识别。     

基于Tsfresh-RF特征提取的人体步态识别算法

惯性传感器(IMU)由于尺寸小、价格低、精度高以及信息实时性强等优点, 在人体运动信息的获取与控制等方面得到广泛应用, 但在步态识别的时间序列特征提取和步态环境数据等方面还存在着明显的局限. 本文针对人体下肢步态识别特征提取的复杂性及适用性差等问题, 提出基于Tsfresh-RF特征提取的人体步态识别新方法. 首先, 利用IMU获取的人体步态数据集, 构建基于Tsfresh时间序列特征提取和随机森林(RF)的人体步态识别算法模型. 其次, 采用该算法对人体不同传感器位置进行实验, 完成爬梯、行走、转弯等9种人体运动步态的识别. 最后, 实验结果表明所提方法平均分类准确率达到91.0％, 显著高于传统的支持向量机(SVM)与朴素贝叶斯(NB)等方法的识别结果. 此外, 本文所提基于Tsfresh-RF特征提取的人体步态识别算法具有很好的鲁棒性, 将为后续下肢外骨骼机器人的控制提供有利依据.     

基于深度学习框架的多模态动作识别

提出一种基于深度神经网络的多模态动作识别方法,根据不同模态信息的特性分别采用不同的深度神经网络,适应不同模态的视频信息,并将多种深度网络相结合,挖掘行为识别的多模态特征。主要考虑人体行为静态和动态2种模态信息,结合微软Kinect的多传感器摄像机获得传统视频信息的同时也能获取对应的深度骨骼点信息。对于静态信息采用卷积神经网络模型,对于动态信息采用递归循环神经网络模型。最后将2种模型提取的特征相融合进行动作识别和分类。在MSR 3D的行为数据库上实验结果表明,本文的方法对动作识别具有良好的分类效果。     

Research on gesture recognition of smart data fusion features in the IoT

With the rapid development of Internet of things technology, the interaction between people and things has become increasingly frequent. Using simple gestures instead of complex operations to interact with the machine, the fusion of smart data feature information and so on has gradually become a research hotspot. Considering that the depth image of the Kinect sensor lacks color information and is susceptible to depth thresholds, this paper proposes a gesture segmentation method based on the fusion of color information and depth information; in order to ensure the complete information of the segmentation image, a gesture feature extraction method based on Hu invariant moment and HOG feature fusion is proposed; and by determining the optimal weight parameters, the global and local features are effectively fused. Finally, the SVM classifier is used to classify and identify gestures. The experimental results show that the proposed fusion features method has a higher gesture recognition rate and better robustness than the traditional method.

     

基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。