Kinect与Unity3D数据整合技术在体感游戏中的应用研究

通过分析Kinect与Unity3D数据整合关键技术,从WPF与Unity 3D内部调用方式展开系统设计。设计分为Unity3D场景展示模块、Unity3D的接口模块和Kinect的数据获取三模块。其中Unity3D接口模块实现了的场景设置,骨骼绑定、镜像运动、近景模式、平滑处理功能;Kinect数据获取模块通过代码实现设备控制、骨骼绑定算法、设备图像获取。测试证明,通过C#对非托管的dll的管理方式,导入Kinect硬件的驱动程序,调用自定义的数据结构和算法,实现在unity 3D场景中,使用Kinect体感镜头控制场景中的人物模型运动,提高了体感游戏的开发效率,在体感游戏的开发和应用中有一定的社会推广价值。     

从一部体感游戏开始,把家变作你的娱乐场

2010年11月4日,微软发布了针对Xbox360平台的交互式游戏体感设备Kinect。Kinect让玩家不需要手持或脚踩游戏控制装置,通过语音指令或手势即可操作Xbox360。Kinect可以捕捉玩家的动作,让玩家充分利用身体来参与游戏,尤其是给运动类游戏带来了全新的娱乐体验。既然能用语音和动作实现控制,Kinect的运用就不会仅限于游戏娱乐,在语音控制,面部识别,运动捕捉等领域内都有很大的发     

基于Kinect与九轴传感器的篮球训练系统的应用研究

篮球运动中篮球技术动作的准确运用至关重要,因此对于运动员动作的捕捉与规范也具有重要的意义.人体动作捕捉系统是一种利用数字信息技术来检测人体在三维空间中运动信息的技术,目前已广泛运用于虚拟现实、体感游戏等多个领域,基于Kinect与九轴传感器的智能篮球训练系统,通过九轴传感器与Kinect进行人体动作的数据采集,利用卡尔曼滤波算法对数据进行校正,运用多种算法实现数据匹配与动作相似度分析,帮助使用者在任何场地都可以直观了解自身技术动作的情况,对动作进行规范性指导.     

基于体感技术的手势追踪与识别

体感技术使人们更直接的通过自己的肢体动作与电脑设备产生互动,减小了鼠标、键盘等传统输入设备带来的束缚。使用Kinect 体感设备,对体感关键技术及 Kalman滤波器算法进行了深入的研究,并在此基础上提出了一种基于骨骼坐标的手势识别算法。最后详细阐明了基于 Kinect 的手势追踪与识别系统的具体设计与实现方法。     

基于kinect三维骨骼节点的动作识别方法

近年来,基于人体动作识别的应用场景越来越广泛。为了更好的识别效果,提出了一种基于人体三维骨骼节点的动作识别方法。用Kinect等设备获取人体骨骼关节点三维数据信息,以人体臀部为原点重新建立人体坐标系;提取人体关键骨骼的数据信息,定义人体动作特征向量;根据动作表达式用行为树构造动作序列,实现识别。通过对5种定义的动作与其他算法做比较实验,表明提出的方法识别率较高,推广性较强。     

基于动作评价算法的体感舞蹈交互系统

广场舞是群众参与度极高的体育锻炼、娱乐社交的方式,针对广场舞活动的特点以及实际实施中存在的问题,研究分析并改进动作评价算法,对Kinect实时捕捉的人体骨骼动作序列进行评价,设计并集成一套基于Kinect的面向基层公共文化服务的广场舞体感交互应用系统。该技术充分发挥数字化体感交互体验的作用,用户在参与过程中能够充分调动身体主观能动性,为基层群众文化活动提供了新的活动方式以及极大的便利性。     

基于Kinect的体感虚拟鼠标研究与开发

利用微软Kinect体感设备进行骨骼数据采集,开发出一款利用手势动作控制计算机的体感虚拟鼠标软件。并在开发过程中设计并提出一种基于RGB-D信息的人体手势动作检测及识别方法来处理Kinect输出的彩色影像和深度影像。该方法分别利用DBSCAN与K-means聚类算法获取手势操作特征中的位置信息和方向信息来识别手势操作,实验结果证明了该方法的可行性。借助基于该方法开发的虚拟鼠标软件,用户只需要做出一些简单的手臂动作即可操作虚拟鼠标完成对计算机的控制。     

Kinect在家庭智能监控系统中的应用

阐述了体感设备Kinect及其关键技术在家庭智能监控系统中的应用。利用Kinect设备,可以将其人体骨骼跟踪、深度数据探测、脸部识别、音频采集和声源定位、红外彩色摄像头等功能整合到家庭智能监控系统中,使家庭智能监控系统更加有效、精准,在整体性能上比传统的家庭智能监控系统有明显的提高。     

基于Kinect的虚拟健身跑锻炼系统

健身跑是体育运动中最常用的锻炼方式,不恰当的跑步方式,不仅达不到理想的健身效果,而且很容易对身体特别是膝盖造成伤害。针对目前跑步系统缺乏科学指导和全程监测,本文提出了一个基于Kinect的虚拟健身跑锻炼系统。在动作识别方面,通过角度特征和关节点相对位置对Kinect采集的跑步动作信息进行降维,并分割出跑步动作元,利用动作元的曲线特征和分类模型匹配,进行跑步动作识别,同时对跑步姿态进行科学指导。在运动建模方面,分析用户心率和跑步强度的关系,构建用户的健身跑运动模型,并建立个性化科学跑步运动方案,使心率始终处在安全有效的心率区间内。实验结果表明,该系统具有较强的实用性和可行性,能够为用户进行安全、有效地健身跑锻炼提供科学的技术支持。     

基于Kinect传感器骨骼信息的人体动作识别

为研究人体骨骼结构、骨骼关节点位置信息以及人体动作所具有的骨骼角度特征,提出了一种基于深度传感器提取人体骨骼信息的动作识别方法.方法利用Kinect深度传感器,实时准确地捕获人体骨骼三维数据,并根据坐标系变换构建人体骨骼拓扑结构.然后提取人体动作所感兴趣的骨骼关节点,定义骨骼向量,并获取每段骨骼向量的方向余弦特征;最后通过多类支持向量机训练以及动作识别分类.实验结果表明,相比于传统基于轮廓特征的方法,改进方法对人体识别具有更高的识别准确率,鲁棒性强.     

基于Android系统的家庭体感娱乐平台

介绍一款基于Android系统的家庭游戏主机,使用嵌入式ARM硬件平台开发,是汇集运动健身、体感互动、网络资讯、数字信息服务、电子商务等功能于一身的家庭体感娱乐平台。硬件方面使用TI公司的OMAP3515处理器;软件方面设计了方便移植的平台软件SDK;操控方面使用基于2．4G的无线体感手柄;显示方面选择家庭电视机作为显示终端。     

融入神经网络的路径覆盖测试数据进化生成

利用遗传算法生成复杂软件的测试数据,是软件测试领域一个全新的研究方向.传统的基于遗传算法的测试数据生成技术,需要以每个测试数据作为输入运行被测程序,以获得个体的适应值,因此,需要消耗大量的运行时间.为了降低运行程序带来的时间消耗,提出一种基于神经网络的路径覆盖测试数据进化生成方法,主要思想是:首先,利用一定样本训练神经网络,以模拟个体的适应值;在利用遗传算法生成测试数据时,先利用训练好的神经网络粗略计算个体适应值;对适应值较好的优秀个体,再通过运行程序,获得精确的适应值.最后的实验结果表明,该方法可以有效降低运行程序产生的时间消耗,从而提高测试数据生成的效率.     

弱监督与少样本学习场景下视频行为识别综述

近年来各类人体行为识别算法利用大量标记数据进行训练,取得了良好的识别精度。但在实际应用中,数据的获取以及标注过程都是非常耗时耗力的,这限制了算法的实际落地。针对弱监督及少样本场景下的视频行为识别深度学习方法进行综述。首先,在弱监督情况下,分类总结了半监督行为识别方法和无监督领域自适应下的视频行为识别方法;然后,对少样本场景下的视频行为识别算法进行详细综述;接着,总结了当前相关的人体行为识别数据集,并在该数据集上对各相关视频行为识别算法性能进行分析比较;最后,进行概括总结,并展望人体行为识别的未来发展方向。     

基于人体骨架特征编码的健身动作识别方法

健身动作识别是智能健身系统的核心环节。为了提高健身动作识别算法的精度和速度,并减少健身动作中人体整体位移对识别结果的影响,提出了一种基于人体骨架特征编码的健身动作识别方法。该方法包括三个步骤：首先,构建精简的人体骨架模型,并利用人体姿态估计技术提取骨架模型中各关节点的坐标信息;其次,利用人体中心投影法提取动作特征区域以消除人体整体位移对动作识别的影响;最后,将特征区域编码作为特征向量并输入多分类器进行动作识别,同时通过优化特征向量长度使识别率和速度达到最优。实验结果表明,本方法在包含28种动作的自建健身数据集上的动作识别率为97.24%,证明该方法能够有效识别各类健身动作;在公开的KTH和Weizmann数据集上,所提方法的动作识别率分别为91.67%和90%,优于其他同类型方法。     

基于改进人工神经网络的人体姿态识别方法在人机交互医疗设备中的应用

为提升人机交互医疗设备对久坐不动、常年卧床等状态下人体的监测效果,在利用无线体域网(Wireless Body Area Network, WBAN)建立人体姿态识别系统的基础上,设计了相应的改进人工神经网络与WBAN系统进行融合,并将其应用于人机交互医疗设备中。结果表明,在HiEve数据集中,该方法于20次迭代时开始收敛,损失函数值为0.0112。在患者不同姿势的识别验证中,该方法下的人机交互医疗设备识别准确率均显著高于90%,并且耗时最短仅为23.16s,具有较高的识别准确率和效率,为人体姿态识别及相关医疗设备的应用提供了更为可靠的技术参考。     

自适应骨骼中心的人体行为识别算法

目的 基于3维骨架的行为识别研究在计算机视觉领域一直是非常活跃的主题,在监控、视频游戏、机器人、人机交互、医疗保健等领域已取得了非常多的成果。现今的行为识别算法大多选择固定关节点作为坐标中心,导致动作识别率较低,为解决动作行为识别中识别精度低的问题,提出一种自适应骨骼中心的人体行为识别的算法。方法 该算法首先从骨骼数据集中获取三维骨架序列,并对其进行预处理,得到动作的原始坐标矩阵;再根据原始坐标矩阵提取特征,依据特征值的变化自适应地选择坐标中心,重新对原始坐标矩阵进行归一化;最后通过动态时间规划方法对动作坐标矩阵进行降噪处理,借助傅里叶时间金字塔表示的方法减少动作坐标矩阵时间错位和噪声问题,再使用支持向量机对动作坐标矩阵进行分类。论文使用国际上通用的数据集UTKinect-Action和MSRAction3D对算法进行验证。结果 结果表明,在UTKinect-Action数据集上,该算法的行为识别率比HO3D J2算法高4.28%,比CRF算法高3.48%。在MSRAction3D数据集上,该算法比HOJ3D算法高9.57%,比Profile HMM算法高2.07%,比Eigenjoints算法高6.17%。结论 本文针对现今行为识别算法的识别率低问题,探究出问题的原因是采用了固定关节坐标中心,提出了自适应骨骼中心的行为识别算法。经仿真验证,该算法能有效提高人体行为识别的精度。     

Human action recognition based on skeleton splitting

Human action recognition, defined as the understanding of the human basic actions from video streams, has a long history in the area of computer vision and pattern recognition because it can be used for various applications. We propose a novel human action recognition methodology by extracting the human skeletal features and separating them into several human body parts such as face, torso, and limbs to efficiently visualize and analyze the motion of human body parts.Our proposed human action recognition system consists of two steps: (i) automatic skeletal feature extraction and splitting by measuring the similarity between neighbor pixels in the space of diffusion tensor fields, and (ii) human action recognition by using multiple kernel based Support Vector Machine. Experimental results on a set of test database show that our proposed method is very efficient and effective to recognize the actions using few parameters.     

个性化定制的虚拟健身系统设计与实现

目的 传统虚拟健身系统存在着沉浸性、可玩性方面的问题,并且缺少对用户的健身指导。提出一种能够改善健身娱乐性、有效性和指导能力的3维虚拟健身系统设计方法。方法 以自然交互界面、个性化深度定制策略和互反馈控制模型理论为基础,加强人与计算机之间的自然语义转换,增加用户对系统的设计控制能力,实时感知用户身体情况并引导用户进行科学健身。另外,依据此框架实现了一套采用健身自行车、Kinect体感摄像头、心率传感器等设备的健身系统。结果 本文提出了一种新的健身系统设计方法,并进行了实现。通过问卷调查,大部分测试者对本文所实现的系统总体评价比较满意并较认可系统新颖性。系统实验结果显示,本文健身系统设计方法对于改善个人健身的娱乐性和有效性有着良好的效果,并具有良好的通用性。结论 通过对测试者的反馈统计表明,系统在交互性和指导能力方面表现出色。     

基于DSP的虹膜识别系统的设计与实现

设计一种简单实用的虹膜采集装置,搭建以TMS320DM642为核心的虹膜识别系统。验证虹膜识别算法运行平台的变更不影响虹膜的识别率。本文在硬件上应用DSP/BIOS内核,软件上采用多任务调度的工作模式,并且在算法上减小虹膜的应用区域,有效地提高系统的运行效率。     

航天员虚拟交互操作训练多体感融合驱动方法研究

针对航天员虚拟训练中的人机自然交互问题,基于体态/手势识别和人体运动特性, 提出一种多通道数据融合的虚拟驱动与交互方法。结合Kinect 设备能够完整识别人体姿态特点 及LeapMotion 设备能精确识别手势姿态的优势,提出了基于判断的数据传递方法,在人体关节 识别的基础上对手部关节进行识别与数据处理计算,采用多通道体感识别融合方法将二者结合, 并进行了实验。结果表明,通过采用LeapMotion 和Kinect 对手部识别的判别,当手势在 LeapMotion 识别范围内,能够在实现人体体感识别的基础上增加较为精确的手势识别。此方法 成功实现了人体姿态识别和手势精确识别的结合,可应用于航天员虚拟训练中的人机自然交互 中去。