基于Kinect与Unity3D的增强现实应用的设计与实现

增强现实(Augmented Reality,AR)是虚拟现实技术的一个重要分支,它强调的是真实与虚拟的无缝融合。传统的增强现实应用普遍存在设备昂贵、技术繁杂等问题。利用Kinect实时获取人体彩色图像数据、深度图像数据与骨骼关节点数据的强大功能,在Unity3D中设计与实现了一个利用手势交互控制、实时抠图并自动拍照的增强现实应用。应用测试结果表明:该应用可以很好地实现手势交互控制操作,实时合成使用者和其所选择的虚拟背景图片。同时,结合AR游戏,可以让更多的人以较低的成本体验增强现实技术带来的乐趣,具有较好的现实意义与推广性。     

基于Kinect体感交互的多人在线虚拟实验系统

为了满足多人异地进行真实感虚拟实验的需求,使用Kinect体感设备和Unity 3D引擎搭建了一个多人在线虚拟实验系统。在该系统中,使用Unity 3D引擎搭建虚拟实验场景,通过导入3D Max制作的实验器材模型进行实验搭建,并通过网络通信技术实现远距离多人在线操作。对于真实感部分,采用Kinect体感技术捕捉的身体姿势被用来控制虚拟场景中第一人称角色的走动、抓取和操作实验器材以及选取虚拟场景中的菜单。实验结果证明,Kinect姿势识别具有很高的准确性和鲁棒性,并且不容易被光照条件和复杂的背景所影响,服务器与客户端的通信对于建立远程虚拟实验系统来说足够稳定。该系统具有成本低、真实感较强的优点。     

基于Kinect的体感康复游戏系统设计

传统的康复训练因理疗师和设备紧缺、训练场地有限、娱乐性差等问题,存在着很大的局限性。构建了基于Kinect与Unity3D的体感康复游戏系统,主要特色包括:虚拟人物与玩家运动同步;通过引导轨迹实现运行引导反馈、卡通目标点设定算法实现游戏的不同难度等。测试结果表明,系统具有很好的实时性、交互性和娱乐性,对类似体感游戏开发有较好的参考价值。     

基于Kinect虚拟文物互动展示系统的设计与实现

利用Kinect的局部骨骼追踪技术,捕获人体数据、彩色数据和深度数据,对采集到的数据进行分析,描绘出手的轮廓并且根据深度信息识别出手势的意思,做逻辑处理后,通过Kinect设备将信息发送给PC,形成操作命令映射到虚拟文物上,虚拟文物会进行相应的动作,比如移动、放大、旋转等。测试结果表明,系统工作稳定可靠,体验者能够通过体感交互技术较好地对虚拟文物进行控制。虚拟文物互动展示系统突破了传统文物的展示方式,使观众积极参与到展览之中。     

Kinect体感控制性能优化方法

为提高基于Kinect体感应用程序控制识别的稳定性、准确性与鲁棒性,针对手臂光标延迟与身体控制场景内容稳定性的问题,提出在Unity3D平台下的体感控制性能优化方法。基于数据转化思想,通过放宽手臂光标触发成功条件,将单点稳定触发转化为范围稳定触发,实现手臂光标延迟性能优化;通过将身体位置控制场景内容转化为模拟键盘方向键输入的方法,实现身体控制场景内容稳定性优化。实验结果表明,该方法能够有效提高体感应用程序的相关性能。     

基于Kinect的虚拟展馆游览系统的设计与实现

针对现有三维虚拟展览馆游览系统交互方式用户体验不理想的现状,提出一种基于Kinect的虚拟展馆游览系统。该系统重点研究了利用Kinect骨骼追踪技术实现对体验者身体动作的解析和利用四元数插值对骨骼动画的控制。在功能上,实现了站在Kinect前的体验者通过不同的姿势,对虚拟展馆三维场景中虚拟人物的动作、姿态、位置、朝向的控制。实验结果表明,体验者能够通过体感交互技术较好地实现对虚拟人物姿态的控制并方便地进行虚拟场景游览。     

浅谈基于Kinect的应用程序开发

随着计算机系统输入设备的发展,各种专业传感器被嵌入到人们日常生活的设备中。微软开发的Kinect所提供的骨骼跟踪、脸部识别、声音识别等功能十分吸引人。本文介绍了Kinect所提供的功能及开发Kinect应用程序所需的条件,分析了Kinect For Windows SDK的系统架构,并集中讨论了如何开发骨骼跟踪数据和深度数据,最后提出了本人关于开发基于Kinect的应用程序的想法。     

基于Arduino的虚拟现实交互系统实验案例设计

综合运用嵌入式、三维建模、虚拟现实等技术,提出一个软硬件结合的虚拟现实交互系统典型案例,实现虚拟场景与现实环境的实时交互控制。通过3DMAX和Unity3D软件设计虚拟现实交互场景,采用Arduino核心板搭建场景的控制模块,运用光敏电阻和湿度传感器实时获取环境信息并注入虚拟场景中,实现虚拟现实交互系统。     

Kinect在Unity平台上的开发实例

文章介绍了Kinect结合Unity的交互方法,以及利用手势移动场景、控制人物动作以及控制模型的开发实例,为Kinect与Unity的程序开发提供一个参考。     

基于Kinect骨骼信息的机械臂体感交互系统的设计与实现

提出一种基于人体骨骼信息的机械臂体感交互方式。首先利用Kinect传感器获取图像景深数据,并通过骨骼追踪技术处理景深数据,以匹配人体的各个部分,进而建立人体各个关节的3D坐标。然后利用3D坐标值计算出人体腰、肩、肘和腕4个关节的转动角度,人体的这4个关节与四自由度机械臂的4个关节一一对应。最后将计算结果转换成控制指令通过串口发送给机械臂的控制器,实现体感交互。实验表明,该方法能够有效地控制机械臂的转动以及抓取物件。     

Kinect与Unity3D数据整合技术在体感游戏中的应用研究

通过分析Kinect与Unity3D数据整合关键技术,从WPF与Unity 3D内部调用方式展开系统设计。设计分为Unity3D场景展示模块、Unity3D的接口模块和Kinect的数据获取三模块。其中Unity3D接口模块实现了的场景设置,骨骼绑定、镜像运动、近景模式、平滑处理功能;Kinect数据获取模块通过代码实现设备控制、骨骼绑定算法、设备图像获取。测试证明,通过C#对非托管的dll的管理方式,导入Kinect硬件的驱动程序,调用自定义的数据结构和算法,实现在unity 3D场景中,使用Kinect体感镜头控制场景中的人物模型运动,提高了体感游戏的开发效率,在体感游戏的开发和应用中有一定的社会推广价值。     

基于Kinect传感器的智能轮椅手势控制系统的设计与实现

利用Kinect深度传感器所获取的图像深度信息实现手部从背景中的分割,并通过在Hu矩基础上加入3个表达式,使不变矩包含更多细节特征,对手势目标进行识别,最后把得到的识别结果转换成控制指令通过Ad-Hoc网络传送给智能轮椅,实现运动控制.实验表明,通过该方法实现的手势识别在图像旋转、缩放、平移的情况下具有不变性,对背景干扰具有较强的鲁棒性.     

Kinect平台上使用机器学习的非接触式GUI操控方式

触摸屏的出现使人们逐渐摒弃鼠标和键盘,而触摸操作的不便和局限性也随之显现,非接触式操作凭借其独特的优势正逐渐成为未来人机交互方式的新潮流。针对现有的非接触式操作方式存在的手势定义不合理,方法复杂难解,识别精度低等许多问题,提出了使用“抓”和“放”这两个手势的非接触式操控方式RemoteControl,用户可在三维空间中做出操控动作来完成大部分基础图形用户界面（graphical user interface,GUI）操作。RemoteControl使用支持向量机（support vector machine,SVM）和随机森林来从手部图像中识别出手的形状。实验结果表明RemoteControl的操控动作识别取得了较高的精确度。     

基于Kinect深度图像的指尖检测与手势识别

针对基于普通摄像头的手势识别系统在不同光照条件和复杂环境下易受影响的问题,提出一种基于kinect深度图像进行指尖检测和手势识别的算法. 首先利用Kinect传感器获取深度图像,再利用OpenNI手部跟踪器检测出手部的位置,根据手部位置对手势进行深度阈值分割. 提出一种结合凸包和曲率检测指尖的算法,检测出指尖数目和位置后,计算出包括指尖和手掌水平方向的夹角、相邻两个指尖夹角以及指尖与掌心的距离的特征向量,最后利用支持向量机（SVM）对预定的9种数字手势进行识别. 实验邀请5位实验者在复杂环境下每个手势做30次,每次的手势角度不同,实验结果表明该方法能够准确检测出指尖的数目和位置,9种数字手势平均识别率达到97.1%,该方法使用特征简单,实时性好,有较好的鲁棒性.     

基于Kinect的四旋翼无人机体感控制

针对无人机（ UAV）远程控制中操作复杂、专业性高的问题,基于Kinect传感器提出了一种无人机体感控制方案,并进行了验证。利用Kinect传感器提取操作者身体的骨骼节点数据,设计并识别操作者体势动作,进而生成对应的四旋翼飞行控制指令,通过无线数传模块传输控制指令,对无人机进行远程控制。实验结果表明：设计的识别算法可以准确地识别体势动作,对无人机进行实时的控制,控制方式直观简单、效果良好。     

基于Kinect的手势跟踪概述

综述了当前基于Kinect手势跟踪的几种代表性方法:基于轮廓和特征匹配运动目标跟踪算法、均值漂移跟踪算法、连续自适应均值漂移跟踪算法、卡尔曼滤波跟踪算法以及粒子滤波跟踪算法,分析其特点及相互关系,详细探讨了各方法的优缺点.最后对手势跟踪发展趋势作出了展望.     

基于OGRE与Kinect的体感游戏平台的研究

提出将Kinect体感技术嵌入到游戏引擎OGRE中,首先在OGRE基础上搭建游戏场景,将Kinect体感外设与游戏角色绑定,引入MyGUI界面模块,使用Lua作为交互脚本,搭建一个面向前沿的具有可拓展性的体感游戏平台。