基于Kinect虚拟文物互动展示系统的设计与实现

利用Kinect的局部骨骼追踪技术,捕获人体数据、彩色数据和深度数据,对采集到的数据进行分析,描绘出手的轮廓并且根据深度信息识别出手势的意思,做逻辑处理后,通过Kinect设备将信息发送给PC,形成操作命令映射到虚拟文物上,虚拟文物会进行相应的动作,比如移动、放大、旋转等。测试结果表明,系统工作稳定可靠,体验者能够通过体感交互技术较好地对虚拟文物进行控制。虚拟文物互动展示系统突破了传统文物的展示方式,使观众积极参与到展览之中。     

基于Kinect的肩周炎康复训练动作识别系统研究

实现对肩周炎患者进行康复训练的三维体感视频的虚拟指导。通过Kinect摄像头对人的骨骼信息和环境的深度信息进行跟踪分析,再通过欧氏距离判断人的动作,利用模板匹配定位的方法对人体关键部位进行识别,从而来判断人的姿势是否标准。通过人机交互来实现一个虚拟的肩周炎康复训练的指导。     

基于kinect三维骨骼节点的动作识别方法

近年来,基于人体动作识别的应用场景越来越广泛。为了更好的识别效果,提出了一种基于人体三维骨骼节点的动作识别方法。用Kinect等设备获取人体骨骼关节点三维数据信息,以人体臀部为原点重新建立人体坐标系;提取人体关键骨骼的数据信息,定义人体动作特征向量;根据动作表达式用行为树构造动作序列,实现识别。通过对5种定义的动作与其他算法做比较实验,表明提出的方法识别率较高,推广性较强。     

基于VR技术的满族展馆虚拟系统设计与开发

结合VR技术设计并开发了满族展馆的虚拟信息系统。该系统同时使用了3D MAX建模软件、C#编程语言以及Unity开发平台。系统提供了系统登录、虚拟场景、音视频导入和文化展馆等功能。以三维可视化形式展现了满族中的剪纸文化、舞蹈文化、历史人物等信息，让体验者能从系统平台中充分感受到满族文化的丰富资源，实现满族文化数字化存储、保护和展览。     

利用OSG三维图形渲染引擎实现的骨骼动画

动态实体模型是虚拟场景的重要组成部分,骨骼动画是表达虚拟场景中动态实体行为的主要技术。提出了一种虚拟场景中三维模型骨骼动画渲染的策略,即采用第三方软件建立三维动画模型,基于Cal3D动画控制机制,使用OSG三维图形渲染引擎对虚拟场景中运动的三维模型进行模拟。在VisForest软件的基础上,集成了骨骼动画渲染方法,解决了动物在虚拟地表上“踏空”的问题,扩展了动态实体在虚拟环境中的行为模拟。以梅花鹿和大象为例,逼真地模拟了动物在虚拟环境中的奔跑和行走的过程,模拟过程中动作衔接比较自然。     

面向虚拟维修训练的自抓取虚拟手交互行为构建

针对当前维护训练模拟器（MTD）不能很好地向受训者展示飞机维修过程中的具体维修动作的问题,构建一种自抓取的虚拟手与相应的交互行为,以提高机务培训质量。通过分析维修的基本动作要素,定义与构建基于蒙皮骨骼的虚拟手动作库;在场景漫游阶段,实时获取视角位置来驱动虚拟手运动,减轻场景漫游下的虚拟手控制负荷;在具体维修操作阶段,利用所提的交互行为算法,将虚拟手的位置自调节与骨骼动画osgCal相结合,通过调取动作库中的相应动作,完成具体的维修任务。实验结果表明,所提出的方法能较好地展现具体的维修操作,对于虚拟维修训练具有良好可用性。     

虚拟拉伸实验的设计和实现

利用虚拟现实技术开发了虚拟拉伸实验,阐述了该虚拟实验的功能特点、结构模式以及设计原理,分析了其实现流程及方法,包括三维场景建模、虚拟场景动态生成以及交互式虚拟场景的开发。提出了利用可视化编程语言VB开发一个实现复杂交互动作功能的平台,该平台提供了友好界面,使用户能够直观地组成虚拟三维实验场景,利用键盘或鼠标来控制三维试验机在虚拟场景中运动,并根据用户的指令实现从静态界面对虚拟场景的调用及虚拟场景中试验仪器、工具及其事件的交互,从而控制虚拟模型的动作进行实验。     

基于Kinect的人体姿态估计优化和动画生成

为了生成更准确流畅的虚拟人动画,采用Kinect设备捕获三维人体姿态数据的同时,使用单目人体三维姿态估计算法对Kinect的彩色信息进行骨骼点数据推理,从而实时优化人体姿态估计效果,并驱动虚拟人物模型生成动画。首先,提出了一种时空优化的骨骼点数据处理方法,以提高单目估计人体三维姿态的稳定性;其次,提出了一种Kinect和遮挡鲁棒姿势图（ORPM）算法融合的人体姿态估计方法来解决Kinect的遮挡问题;最后,研制了基于四元数向量插值和逆向运动学约束的虚拟人动画系统,其能够进行运动仿真和实时动画生成。与仅利用Kinect捕获人体运动来生成动画的方法相比,所提方法的人体姿态估计数据鲁棒性更强,具备一定的防遮挡能力,而与基于ORPM算法的动画生成方法相比,所提方法生成的动画在帧率上提高了两倍,效果更真实流畅。     

基于Kinect的民族弓弦乐器虚拟演奏系统

利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.     

沉浸式虚拟现实展馆场景跳转功能的实现

基于HTC VIVE Cosmos设备的沉浸式虚拟现实展馆场景跳转功能分为体验者在同一个虚拟三维场景中不同站立点的位置之间跳转和体验者在不同虚拟三维场景之间切换跳转两种方式。前者主要依靠虚拟现实（VR）手柄射线与地面交互后的瞬移功能实现；后者主要依靠VR手柄射线与按钮交互后执行场景切换代码实现。详细阐述了这两种场景跳转功能的基础操作方法和制作方法。     

基于Kinect体感交互的多人在线虚拟实验系统

为了满足多人异地进行真实感虚拟实验的需求,使用Kinect体感设备和Unity 3D引擎搭建了一个多人在线虚拟实验系统。在该系统中,使用Unity 3D引擎搭建虚拟实验场景,通过导入3D Max制作的实验器材模型进行实验搭建,并通过网络通信技术实现远距离多人在线操作。对于真实感部分,采用Kinect体感技术捕捉的身体姿势被用来控制虚拟场景中第一人称角色的走动、抓取和操作实验器材以及选取虚拟场景中的菜单。实验结果证明,Kinect姿势识别具有很高的准确性和鲁棒性,并且不容易被光照条件和复杂的背景所影响,服务器与客户端的通信对于建立远程虚拟实验系统来说足够稳定。该系统具有成本低、真实感较强的优点。     

基于Kinect的拳击虚拟训练系统

沙袋击打训练是拳击训练的有效手段,应用体感交互技术和虚拟现实,设计并实现了虚拟的沙袋击打仿真系统。该系统主要包含虚拟场景搭建、体感交互和训练信息系统。拳击场景建立了拳台、沙袋、拳击手套和背景模型,并通过Direct 3D接口加载到虚拟系统中。交互系统通过Kinect体感传感器追踪并获取训练者骨骼关节点坐标,从中提取肘、腕关节建立空间向量并计算击打速度和击打力,控制虚拟拳头击打虚拟沙袋,通过体感交互的方式虚拟真实训练过程,并在信息系统中记录训练信息。实验和测试表明,此系统能够实现模拟训练的功能,为拳击游戏与教学提供了新的手段。     

Kinect与Unity3D数据整合技术在体感游戏中的应用研究

通过分析Kinect与Unity3D数据整合关键技术,从WPF与Unity 3D内部调用方式展开系统设计。设计分为Unity3D场景展示模块、Unity3D的接口模块和Kinect的数据获取三模块。其中Unity3D接口模块实现了的场景设置,骨骼绑定、镜像运动、近景模式、平滑处理功能;Kinect数据获取模块通过代码实现设备控制、骨骼绑定算法、设备图像获取。测试证明,通过C#对非托管的dll的管理方式,导入Kinect硬件的驱动程序,调用自定义的数据结构和算法,实现在unity 3D场景中,使用Kinect体感镜头控制场景中的人物模型运动,提高了体感游戏的开发效率,在体感游戏的开发和应用中有一定的社会推广价值。     

基于Kinect跑步机系统

研发了一种基于Kinect的跑步机系统,并提出了跑步系列动作识别算法. 该系统基于Unity游戏引擎、3DSMax、Maya、Photoshop建模和平面设计软件开发,运用微软Kinect体感设备和个人电脑获取人体跑步时各种动作的骨骼点数据,结合运动特征分析研发了基于骨骼绑定的跑步、挥手、跳跃、蹲下各种动作的识别算法,通过对人体动作的识别从而实现人机交互的跑步健身游戏娱乐运动. 实验数据表明基于骨骼绑定的动作识别算法的有效性,该跑步机系统硬件设备体积小,它通过人的肢体动作而不是鼠标键盘来操作跑步机软件,同时结合了跑步健身和游戏娱乐等功能,部分代替了传统跑步机的作用,具有很好的体感交互效果和实用价值,研究成果可以用于更多的人机互动应用领域.     

基于Kinect体感传感器的心理宣泄系统的实现

击打宣泄是心理宣泄疗法的主要手段。基于Kinect体感传感器和Direct3D图形绘制编程接口,设计并实现了心理宣泄系统。系统利用Kinect体感传感器采集人体关节点坐标信息,控制虚拟拳头击打虚拟击打对象,模拟真实拳击运动,通过击打实现心理宣泄。实验表明:该系统不仅能获得良好的心理宣泄效果,而且,可以为健身运动提供新的体验平台,其计算出的击打力还可作为拳击训练的重要参考标准。     

基于体感技术的游戏重构框架的应用研究

为满足体感游戏市场需求,降低3D游戏前期投入风险,文章提出通过开发中间件模块对游戏开发过程进行简单改造,实现3D游戏向体感游戏平滑过渡的过程;先是简单介绍了体感技术的原理和工作过程,接着结合Kinect硬件系统提出了3D游戏到体感游戏重构框架(3D-MS重构框架),然后设计和实现了中间件模块,并对现有3D游戏的提出具体改进策略和方法;最后以《神龙》游戏为案例进行了重构和实验测试,实验表明3D-MS重构框架是可行的,采用中间件技术可平滑、快速实现从3D游戏到体感游戏,比直接改造游戏的效率高2.2倍,同时能提高游戏的人机互动效果。     

基于Kinect的四旋翼无人机体感控制

针对无人机（ UAV）远程控制中操作复杂、专业性高的问题,基于Kinect传感器提出了一种无人机体感控制方案,并进行了验证。利用Kinect传感器提取操作者身体的骨骼节点数据,设计并识别操作者体势动作,进而生成对应的四旋翼飞行控制指令,通过无线数传模块传输控制指令,对无人机进行远程控制。实验结果表明：设计的识别算法可以准确地识别体势动作,对无人机进行实时的控制,控制方式直观简单、效果良好。     

虚拟现实技术在化学实验教学中的应用研究

虚拟实验应用日益广泛,而支持虚拟实验的相关技术成为了研究热点。分析了虚拟化学实验及其在未来虚拟现实技术上的发展趋势,综述了U-nity3D技术、增强现实技术和Kinect体感交互技术的理论基础以及在虚拟化学实验中的应用与发展,以虚拟技术融合的方法为导向,仿真化学实验的实时环境,使虚拟实验简单化、直观化。展望了虚实融合技术在虚拟实验领域的应用前景。虚实融合技术有利于推动虚拟化学实验朝智能化发展,是虚拟实验改革的一个新起点。     

基于深度信息的实时手势识别和虚拟书写系统

鉴于无接触体感交互技术在人机交互领域的成功应用,提出了一种基于Kinect深度相机的实时隔空虚拟书写方法。结合颜色和深度数据检测和分割出手掌区域;进一步,通过修改的圆扫描转换算法获得手指的个数,以识别不同的手势指令;根据指尖检测从指尖的运动轨迹分割出独立的字符或汉字运动轨迹,并采用随机森林算法识别该字符或汉字。这种基于深度信息的手势检测和虚拟书写方法可以克服光照和肤色重叠的影响,可靠实时地检测和识别手势和隔空书写的文字,其识别率达到93.25%,识别速度达到25 frame/s。