基于Leap Motion的电影前期预演人机交互方法

随着虚拟现实(VR)技术的发展,虚拟预演逐渐成为电影制作流程中不可或缺的一环,如何使用 自然、多模态的交互方式,结合三维实时渲染引擎,提高电影制作人员在前期预演中的参与感,是该领域的重 要研究内容。针对当前虚拟预演中使用的交互方式大多为光学运动捕捉系统等,存在价格昂贵、操作难度高、 便携性差等问题。提出一种基于 Leap Motion 的电影前期预演人机交互方式,在获得精准数据的同时,大大降 低了操作难度与设备成本,电影制作人员使用手势交互控制虚拟角色的运动轨迹,完成不同运动状态的切换, 并结合运动捕获数据库,直接参与到前期预演中。通过方案验证,该方法的用户体验更加自然、友好、直观和 高效。     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中. 针对 Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法. 该方法在定义的交互手势基础上, 设计了三维交互系统并应用到虚拟场景中. 系统首先通过Leap Motion进行数据捕捉, 对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别, 然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势, 最终结合动态手势完成虚拟场景中的交互功能. 经过实验验证, 本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法, 同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

基于Kinect的民族弓弦乐器虚拟演奏系统

利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.     

基于用户行为分析的手势跟踪方法

人手结构的高维性而导致粒子滤波跟踪方法中采样数目非常庞大,是实现运动人手的实时性跟踪研究的主要障碍之一.以降低粒子数目为目标,以行为分析和建模为切入点,提出一种手势跟踪方法.首先分析操作者在手势操作过程中的行为特征,建立人手运动的动态模型;其次,研究动态模型的基本特征,并给出一种描述方法;然后,建立人手运动的时段模型,分析了手势状态的时间-空间关系.在此基础上,提出了状态变量微观结构的概念,重点给出了基于状态变量微观结构的手势跟踪算法;最后,设计和完成了实验,并与相关参考文献方法的实验结果进行对比.结果表明,采用该算法,用少量粒子就可以得到比较精确的跟踪结果.提出的核心算法已经用于一个基于自然手势交互的三维虚拟装配原型系统.     

基于unity和kinect的交警手势识别仿真系统的设计和实现

为研究计算机辅助驾驶系统中交警手势的识别,搭建了一个虚拟驾驶场景的实验室研究仿真系统;采用了微软公司的Kinect设备采集人体骨骼数据,经由经验模型提取特征并使用模式识别对交警手势信号进行信号分类,使用unity公司的unity3D软件实现虚拟驾驶场景的三维重建;系统测试表明,使用kinect进行手势识别响应快,准确率高,使用unity作为虚拟驾驶场景的开发平台方便快捷,两者组合非常适宜搭建基于视觉的辅助驾驶系统的仿真环境。     

虚拟拉伸实验的设计和实现

利用虚拟现实技术开发了虚拟拉伸实验,阐述了该虚拟实验的功能特点、结构模式以及设计原理,分析了其实现流程及方法,包括三维场景建模、虚拟场景动态生成以及交互式虚拟场景的开发。提出了利用可视化编程语言VB开发一个实现复杂交互动作功能的平台,该平台提供了友好界面,使用户能够直观地组成虚拟三维实验场景,利用键盘或鼠标来控制三维试验机在虚拟场景中运动,并根据用户的指令实现从静态界面对虚拟场景的调用及虚拟场景中试验仪器、工具及其事件的交互,从而控制虚拟模型的动作进行实验。     

基于VB和VRML的虚拟仿真实验系统

结合现有的工作描述了虚拟仿真实验系统（VSLS），阐述了该系统的功能特点和结构模式，对实现该系统的关键技术进行了分析和总结，包括三维场景建模方法、VRML访问实时数据库以及交互式虚拟场景的开发，提出了利用可视化编程语言VB开发一个实现复杂交互动作功能的平台，完成静态VRML文件到动态交互式虚拟文件的转换，重点解决了三维场景模型建立及几何变换、数据库设计及性能优化、三维虚拟实验场景动态组合、虚拟实验场景访问数据库和虚拟实验场景交互性实现等关键技术。     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。     

基于AutoCAD和3DSMAX的虚拟校园三维场景构建研究

当前的虚拟校园三维场景构建方法是利用osgEarth获取GoogleEarth数据,构建虚拟校园三维地图,然后依据本地地形信息与三维场景模型完成对虚拟校园的三维场景构建;该方法在三维场景构建过程中没有考虑到校园后续建设发展,只凭现在所需进行三维场景构建,导致虚拟校园三维场景杂乱,存在虚拟校园三维场景构建顾虑不周的问题;为此,提出一种基于AutoCAD和3DSMAX的虚拟校园三维场景构建方法;该方法首先利用Kinect的RGB深度摄像头获取校园平面数据、影像数据和贴图资料,采用相机阵列合成算法对所得校园图像进行特征提取,然后依据非局部均值滤波方法对获取的校园图像进行去噪操作,最后利用边缘方向和梯度表示中的结构方向与强度,对校园图像外轮廓的纹理特征进行收敛,依据外轮廓纹理特征收敛实现校园图像内轮廓的准确定位,将校园图像与虚拟校园三维场景构建所需图像进行匹配,由此完成对虚拟校园三维场景的构建;实验结果证明,所提方法是虚拟校园三维场景构建领域革命性的突破,提高了学校的招生率,增加了校园文化历史的展现机会,为该领域的研究发展提供了有效依据。     

近距离3D人机交互技术研究实现

3D人机交互技术是计算机图形学、虚拟现实和模式识别的交叉融合领域,可分为虚拟环境的显示和三维物体识别。该研究将虚拟环境显示和三维物体识别整合成一个完整的解决方案并应用到1∶1模拟虚拟场景的近距离交互。研究了虚拟现实之间的坐标转换;分析了影响虚拟物体立体显示的三个主要因素：OpenGL中摄像机的张角,摄像机间距和立体图像对的产生;并实现了基于Intel Perceptual Computing的三维物体识别。实验结果显示：该方案在1∶1模拟虚拟场景方面具有良好的3D显示效果,同时在手势识别方面有较高的识别率。