基于WTK的数据手套交互控制模块设计与实现

依据虚拟现实中数据手套操纵的虚拟手与虚拟场景的交互控制过程，在VC 环境下，设计了一个基于WTK的数据手套交互控制模块，重点研究其中的虚拟手手势合成技术和交互操作中的碰撞检测技术。提出用平行节点数据结构组织虚拟手模型，用空间图形变换法实现手势合成；结合包围盒和多边形碰撞检测法，研究了虚拟手与虚拟场景的碰撞检测。应用结果显示，虚拟手可动态地呈现与人手基本一致的手势，能够比较逼真地实现了虚拟手抓取物体、释放物体等交互操作。     

一种数据手套交互控制模块的设计与应用

在三维虚拟环境下进行虚拟制造(VM),是当今制造业发展的趋势.数据手套是实现虚拟现实技术的交互设备之一,数据手套的应用对于虚拟制造非常重要.研究数据手套的功能和原理,设计了一种面向虚拟制造的数据手套交互控制模块.通过虚拟手的建模以及数据手套实时采集数据,来实现虚拟手与人手的手势映射,并结合层次包围盒算法实现虚拟手与虚拟场景的碰撞检测.研究结果显示,在模块下人手到虚拟手的动作映射和虚拟手对虚拟物体的碰撞检测能基本满足虚拟制造系统的理论要求,具有一定的实用性.     

沉浸式交互系统的设计与开发

在操作训练过程中,操作者对虚拟场景中物体的操纵必须通过交互来实现,交互的质量直接影响了操作训练的效果。针对现在的装备操作训练仿真系统中使用二维交互设备带来交互低效的情况,为了整体提高装备操作训练仿真系统的交互质量和能力,设计并开发了沉浸式交互系统。同时住众多新兴的交互设备中,主要对数据手套和空间球进行相关交互技术的研究。使操作者高度沉浸在建立的虚拟场景中,用自然、方便的方式进行交互,取得较好的操作训练效果。     

元宇宙多模态触觉感知与交互的数据手套技术研究

为了提升元宇宙虚拟手交互的逼真性,研发了一种多模态触觉感知与交互的数据手套系统,该系统具有硬件集成度高、响应速度快、数据采集精确和轻便易穿戴的特点。人手穿戴此数据手套后,系统能够采集人手操作时的温度、指尖按压力和手指弯曲程度等数据,并把这些数据实时赋予给虚拟环境中的虚拟手,让虚拟手具有类似人手的动作行为和感知。提出了一种多通道循环采集数据方法,该方法可以高效且准确地捕捉温度、指尖按压力和手指弯曲程度等异构多模态数据,减轻了数据手套的硬件电路复杂性。实验结果表明,此数据手套在获取实时手指动作信息方面精度较高,提升了虚拟手动作的灵活性、直观性和自然性。     

基于增强现实的物联网物体识别与虚拟交互

介绍增强现实的物联网物体识别与定位原理,分析基于数据手套的物联网增强现实虚拟交互方法,设计并实现一个物联网增强现实虚拟交互系统原型。实验结果表明,该系统能为物联网用户提供更自然的物体信息获取方式与虚拟交互体验,满足物联网相关应用对于实时性、精确度和稳定性的要求。     

基于Kinect的拳击虚拟训练系统

沙袋击打训练是拳击训练的有效手段,应用体感交互技术和虚拟现实,设计并实现了虚拟的沙袋击打仿真系统。该系统主要包含虚拟场景搭建、体感交互和训练信息系统。拳击场景建立了拳台、沙袋、拳击手套和背景模型,并通过Direct 3D接口加载到虚拟系统中。交互系统通过Kinect体感传感器追踪并获取训练者骨骼关节点坐标,从中提取肘、腕关节建立空间向量并计算击打速度和击打力,控制虚拟拳头击打虚拟沙袋,通过体感交互的方式虚拟真实训练过程,并在信息系统中记录训练信息。实验和测试表明,此系统能够实现模拟训练的功能,为拳击游戏与教学提供了新的手段。     

基于Virtools的虚拟校园在线交互设计与实现

在虚拟校园中,人性化的人机交互设计可提高系统的可用性和用户友好性。本系统在线展示了校园的仿真模型,并提供了可供用户操作的虚拟人物及其交互功能,使用户能尽可能真实地了解校园。为了使用户在浏览虚拟校园时获得更好的在线交互体验,提出并实现了虚拟校园系统需要解决的几个主要交互功能:人物及其视角交互、场景链接交互、信息链接交互、信息提示交互以及虚拟场景中物体的交互。该系统采用了多场景建模方法,以大化小、分而治之,避免使用过大的场景,缩短了系统的在线响应时间;使用Virtools自带的VSL脚本语言实现系统较复杂的交互功能,提高了程序的可重用性和可维护性,同时减少了系统占用的内存空间,提高了运行速度,并且实现了一些Virtools内置的BB不能实现的功能。     

虚拟三维场景与二维电子地图交互系统研究

提出并建立了一个虚拟三维场景与二维电子地图交互系统。介绍了系统的组成和各部分实现的功能。对虚拟场景的数据组织、场景数据读入、观察者位置的确定及交互功能的实现等给出解决方案,给出了实现的代码及画面。该系统利用二维电子地图简洁性、宏观性的特点,通过与虚拟三维场景间的互响应减少观察者在虚拟三维场景中漫游所产生的迷失感,在实际应用中取得了较好的效果。     

舰船训练虚拟系统的设计研究

在建立虚拟舰船仿真系统的研究中,由于舰船的船舱仪表数量多,船体操控复杂,目前还没有舰船虚拟训练系统。针对舰船训练实际需求,提出一种虚拟仪表和游戏引擎相结合的舰船虚拟训练系统设计思想。借助于Ogre、ODE及数据手套、数据头盔和定位器等虚拟现实设备,建立仿真数据模型,解决了场景中的虚拟手交互、碰撞检测等关键技术问题,完成虚拟手对舰船的实时控制。实验结果表明,仿真系统在保证真实性和快速性的同时,还易于操控等特点,能使用户快速掌握舰船驾驶和仪表操作的基本方法,训练周期缩短60%,大大降低了训练成本。     

虚拟操作训练系统中的人机交互技术

为提高某型导弹动力系统虚拟操作训练中人机交互的沉浸性,开发了基于数据手套和空间位置跟踪仪的人机交互环境。介绍交互环境的硬件组成和工作原理,根据手的生理结构和运动特性,建立具有约束的虚拟手几何建模,采用面向对象的技术,对虚拟手的数据结构进行描述,采用放置透明包围体的方法,有效解决碰撞检测问题,对碰撞后的视觉和力觉反馈进行研究。该系统提高了该型导弹动力系统虚拟操作训练的效率。     

Reactive virtual agent learning for NUI-based HRI applications

The natural user interface (NUI) has been investigated in a variety of fields in application software. This paper proposes an approach to generate virtual agents that can support users for NUI-based applications through human–robot interaction (HRI) learning in a virtual environment. Conventional human–robot interaction (HRI) learning is carried out by repeating processes that are time-consuming, complicated and dangerous because of certain features of robots. Therefore, a method is needed to train virtual agents that interact with virtual humans imitating human movements in a virtual environment. Then the result of this virtual agent can be applied to NUI-based interactive applications after the interaction learning is completed. The proposed method was applied to a model of a typical house in virtual environment with virtual human performing daily-life activities such as washing, eating, and watching TV. The results show that the virtual agent can predict a human’s intent, identify actions that are helpful to the human, and can provide services 16 % faster than a virtual agent trained using traditional Q-learning.     

虚拟现实手部康复训练系统的设计与实现

将虚拟现实技术应用到康复医学领域,可有效克服传统康复训练方法的局限性,实现安全、舒适和主动的康复训 练。本文设计并实现了一套虚拟现实手部康复训练系统,系统由交互设备、人机交互软件和虚拟环境三部分组成。交互 设备采用 5DT 公司生产的 5DT Data Glove 14 Ultra 数据手套,而人机交互软件运用 Visual Studio 2012 作为开发工具,基于 MFC 编写,实现了用户管理、数据采集、手势信号分类、实时手势识别测试等功能。构建的虚拟场景使用 Flash 游戏, 通过 MFC 和 Flash 游戏之间通讯使用者能使用手势信号实现游戏操控。本文的实验结果表明：虚拟现实手部康复训练系 统能够指导使用者进行有效的手部康复训练,Flash 康复训练游戏能有效提高使用者进行康复训练的积极性和主动性。     

An operator interface for teleprogramming employing synthetic fixtures

In the teleprogramming system an operator is presented with a virtual reality representation of a remote environment. The operator's interaction within that virtual environment is observed and translated into a sequence of robot program instructions for transmission to, and execution by, a robot at the remote site. In this paper we focus on operator interaction with the master station of the teleprogramming system. The use of synthetic fixtures to provide force and visual clues to assist the operator in performing tasks with speed and precision is discussed. It is suggested that, at least in some situations, it is both necessary and desirable to trade off realism for improved task performance. The difficulty of coping with exceptional conditions and, in particular, uncertainty in the world model used to generate the virtual environment is described and the operator interface for diagnosing and resolving errors is presented. An overview is also given of both the hardware and software used to implement master station for the teleprogramming system.     

MDE-VR:面向虚拟现实的多显示环境

针对目前虚拟现实领域缺乏可用的中间框架对底层MDE和高层的本地协同工作模式进行支持这一问题,设计并实现了一个多显示环境下基于虚拟现实的系统框架MDE-VR;基于该框架提出了一种多显示环境下的本地协同工作机制,组合了空间无缝交互技术和空间内聚交互技术两种不同的交互技术,方便用户操纵公共显示屏幕;最后开发了一个系统原型能够有效支持面向虚拟现实的同一地点的多人协同工作。实验结果表明了提出的MDE-VR框架和交互技术的可用性。     

A self-configurable large-scale virtual manufacturing environment for collaborative designers

As manufacturing environments are getting distributed and increasing in size, the related virtual environments are getting larger and more closely networked together. This trend has led to a new paradigm—large-scale virtual manufacturing environment (LSVME). It supports networked and distributed virtual manufacturing to meet manufacturing system requirements. Since it contains a large number of virtual components, an effective data structure and collaborative construction methodology are needed. A metaearth architecture is proposed as the data structure for representing LSVME. This architecture consists of virtual space layer, mapping layer, library layer and ontology layers, which describe interaction among virtual components and has the ability to analyze the characteristics of virtual environment. In addition, it increases reusability of virtual components and supports self-reconfiguration for manufacturing simulation. A heuristic construction method based on graph theory is proposed using this architecture. It prevents redundant design of virtual components and contributes to an effective construction scheduling technique for collaborative designers.     

三维组态软件场景导航图智能化建立方法研究

针对人在三维虚拟场景中漫游,容易迷失方向,以及在场景中查找目标耗费时间等问题,引入了导航图并提出一种智能化建立导航图的方法,通过实时获取三维虚拟场景的场景信息利用windows重绘机制来动态绘制场景平面投影图,提供给操作人员以图形化非编程的方式自动快速地建立相应三维虚拟场景的导航图;该方法融合了二维电子地图的宏观性以及三维场景的直观性优点;实验分析表明该方法能方便操作人员自动建立导航图,能指导操作者完成漫游任务,并能协助操作人员快速查找目标,提高了监控效率和人机交互能力。     

在线三维计算机组网虚拟实验室的研究与实现

为解决目前虚拟实验室在人机交互、场景沉浸、数据存储等方面存在的不足,提出采用Virtools技术结合3dsMax、Oracle数据库等构建在线三维虚拟实验室系统.以计算机组网实验为例,深入分析了该系统的体系架构及组成模块,并重点介绍了其中主要功能的设计实现方法和动态数据处理的过程.实践结果表明,该虚拟实验室具有交互性强、沉浸性好、数据共享度高、方便易用等特点.系统的投入使用不仅为本科教育提供了一个有效的仿真实验环境,同时也为现代化远程教育提供了一个可行的实验平台.     

虚拟机软件结合LoadRunner的一种测试方案探讨

基于虚拟化技术进行软件自动化测试是测试主流技术发展的一个方向。介绍了虚拟机软件VMware结合测试工具软件LoadRunner的一种软件测试方案,详细介绍了测试方法、测试环境、测试用例以及数据处理方法。通过对同一B/S系统在真实环境和虚拟环境中进行对比性能测试,并基于实测数据加以分析,论证了该方案的优越性,得出了能否应用的结论。     

虚拟环境建模及实时性改善方法

提出了虚拟现实软件实现方法的概念,利用交互方式的,比较,阐明了虚拟现实与仿真的区别,通过计算机三维实体造型和真实感环境泻染技术,实现了虚拟环境建模,通过融入增强现实的思想,把握虚实结合尺度,将基于图象的方法与基于建模的相结合,从而改善了眯拟环境下交互的实时性。     

基于动态二进制翻译技术的数管软件虚拟测试环境设计

针对传统的数管软件测试环境硬件设备依赖性强、地检设备多、监视点分散和软件内部状态跟踪困难等问题,设计和构建了基于QEMU模拟器的数管软件虚拟测试环境。该环境基于动态二进制翻译技术模拟星载处理器,实现在异构平台下运行星载数管软件,同时增加指令跟踪记录功能,帮助软件异常问题定位;融合外围设备驱动和终端应用功能,对数据流进行仿真,并采用统一的格式集中管理数据,进行分层处理和实时差异比对,以日志形式记录数据变化,实现对系统状态的单窗口监视。在高分四号卫星等型号的应用表明,文章设计的虚拟测试环境能够模拟数管软件运行环境,提供更多的调试手段,使软件测试工作提前,促进了软硬件协同开发,提高了星载软件的开发测试效率。