基于虚拟手的人机交互关键技术

基于虚拟手的人机交互技术是虚拟现实中的研究热点。对其中的关键技术进行了研究,采用多边形网格建模方法,建立了虚拟手的逼真几何模型;基于Virtools平台开发了数据手套的数据采集模块,提出使用基于初始值的数据转换方法,解决了开始运动时的跳变问题,同时对手指的外展运动,使用约束值方法进行处理,提高了虚拟手与真实人手匹配一致性;最后,针对虚拟手与虚拟物体的操作交互,提出了一种基于有效阈值角度的抓取算法。通过Virtools平台进行验证,实验结果表明:虚拟手模型逼真度高,手型变化自然;同时实现了虚拟手对虚拟物体的操作交互,具有很强的实用性。     

基于WTK的数据手套交互控制模块设计与实现

依据虚拟现实中数据手套操纵的虚拟手与虚拟场景的交互控制过程，在VC 环境下，设计了一个基于WTK的数据手套交互控制模块，重点研究其中的虚拟手手势合成技术和交互操作中的碰撞检测技术。提出用平行节点数据结构组织虚拟手模型，用空间图形变换法实现手势合成；结合包围盒和多边形碰撞检测法，研究了虚拟手与虚拟场景的碰撞检测。应用结果显示，虚拟手可动态地呈现与人手基本一致的手势，能够比较逼真地实现了虚拟手抓取物体、释放物体等交互操作。     

基于物理模型的虚拟装配技术研究

虚拟装配是虚拟现实技术在产品设计领域的一个重要应用 .为了从运动学与动力学的角度来考察虚拟装配过程中零件的运动 ,以便更真实地反映虚拟环境中零件装配运动的本质规律 ,提出了一种虚拟装配环境中用于将装配几何约束自动映射为运动副约束的基于运动自由度分析的物理约束生成方法 ,同时 ,提出了基于变刚度弹簧模型的装配力交互输入方法 ,并实现了位移输入与装配力输入的映射 .另外 ,还给出了基于物理模型的虚拟装配的基本过程 .该方法在虚拟设计与装配原型系统的研究与开发中已得到实现 .     

沉浸式虚拟装配中物体交互特征建模方法研究

沉浸式虚拟装配是一种"人在回路"的虚拟现实系统,可用于大型设备的设计及装配人员的培训等领域.作为其关键技术之一,如何实现"真实"人对"虚拟"物体的操作,仍是一项具有挑战性的工作.针对这一问题,提出了一种基于交互区和状态机的物体交互特征建模方法.通过交互区,虚拟物体可理解用户的操作意图,并据此发生相应的状态转换,进而正确监测用户的交互行为.该方法可实现包括使用工具在内的复杂装配操作以及对装配流程的管理控制.通过在实际项目中的应用验证了该方法的有效性.     

虚拟手操作技术研究及实现

人机交互是虚拟现实的关键技术之一,而虚拟手操作技术是人机交互技术的重要组成部分,是虚拟现实和运动学相结合的产物.在虚拟手操作技术中如何实现实时、准确的抓取一直是人们所关注的问题.首先研究了虚拟手在虚拟场景中的碰撞检测理论,并在此基础上制定了虚拟手对虚拟物体的稳定抓取规则,然后以Open Inventor为软件平台,采用数据手套和位置跟踪器作为主要的输入设备,实现了虚拟手对虚拟物体的抓取、移动、释放等一系列虚拟操作,实例证明了该技术具有很强的实用性.     

虚拟手抓持规则融合策略研究

群体虚拟手抓持规则是虚拟手和虚拟物体进行抓持操作的交互规则,用于判定虚拟手是否能够成功抓持物体。对基于几何的虚拟手抓持规则和基于物理的虚拟手抓持规则分别进行了研究,针对基于几何的虚拟手抓持规则规则简单、仿真效果较差,基于物理模型的虚拟手抓持规则计算复杂、难以实现实时仿真的问题:（1）改进基于几何的虚拟手抓持规则,通过接触点位置、法矢和抓持面法矢制定抓持规则,使其效果逼近力封闭虚拟手抓持规则;（2）利用力封闭计算中抓持接触点和法矢不变的特性,通过内力配比避免了抓持操作中的非线性规划求解,使抓持操作阶段实现实时仿真;（3）通过几何约束进行初始抓持判断-力封闭计算校正-内力配比力封闭计算的策略,实现了完整的抓持过程实时仿真。设计的交互实验说明该抓持规则能实现高沉浸感和实时性的抓持仿真,可以应用到虚拟训练、虚拟装配等仿真平台。     

基于增强人机交互技术的虚拟装配

提出了基于虚实融合、增强信息和约束代理的增强交互技术,从视觉、信息和操作三个方面来改善虚拟装配环境的人机交互效率.虚实融合在保留虚拟现实全部交互方式的同时附加真实装配场景来丰富装配过程感知;基于文字和特征表示的增强信息为用户提供装配知识来引导装配操作;约束代理及其匹配规则可视化重建零件装配约束关系并避免了复杂计算.增强人机交互技术为虚拟装配的应用提供了一种便捷的交互手段.最后介绍了虚拟装配辅助支持平台的体系构架,并用实例说明了虚拟装配系统的运行流程.     

基于Web的实时虚拟仿真系统研究与实现

根据真实场景设计数据库,并将场景信息的变化实时地更新到数据库中.将虚拟现实技术和计算机仿真相结合,基于该数据库建立基于W eb的实时虚拟仿真系统.实时生成场景过程中,根据真实物体在数据库中的位置信息对场景中的虚拟物体进行定位.此外,采用了VRML与JAVA通信的技术为虚拟场景提供交互功能,使用户可以通过网络查询到场景的实时信息.     

虚拟手的姿态控制与变形仿真

iHandRehab应用机器人技术与虚拟现实技术对手部损伤患者进行康复训练。主动模式下的训练任务需要在虚拟环境中模拟人手抓持和释放物体的真实过程,难点集中在虚拟手与刚性物体接触时的姿态控制和局部变形计算。根据人手的组织结构和运动特征将食指和拇指简化为3指节串联机构,通过改变各关节的旋转角度来实现虚拟手的自由运动。虚拟抓持过程中以手指的运动学模型为基础,结合前后指节需要满足的约束关系确定虚拟手的最终姿态。指节和物体分别采用点壳和距离场模型进行碰撞检测,根据点壳上碰撞点的嵌入信息计算虚拟手在接触区域的局部变形量。实验结果表明:模型能够实时准确地模拟人手抓持刚性物体时的真实状态。     

沉浸式虚拟训练中的虚拟手操控技术研究

将人手的自然动作加入沉浸式虚拟现实系统中,可有效提高系统的沉浸感和交互性,简便快捷、成本低廉的虚拟手建模及操控技术,有助于此项内容的推广应用;在对虚拟手骨骼结构模型分析的基础上,提出了基于Leap Motion的虚拟手控制方法和流程;以维修训练为任务背景,设计了四种用于虚拟手操作的手势规则,并对实现流程和关键技术进行了分析;构建基于Unity3D引擎的原型系统对虚拟手进行仿真验证,结果表明,基于Leap Motion的虚拟手操控简单、交互自然,可以满足虚拟现实系统交互需要。     

视触觉融合的增强现实三维注册方法

增强现实技术是近年来人机交互领域的研究热点。在增强现实环境下加入触觉感知,可使用户在真实场景中看到并感知到虚拟对象。为了实现增强现实环境下与虚拟对象之间更加自然的交互,提出一种视触觉融合的三维注册方法。基于图像视觉技术获得三维注册矩阵;借助空间转换关系求解出触觉空间与图像空间的转换关系;结合两者与摄像头空间的关系实现视触觉融合的增强现实交互场景。为验证该方法的有效性,设计了一个基于视触觉增强现实的组装机器人项目。用户可触摸并移动真实环境中的机器人零件,还能在触摸时感受到反馈力,使交互更具真实感。     

基于虚拟现实的煤矿设备装配仿真系统研究

针对煤矿大型设备装配存在拆装繁琐和成本高的问题,以采煤机、液压支架、掘进机和提升机为研究对象,采用虚拟现实技术设计并实现了一套由虚拟装配子系统、场景仿真与漫游子系统组成的虚拟装配与仿真系统.利用Maya对大型设备建模,通过VS程序设计,在Unity中进行交互控制,实现了设备的虚拟装配与拆卸、采煤工作面的虚拟仿真漫游功能.系统有效地提高了训练效果,形象逼真地再现了煤矿井下生产过程,具有良好的沉浸性和交互性.测试表明:经该仿真系统训练与使用,有效提高了设备实际装配与拆卸能力,同时降低了成本,具有显著的实际应用效果.     

虚拟操作训练系统中的人机交互技术

为提高某型导弹动力系统虚拟操作训练中人机交互的沉浸性,开发了基于数据手套和空间位置跟踪仪的人机交互环境。介绍交互环境的硬件组成和工作原理,根据手的生理结构和运动特性,建立具有约束的虚拟手几何建模,采用面向对象的技术,对虚拟手的数据结构进行描述,采用放置透明包围体的方法,有效解决碰撞检测问题,对碰撞后的视觉和力觉反馈进行研究。该系统提高了该型导弹动力系统虚拟操作训练的效率。     

Gesture-based interactive augmented reality content authoring system using HMD

This paper proposes an augmented reality content authoring system that enables ordinary users who do not have programming capabilities to easily apply interactive features to virtual objects on a marker via gestures. The purpose of this system is to simplify augmented reality (AR) technology usage for ordinary users, especially parents and preschool children who are unfamiliar with AR technology. The system provides an immersive AR environment with a head-mounted display and recognizes users’ gestures via an RGB-D camera. Users can freely create the AR content that they will be using without any special programming ability simply by connecting virtual objects stored in a database to the system. Following recognition of the marker via the system’s RGB-D camera worn by the user, he/she can apply various interactive features to the marker-based AR content using simple gestures. Interactive features applied to AR content can enlarge, shrink, rotate, and transfer virtual objects with hand gestures. In addition to this gesture-interactive feature, the proposed system also allows for tangible interaction using markers. The AR content that the user edits is stored in a database, and is retrieved whenever the markers are recognized. The results of comparative experiments conducted indicate that the proposed system is easier to use and has a higher interaction satisfaction level than AR environments such as fixed-monitor and touch-based interaction on mobile screens.     

放射性材料加工过程的虚拟培训系统研究

虚拟现实技术是一门综合集成技术,具备自然模拟、逼真体验的特征。放射性材料加工的实物培训成本高、危险性大。论文提出了在放射性材料加工培训中应用虚拟现实技术的方法,建立无实物的虚拟培训系统。通过采用分布式交互仿真技术实现不同工位的协同合作,通过加工过程的视景仿真体现真实加工环境,通过虚拟手模拟加工操作中重要的手操作要领,从而形成了独具特色的虚拟培训原型系统,对同类虚拟培训系统具有借鉴意义。     

VRML 虚拟现实网络互动仿真装配平台的研究

在计算机上实现了虚拟装配的流程以及运用VRML 创建可视化的三维虚 拟场景,提出了一种基于VRML 和Java 的虚拟现实构建方法,以增强VRML 虚拟场景与外 界的交互性,并通过实例提出了创建网络虚拟装配交互仿真的具体方案。该方法不仅可用于 演示网络环境下的可视化装配,也适用于基于VRML 的其它领域科学可视化。     

Development of a physically behaved robot work cell in virtual reality for task teaching

Robot task teaching on a real work cell is expensive and sometimes risky. This cost and risk can be avoided by using virtual reality technology. Using the simulated environment in virtual reality (VR), the operator can practise, explore and preview the operations for possible problems that might occur during implementation. It is therefore of practical importance to build the virtual robot work cell in VR that can facilitate the study of the performance of robotic tasks such as robotic assembly. This paper describes our work in incorporating physical behaviours of virtual objects into VR for robot task teaching. To facilitate the task teaching, we developed visual and audio cues which help visualise the dynamic interactions between virtual objects. Dynamic sensing capability is incorporated in the simulated environment. A simplified force sensor is modelled and simulated. The physical behaviours of the virtual objects are simulated using physics-based approach. A virtual robot work cell is built incorporating the developed features and an example for the task teaching is given. The implementation includes view tracking using virtual camera, visual and audio rendering, and the user interface developed in the VR. The current implementation was carried out on a PC-based VR platform, with the programs developed using Watcom C++.     

悬臂式掘进机虚拟仿真平台设计

悬臂式掘进机广泛应用于煤矿井下巷道施工,掘进机的培训包括传统的书本教学方法和基于井下实际操作的训练方法,但是由于其场地和安全的局限性,无法满足训练要求.针对这一现状,利用虚拟现实技术和交互仿真技术构建了悬臂式掘进机虚拟仿真平台.该平台采用三维建模技术,使用多边形建模方法制作了悬臂式掘进机、转载机、供电系统等三维模型;运用Unity3D引擎驱动三维模型组成的虚拟场景,采用场景优化技术实时渲染出沉浸式的虚拟场景;在脚本语言C#编程环境下实现操作流程顺序控制、操作描述、三维模型驱动等,实现悬臂式掘进机虚拟仿真培训.培训结果表明,沉浸式人机交互可达到与实物培训相类似的效果,提高使用者学习和操作悬臂式掘进机的效率.