基于混合现实的远程协同式装配维修引导

提出一种基于混合现实设备 HoloLens 头盔的一种远程协同装配维修系统。利用 HoloLens 的深 度摄像头和摄像头对空间的感知能力,通过改进手势识别算法将专家端的二维手势操作转换为用户端的三维动 画标识。这种简洁生动的三维动画标识通过空间锚点固定在相应的空间位置上,为操作人员开展下一步操作提 供清晰的指引,且无需放下手头工作与计算机进行手势交互,实现了专家-用户模式的远程协同工作。相对于 传统的协同式系统,实验验证了该文开发的协同式装配维修引导系统的友好性和实用性。     

数字维修平台中可视化交互系统的研究与实现

在导航装备数字维修平台中,提出了一种新的面向Agent思想的可视化交互系统的结构模型,该模型采用B／S模式网络平台构建;将网络化虚拟现实技术应用于装备维修领域,针对某型惯性导航装备,给出了基于Cult 3D虚拟现实技术的可视化交互系统的实现方法,虚拟装备的动作由用户自定义的Java类灵活控制。该交互系统与B／S网络平台可实现无缝结合,处于网络中的用户只需通过浏览器即可与虚拟装备进行交互。系统测试表明,该设计方案完全可行,虚拟导航装备形象逼真。交互性好,可便于维修人员深入了解装备的内部结构,从而提高工作效率。     

基于HoloLens2的天然气场站数字孪生系统

针对能源行业发展过程中面临的健康安全和环境风险问题,以及场站数据展示形式的有限性,设计并实现基于HoloLens2的天然气场站数字孪生系统。HoloLens2头戴式设备采用先进混合现实技术,因其灵活性及支持虚拟模型交互等功能被用于用户界面的设计。系统运用模型库技术,对现场设备进行高精度建模与分类。通过数据管理模块存储传输生产区和控制系统的实时数据,并对机密数据增加访问权限以保证安全性。采用分布式流媒体渲染技术实现并行计算传输视频流,解决HoloLens2性能受限的问题。     

基于HoloLens的飞机维修远程指导系统

针对飞机维修人员在遭遇棘手维修问题时难以快速处理的问题,提出一种基于HoloLens的飞机维修远程指导系统;采用改进的$P算法,对标注手势点序列进行时间标记,通过对专家端手绘笔划的快速识别,同时结合HoloLens设备的空间感知能力进行三维模型标注的放置;这种新型的索引标注方式,减少了专家端从模型库中调用标注的时间;同时结合二维标注,通过对圈选坐标信息和深度信息获取,对重点维修部位进行标注;在佩戴HoloLens设备时提高了维修人员对专家给出的特定维修部位和重点维修流程的理解程度;对改进$P算法速率进行了实验,实验验证了本文所改进的$P算法提升了手势识别速率,同时二维标注点的准确性也得到了保障,证明了维修远程指导系统的可用性。     

适用宇航智能交互场景的混合现实技术研究

随着中国空间站的逐步建成,航天员会面临执行诸如设备更换、空间实验和太空行走等在轨任务的挑战;但由于通讯延迟等影响,地面指挥中心难以对航天员提供全天候的技术支持,要求航天员具备独立获取信息支持的能力,混合现实技术可以较好地解决这一问题;首先介绍了混合现实技术的概念,并对该技术进行了宇航应用特点分析;利用Unity创建虚拟模型,在VS2015的开发平台下编写语音指令、手势操作及凝视等控制程序,基于HoloLens的混合现实头盔实现应用;重点对空间扫描构图进行了研究,通过HoloLens的深度摄像头扫描室内环境,对空间构图数据进行分析与处理,实现了将全息影像投影于真实世界的表面,并与全息影像开展多种形式的物理交互;证明了混合现实技术在航天员在轨辅助支持上实现的可行性。     

基于Pro/E的虚拟拆装系统

为实现快速、有效、低成本的部队维修训练,通过分析虚拟拆装系统的需求,构建基于Pro/E的虚拟拆装系统,其中包括I/O设备、虚拟拆装环境管理、数据库和性能测试模块,给出与I/O设备交互、虚拟拆装环境管理等系统实现的关键技术,通过Pro/E二次开发验证该系统的可行性和有效性。     

车载指控通信系统虚拟维修教学训练平台设计

为了紧贴未来体系化作战对分队指控通信装备维修保障的现实要求,针对原有单体设备维修训练模式的不足,突出系统级维修训练模式,利用虚拟仿真技术,构建了一种沉浸式虚拟维修教学训练平台,实现三维虚拟可视化认知教学和近实战化仿真交互训练,能够为车载指控通信系统构造与原理、通信组网运用中的故障诊断与排除等教学内容提供训练环境。     

基于混合现实技术的中国建筑史教学系统设计与实现

针对传统中国建筑史教学建筑结构繁杂、局限于二维平面化教学、不易于学生理解等问题,提出构建一种基于混合现实技术的中国建筑史教学系统的实现方法。选取宁波保国寺大殿木构体系作为研究案例,采用混合现实设备微软HoloLens作为案例的教学平台。首先,基于收集的数据,在3ds Max中对保国寺大殿木构体系进行三维仿真建模,建立建筑模型库;然后,在unity3D中构建虚拟教学系统的三维空间操作界面,利用C#脚本,实现环境理解和多种人机交互等关键技术,构建以建筑结构识别和文化认知为核心功能的HoloLens教学系统。结果表明,该系统具备良好三维可视化的视觉效果和自然高效的人机交互方式,能有效提高知识的传递效率和学生的学习主动性。     

面向虚拟现实技术的风机装配与风场模拟

虚拟现实技术是一门新兴的技术,其具有多感知性、沉浸感、交互性和构想性四大特性。基于该技术,设计了一个3D风机场景虚拟漫游系统。应用虚拟现实技术可进行风机建模装配及3D风场模拟系统设计;结合Nvision虚拟交互平台,辅以外接的控制和显示设备实现虚拟漫游;最终通过人机接口技术,让用户沉浸在虚拟环境中并实现二者之间的人机交互,提供传统表现方式无法比拟的、崭新的信息交流界面。     

基于混合现实技术的变电站智能运检辅助系统的设计与实现

针对变电站运检现场工作智能化等业务的需求,开发了一套基于混合现实技术的变电站智能运检辅助系统。该系统基于智能穿戴设备HoloLens,提供了变电站智能辅助运检的一整套解决方案。系统包括电力设备识别与虚拟拆装、设备运行状态实时三维可视化、远程专家视频辅助等模块。该系统在国内某110kV变电站进行了部署,现场应用表明该系统切实优化了传统运检现场工作方式,提升了运检效率,在行业内具备实用性和推广性。