基于人机交互装配式建筑构造虚拟仿真教学系统

由于传统教学手段难以满足建筑领域对高质量建筑信息模型（Building Information Modeling,BIM）人才培养的需求，设计了基于人机交互装配式建筑构造虚拟仿真教学系统。系统整体结构由装配式建筑构造的演示教学模块、构造控制与预制构件组装的模拟教学模块以及模拟考试模块组成；硬件结构由高性能计算机与HTCVIVE头戴式人机交互设备组成。该系统通过3DMax软件完成教学系统的三维建模功能，采用基于动态时间规整算法（Dynamic Time Warping,DTW）的动态手势识别算法完成系统的人机交互功能。实际应用结果表明，该虚拟仿真教学系统可以激发学生学习兴趣，能够取得良好的教学效果。     

基于增强现实的手机摄影沉浸式虚拟教学系统设计

为加深学生对知识的理解，基于增强现实技术设计手机摄影沉浸式虚拟教学系统。首先，选择低功耗的处理器芯片，并将其与上层软件连接起来；其次，设计手机摄影沉浸式虚拟教学系统软件，在实现场景模块时，获取三维坐标系统模拟的物体运动方程；最后，进行实验对比分析。实验结果表明，该教学系统可以有效提高学生的学习成绩。     

基于混合现实的矿用设备维修指导系统

针对矿用设备现场维修知识和专业指导不足导致维修效率低、周期长,虚拟现实和增强现实技术实现平台一般为头戴式设备、手机等,设备的移动性很好,但用户只能依赖交互手柄、触摸屏进行交互,视觉体验缺乏真实性,设计了一种基于混合现实的矿用设备维修指导系统。该系统基于Unity3D虚拟现实平台,采用混合现实设备HoloLens实时显示维修指导方案,实现了矿用设备原理虚拟仿真、基于二维码的设备管理、设备维修指导和远程专家协作等功能。HoloLens通过虚拟文字、虚拟设备模型、动画及语音提示等方式将维修指导信息直观地呈现给维修人员,维修人员可通过视线跟踪、语音交互、手势识别等方式与HoloLens交互。采煤机齿轮磨损故障维修指导应用实例验证了该系统的实用性和有效性。     

多媒体网络教学系统的设计与实现

网络教学系统是一种新的教学系统,它的出现改变了传统教学方式,能提高教学效率和学生参加教学活动的积极性。该系统结合教学系统的客户机／服务器以及浏览器,服务器这两种模式各自的优点提出了两者相结合的教学系统结构模式,并介绍了多媒体数据库的设计。在此基础上给出了一种全新的基于多媒体数据库技术实现网络教学系统的设计方法和实现结果。系统利用Visual Basic6．0和Informix Web DataBlade作为主要开发工具进行设计开发。在系统的设计过程中,充分考虑了多媒体数据库的特点,使用了大量的图形、图像和动画,人机交互界面友好,操作简单,功能先进。     

HoloLens在医疗领域的应用综述

在混合现实技术(MR,Mixed Reality)的众多应用领域中,医疗是其非常理想的应用场景。HoloLens作为混合现实技术的优质载体,一经问世便得到众多关注,并在医疗领域得到深入研究和广泛应用,可以说HoloLens的出现改变了医疗行业观察事物的传统方法。本文将围绕HoloLens在医疗领域的应用作一综述。     

多媒体网络教学系统的设计与实现

网络教学系统是一种新的教学系统,它的出现改变了传统教学方式,能提高教学效率和学生参加教学活动的积极性。该系统结合教学系统的客户机/服务器以及浏览器/服务器这两种模式各自的优点提出了两者相结合的教学系统结构模式,并介绍了多媒体数据库的设计。在此基础上给出了一种全新的基于多媒体数据库技术实现网络教学系统的设计方法和实现结果。系统利用Visual Basic6.0和InformixWeb DataBlade作为主要开发工具进行设计开发。在系统的设计过程中,充分考虑了多媒体数据库的特点,使用了大量的图形、图像和动画,人机交互界面友好,操作简单,功能先进。     

适用宇航智能交互场景的混合现实技术研究

随着中国空间站的逐步建成,航天员会面临执行诸如设备更换、空间实验和太空行走等在轨任务的挑战;但由于通讯延迟等影响,地面指挥中心难以对航天员提供全天候的技术支持,要求航天员具备独立获取信息支持的能力,混合现实技术可以较好地解决这一问题;首先介绍了混合现实技术的概念,并对该技术进行了宇航应用特点分析;利用Unity创建虚拟模型,在VS2015的开发平台下编写语音指令、手势操作及凝视等控制程序,基于HoloLens的混合现实头盔实现应用;重点对空间扫描构图进行了研究,通过HoloLens的深度摄像头扫描室内环境,对空间构图数据进行分析与处理,实现了将全息影像投影于真实世界的表面,并与全息影像开展多种形式的物理交互;证明了混合现实技术在航天员在轨辅助支持上实现的可行性。     

基于HoloLens的变电站运维仿真培训系统

HoloLens增强现实(Augmented Reality, AR)眼镜为现实世界叠加了逼真的3D全息影像,因此其常被采用为平台来开发基于增强现实技术的变电设备运维仿真培训系统。以HoloLens的主相机作为变电站图像采集设备,采用ASIFT设备局部特征识别方法、人工编码标识识别方法和基于光学字符识别技术（OCR）的设备标牌识别方法相结合,实现变电站不同大小和不同形状设备的可靠识别;通过视觉方法寻找人工标识特征点或设备特征点对目标设备进行精确定位和初始化注册,并利用HoloLens的空间锚点（Anchor）技术,实现目标设备的快速跟踪和注册;构建基于增强现实的变电设备运维学习、训练和考核环境,并进行示范验证。本文通过拓展现有实训系统的功能,提升了现有实训系统的实用性、交互性与体验感,提高了培训的效果和效率。     

基于Web和数据挖掘技术的智能教学系统研究

传统的智能网络教学系统在适应性和个性化方面存在严重缺陷.基于Web和数据挖掘技术构建了一个智能教学系统的模型,该模型采用人工神经网络、聚类分析等关键技术,获取学生对知识点的理解程度,并对学生学习特征分类,根据学生的不同特征和兴趣点,提供不同的教学策略和教学内容,更有利于实现系统的个性化教学.     

基于J2EE平台的网络辅助教学系统的设计与实现

本文介绍了J2EE体系结构和技术框架,研究了网络辅助教学系统的实现目标及网络教学平台构建的策略,讨论了网络辅助教学系统的功能、系统结构、设计与实现,并通过对核心模块“自动答疑”实现过程的具体介绍,阐述了基于J2EE技术的网络辅助教学系统的设计与实现技术。     

基于HoloLens的变电站巡检系统

In order to realize the intelligent inspection of substation, the design method of inspection system of substation based on HoloLens is proposed, the overall design framework of inspection system of substation is analyzed, the function modules of the system are constructed. The wearable AR / MR equipment is used to conduct the human-computer interaction and remote information collection in the inspection process of substation, so as to obtain the engineering file configuration of inspection system of substation. Vision sensing and bioelectric signal measurement sensing technology is used to sample and analyze the inspection image information of substation, and realize the design of visual information acquisition module. The near-field wireless communication is used to design the inspection network of substation, and the multimedia virtual reality enhancement technology is applied to 3D display the inspection output of substation, and the virtual scene generator, helmet display, the aligner of virtual scene and real scene are designed. In the process of substation inspection, users can observe and track the line of sight, and optimize the design of substation inspection system based on wearable HoloLens intelligent products. The test results show that the designed substation inspection system can accurately obtain information, the safety factor of substation inspection is high, it has good human-computer interaction and good practical application value.     

基于混合现实的远程协同式装配维修引导

提出一种基于混合现实设备 HoloLens 头盔的一种远程协同装配维修系统。利用 HoloLens 的深 度摄像头和摄像头对空间的感知能力,通过改进手势识别算法将专家端的二维手势操作转换为用户端的三维动 画标识。这种简洁生动的三维动画标识通过空间锚点固定在相应的空间位置上,为操作人员开展下一步操作提 供清晰的指引,且无需放下手头工作与计算机进行手势交互,实现了专家-用户模式的远程协同工作。相对于 传统的协同式系统,实验验证了该文开发的协同式装配维修引导系统的友好性和实用性。     

基于虚拟现实的中国古建筑虚拟重建

虚拟现实是数字图像处理、计算机图形学、计算机视觉、人机交互等多项技术的综合应用。本文针对中国古建筑的特点,应用虚拟现实技术,对毁于1860年战火的我国著名古典园林圆明园的部分典型建筑实现了虚拟重建。虚拟重建的过程主要包括数据获取、场景建模、漫游系统和实时渲染等。虚拟重建圆明园系统以圆明园中的单个景点为例,提供了含多种漫游方式的人机交互系统,对应用虚拟现实技术于中国古建筑保护进行了有益的尝试。     

基于HTC VIVE的虚拟针灸教学软件设计研究

随着计算机技术的不断发展,虚拟现实技术在传统教学中有了越来越多的应用。为提高学生对中医针灸的学习兴趣和对人体穴位基本理论知识的理解与记忆,研究基于虚拟现实技术的中医虚拟针灸教学软件开发中的关键技术。采用3d Max软件对人体模型建模,注重人体关键部位轮廓的绘制;并结合虚拟现实设备HTC VIVE,利用Unity3D软件中建立虚拟场景;最后,重点使用JSON语言实现穴位信息存储管理,完成人机交互模式设计,为辅助中医针灸教学提供了一种新方法。     

基于VR技术的三维射击游戏开发研究

目前三维游戏中利用了虚拟场景,以便捷的人机交互,为游戏者提供最佳的游戏体验。三维游戏的衍生在很大程度上推动了虚拟现实(VR)技术的更新优化,其涵盖了虚拟现实所有技术。本文基于VR技术设计开发三维射击游戏。首先分析游戏开发需求,其次设计三维VR系统结构与游戏开发流程,再次详细规划三维射击游戏功能模块,最后进行游戏人物、场景、道具开发与实现。得出结论,基于VR技术的三维射击游戏,可增强游戏交互性,为游戏者提供身临其境的游戏场景,以此带来全新的游戏刺激与体验。     

基于混合现实技术的变电站智能运检辅助系统的设计与实现

针对变电站运检现场工作智能化等业务的需求,开发了一套基于混合现实技术的变电站智能运检辅助系统。该系统基于智能穿戴设备HoloLens,提供了变电站智能辅助运检的一整套解决方案。系统包括电力设备识别与虚拟拆装、设备运行状态实时三维可视化、远程专家视频辅助等模块。该系统在国内某110kV变电站进行了部署,现场应用表明该系统切实优化了传统运检现场工作方式,提升了运检效率,在行业内具备实用性和推广性。     

基于虚拟现实的机器人智能控制系统

本文基于虚拟现实技术特点,构建了虚拟现实环境下的机器人智能控制系统,将Eon Studio与VC++可视化结合构建人机交互平台,将系统分为人机交互系统和遥控机器人系统部分,采用3DS MAX建立虚拟场景和机器人,基于TCP/IP协议的无线局域网技术进行数据交互,并利用EonX空间进行Eon和VC++6.0的通信。通过实例验证表明,基于虚拟现实技术的遥控机器人智能控制系统控制精确度高、动作准确,能够较好地满足实际工作要求。     

基于 MR 的机电装备智能检测维修

研究 Faster R-CNN 目标检测网络的基本结构与训练方法;建立了机电装备状态数据集,训练了 目标检测网络,一步实现了指针式仪表区域的提取、数字式仪表读数的识别以及开关、插头状态的识别;在不 同视角和光照强度下对目标检测网络进行了测试,结果表明模型在不同的环境中均能保持 90%以上的准确度。 并以此为依据推理故障的原因,最后根据推理结果,使用基于 Unity 3D 软件与 Hololens 2 硬件开发的机电装备 智能维修辅助系统来调取混合现实(MR)全息诱导维修信息,以指导保障人员进行操作。实验验证了系统的可用 性,实验结果显示使用 MR 可以快速、高效地完成维修任务。并依据操作耗时和问卷调查进行测试与评价,对 系统的优越性进行了定性分析。     

ACL重建手术增强现实导航系统的人机交互技术

为避免人机界面的多余信息给医生带来的“失控感”,以医生在手术中的认知模型为基础,提出了增强现实手术导航系统中的人机交互的准则。针对AR导航界面的多感官信息融合问题,提出基于eGOMS模型的人机交互范式。为客观评价AR导航系统的人机交互可用性,采用层次分析法构建人机交互的可用性评价指标体系,并采用模糊理论对AR导航系统的人机交互可用性进行综合评价。该系统的评价结果为较好,可以进行实际应用。