基于图像流的虚拟现实系统交互方法的实现

基于传感器或图像识别的人体运动跟踪代价高昂,该文提出了一种更为简便易行的交互方法,它提取拍摄到的连续图像中参与者位置和运动趋势的信息将其作为参与者与虚拟环境交互的基础。文章对根据这一技术实现的虚拟现实系统作了介绍,并着重论述了实现这种交互方法的关键技术,最后对这一技术的发展前景作了展望。     

基于认知负荷的雷达任务编排系统交互设计研究

本文从交互设计要素入手,以降低用户的认知负荷水平、提高人机系统工作绩效为目的,对雷达任务编排系统界面的设计展开研究。以某雷达任务编排系统为研究载体,提出了交互设计策略和方法,并进行交互设计实践。最后通过NASA-TLX主观量表和任务绩效法对设计前后的系统分别进行对比测试。实验结果显示,在重新设计的任务编排系统中,被试的认知负荷明显低于原系统,证明了设计策略的有效性。     

基于触觉交互界面的虚拟现实警务训练系统

虚拟现实凭借着其高沉浸感的体验,在警务仿真培训中有着广泛应用,由于商用虚拟现实系统多关注视觉反馈,难以使用标准的手控器为警务培训提供逼真的触觉交互体验。触觉交互界面基于多功能的离散单点触控交互系统,可实现虚拟现实中的道具操作直接交互,针对虚拟训练中的警务场景,该系统能够识别用户所选道具,并响应用户的交互动作,以提高虚拟现实系统的交互真实性。该系统使用HTC Vive 追踪器对用户进行运动捕捉,以生成人体骨架驱动虚拟代理。同时,使用单片机获取并处理用户的道具选择信息及用户与道具的交互信息,再通过蓝牙通信传输至上位机。硬件设计采用 STM32F103 系列中的 C8T6 最小系统板,相关功能通过软件 Keil5 编程实现。实验验证了系统的正确性和可行性,能够提供多样的物理触觉代理,增强了虚拟环境中的交互体验。该系统为虚拟现实交互技术提供了新的思路和方向,具有很好的应用前景。     

基于多传感器数据的虚拟现实翻译机器人交互自动化系统设计

为进一步提升英语翻译机器人在交互过程中的翻译准确度,提出一种基于多传感器数据的虚拟现实交互自动化系统。首先,通过多种传感器采集用户的交互行为,并通过基于k最近邻算法与情景记忆的持续学习算法(简称KNN-EMAR算法)挖掘用户行为中的情感信息;再将情感信息以标签的形式融入待翻译的源语言的文本信息中,从而通过情感标签提高翻译机器人对用户表述内容的理解程度,提高英语翻译机器人翻译结果的准确度;最后利用虚拟现实技术,将用户交互行为转换为动画,并以用户交互动画+翻译语音的形式展示翻译结果。结果表明,KNN-EMAR算法可从用户交互行为中精准地挖掘出用户情感信息,且挖掘准确率可达到99.23%;情感信息的加入,使英语翻译结果的BLEU指标值和METEOR指标值得到明显提升,具有更好的英语翻译准确度;该系统可正常运行,输出用户交互动画+翻译语音的翻译结果,在跨语言教学中具有一定的实际意义。     

用户认知驱动的VR自然交互认知负荷研究

针对目前虚拟现实自然交互系统中用户认知负荷难以量化问题,以量化认知负荷为目的,提出一种基于概率神经网络的多通道信息融合模型。首先根据认知理论建立“认知—行为—环境”框架,并在此基础上研究用户认知的数学表征（方法,过程,机理）,构建多通道认知模型;然后将多通道信息融合方法引入虚拟现实自然交互系统,建立一种面向虚拟现实自然交互系统的认知负荷模型;通过VR隧道应急救援系统实验对系统中用户认知进行验证。验证结果表明,具体提出的认知负荷模型具有一定的可行性。     

基于LAN的计算机视觉与虚拟现实集成模型研究

进入80年代后期,虚拟现实技术取得了迅速的发展,目前作为一个全新的技术生长点受到了国内外学者的广泛关注。文中提出了一个基于LAN计算机视觉与虚拟现实集成模型。论述了系统实现及实验结果。研究结果表明,把计算机视觉技术与虚拟现实技术“集成”在一起,从现实世界精炼出关键参数供虚拟现实技术所用,可构成简便灵活的虚拟现实系统,文中在研究大空间跟踪中采用了该模型,证明了该模型的可行性及优点。     

面向沉浸式虚拟现实的数字地球交互漫游方法EI北大核心CSCD

针对目前沉浸式虚拟现实相关工作通常是基于局部环境构建的,在全球大范围场景方面仍存在空白和不足的问题,提出一种面向沉浸式虚拟现实的数字地球交互漫游方法.首先,确立以观察者为中心的视点控制基本范式;其次,推导设备坐标系与大地坐标系、空间直角坐标系之间的2种基本对应关系,将真实世界中人的活动空间连续映射到数字地球中;然后,考虑当前硬件条件,提出一种综合使用头盔和手柄进行全球范围漫游浏览的方法,能够对观察方向、移动方向、移动速度进行灵活且准确的控制,并符合人在真实世界的经验和直觉;最后,融合地表影像、高程、高精度倾斜模型数据构建多尺度数字地球场景,设计多种类型漫游任务进行实验,通过完成度、耗费时间、视线偏角等指标,评估漫游方法的有效性、合理性和舒适度.实验结果表明,该方法能够有效地支撑用户在全球虚拟环境中的漫游浏览,可以更自然、高效地完成多种类型的漫游任务,为后续全球范围沉浸式虚拟现实相关工作提供基础.     

试析基于虚拟现实的多媒体交互设计研究

本文以虚拟现实交互艺术设计为研究对象,从发展起源的角度分析了媒介、艺术、设计三者交叉形成的虚拟现实作品以及虚拟现实的交互特征,并通过对相关问题的讨论,提出了虚拟现实的多媒体交互设计。以交互为核心的虚拟现实为人们提供了一种新的感知世界的方式,也给艺术设计工作带来了更多的可能性和更复杂的要求。充分了解沉浸式虚拟现实交互媒介的特点,有助于我们更好地利用沉浸式虚拟现实交互媒介这一工具,创作出更高质量、更具体验的作品,达到更接近自然交互的感性交流模式。结合科技力量、艺术思维和设计方法,传播前进之路。本文在对新媒体艺术设计研究的基础上,着重从艺术设计的角度探讨如何在虚拟现实中进行交互设计和评价,使虚拟现实作品具有更好的体验感,特别是从审美的角度。早期作品的实现首先是建立在软件技术和硬件操作的支持之上,并局限于这些支持,体验质量还有很大的提升空间。目前,追求更高的审美体验已成为体验者和创造者的明确目标。本文的研究对于提高虚拟现实作品交互艺术设计的审美品质具有一定的意义。     

虚拟现实引领人机交互的革新

虚拟现实技术的发展一直以来是人们关注的科技焦点,本文总结虚拟现实技术的基本概况,并着眼与虚拟现实技术在交互体验上的新思路。     

基于自由立体视频的露天开采虚拟现实的研究与实现

文章结合最新的交互式自由立体视频技术与露天开采虚拟现实技术,设计并实现了一种基于自由立体视频的露天矿开采虚拟现实技术的交互与演示系统。文章利用3DS Max和VRMap软件建立了某露天矿区的虚拟视觉模型,并将这些虚拟视觉模型按照适合立体显示的条件进行场景渲染和视频图象生成,最后结合虚拟场景的三维显示特性设计了交互式自由立体视频软件,通过该软件展示了虚拟现实场景。该系统克服了传统虚拟现实演示的局限性,用较低的成本支持更多的用户进行参与和交互,同时也具有较强的环境拓展性。     

虚拟现实软件研究

随着社会生产力和科学技术的不断发展,各行各业对虚拟现实技术及其开发软件的需求日益旺盛。人们对虚拟现实及其系统的研究日益重视。虚拟现实软件种类繁多,功能各异,这给虚拟现实系统开发者带来了困难。文中首先对国内外常用虚拟现实软件的功能和特点进行了分析,并对这些软件的优缺点进行了分析比较,旨在为进行虚拟现实系统软件开发的人员开发虚拟现实系统提供参考。其次,在此基础上,针对当今虚拟现实开发软件存在的缺点,指出了虚拟现实软件未来的发展方向。     

基于脑电的虚拟现实诱发下情绪状态分类

情绪在歌唱活动中发挥着重要作用,但现阶段高校声乐课程缺乏对情绪调动的有效训练。由于虚拟现实技术具有真实性、沉浸性的特征,本文提出将其应用于声乐教学过程中的情绪诱发阶段。为了验证虚拟现实技术对情绪诱发的有效性,本文提取了不同类型的脑电特征,对情绪自我想象和虚拟现实情绪诱发两种场景下的情绪状态进行分类,并对比了情绪分类准确率、情绪自评分数和声乐自评分数,从主观和客观两方面探究虚拟现实技术对参与者情绪调动的影响。实验结果表明,相比于传统自我想象,虚拟现实技术可以极大地诱发参与者情绪,提升演唱效果,从而为声乐演唱教学提供一种新的辅助手段。     

虚拟现实(VR)场景的贴图表现艺术探微

虚拟现实(VR)互动展示系统是技术与艺术的结合体,是在计算机技术基础上的艺术性再造;基于技术,融入艺术,是VR系统的主要特征。文章从贴图表现艺术作为VR系统技术与艺术之间的纽带,表现VR场景的艺术氛围这个角度进行探索研究。     

虚拟现实技术在远程教育平台中的应用

本文研究了远程教育平台中虚拟现实技术的应用途径以及VRMDEP的实现,提出构建VRMDEP的总体框 架,设计虚拟同步与异步教学系统,构建模拟场景以实现用户之间的交互。     

基于虚拟现实的塑料注塑成型系统场景可视化

虚拟现实,作为一门新型技术,已成功地应用于工程、设计和制造业领域.该文针对塑料注塑成型复杂的设计、制造、加工过程,将虚拟现实技术应用到塑料注塑成型过程中,并利用Delaunay三角剖分技术结合立体显示技术,开发了一种实用的虚拟场景.在此场景中可实现注射系统的全部设计和制造过程,并结合面向对象的编程技术和OpenGL图形库,实现注射成型系统在虚拟现实场景中的动态可视化,从而能够预先感知注射系统在设计、制造过程中可能出现的问题,并加以解决,实践证明了其可行性.     

基于虚拟现实的火电站设备管理系统设计研究

科学的电站设备管理与维护技术是提高能源利用效率、保证设备安全经济运行的有效途径.目前火电站设备信息统计量大、分析处理复杂程度高,传统的以卷宗、图纸、电子文档为载体的基础数据管理模式存在效率低、表现方式不直观等问题.为了解决上述问题,提出了一种基于虚拟现实的火电站设备管理系统.对设备零部件进行精确建模并建立数据库,以三维模型为核心将设备的基础数据进行整合,建立与MIS系统的数据接口,基于运行数据实现设备的状态检修,并以三维仿真的形式表现设备的检修维护方案.研究成果已应用于华能集团某电厂,改革了传统的设备管理及维护模式,在提高管理效率和技术人员培训等方面发挥了重要作用.     

基于虚拟现实的远程维修服务

虚拟现实技术是一项新型的计算机图形技术,虚拟现实技术能在计算机上创造出逼真的仿真效果,对现实行为进行计算机模拟。可拆卸设备的维修服务是保证设备系统正常工作的重要因素,为维修服务提供快捷而有效的技术支持显得尤为重要。将网络技术和虚拟现实技术有机地结合将为开展远距离的维修服务提供了一个有力技术支持平台。该文研究和论述了基于虚拟现实技术的远程维修系统的结构体系,关键技术及其实现方法。并对远程故障诊断系统的体系结构做了一定的分析。     

Digital Twin for Human-Robot Interactive Welding and Welder Behavior Analysis

This paper presents an innovative investigation on prototyping a digital twin(DT)as the platform for human-robot interactive welding and welder behavior analysis.This humanrobot interaction(HRI)working style helps to enhance human users'operational productivity and comfort;while data-driven welder behavior analysis benefits to further novice welder training.This HRI system includes three modules:1)a human user who demonstrates the welding operations offsite with her/his operations recorded by the motion-tracked handles;2)a robot that executes the demonstrated welding operations to complete the physical welding tasks onsite;3)a DT system that is developed based on virtual reality(VR)as a digital replica of the physical human-robot interactive welding environment.The DT system bridges a human user and robot through a bi-directional information flow:a)transmitting demonstrated welding operations in VR to the robot in the physical environment;b)displaying the physical welding scenes to human users in VR.Compared to existing DT systems reported in the literatures,the developed one provides better capability in engaging human users in interacting with welding scenes,through an augmented VR.To verify the effectiveness,six welders,skilled with certain manual welding training and unskilled without any training,tested the system by completing the same welding job;three skilled welders produce satisfied welded workpieces,while the other three unskilled do not.A data-driven approach as a combination of fast Fourier transform(FFT),principal component analysis(PCA),and support vector machine(SVM)is developed to analyze their behaviors.Given an operation sequence,i.e.,motion speed sequence of the welding torch,frequency features are firstly extracted by FFT and then reduced in dimension through PCA,which are finally routed into SVM for classification.The trained model demonstrates a 94.44%classification accuracy in the testing dataset.The successful pattern recognition in skilled welder operations should benefit to accelerate novice welder training.     

基于虚拟现实和动态加权决策融合的恐高情绪识别

目前恐高情绪分类中的生理信号主要涉及脑电、心电、皮电等, 考虑到脑电在采集和处理上的局限性以及多模态信号间的融合问题, 提出一种基于6种外周生理信号的动态加权决策融合算法. 首先, 通过虚拟现实技术诱发被试不同程度的恐高情绪, 同步记录心电、脉搏、肌电、皮电、皮温和呼吸这6种外周生理信号; 其次, 提取信号的统计特征和事件相关特征构建恐高情感数据集; 再次, 根据分类性能、模态和跨模态信息提出一种动态加权决策融合算法, 从而对多模态信号进行有效整合以提高识别精度. 最后, 将实验结果与先前相关研究进行对比, 同时在开源的WESAD情感数据集进行验证. 结论表明, 多模态外周生理信号有助于恐高情绪分类性能的提升, 提出的动态加权决策融合算法显著提升了分类性能和模型鲁棒性.