桌面环境下的笔式三维交互框架

笔输入和三维交互结合是研究三维交互范型的一种新方法。提出一个桌面虚拟环境下的笔式三维交互框架,包含交互原语和交互任务构造两个核心组件。首先采用词法到语法的二级封装机制来生成高级事件和交互原语,然后综合交互上下文、用户修正和手势识别实现基本交互任务到复杂交互任务的整合机制。框架中内嵌的手势交互、约束感知和混合交互技术能有效降低任务分解和模式切换带来的认知负担,提高交互自然性。     

三维交互体系结构的研究与实现

针对当前人机交互特别是三维交互的现状基于分布式环境提出了一个分层的模型结构,分析了一般交互在各层中的基本行为,建立了与具体硬件设备无关的面向任务的事件模型,着重讨论了原始结构形成基本事件的方法,复合事件对基本事件的时间关系的整合以表达复杂的语义,在一般交互模型的基础上描述了三我互的8种基本任务,一切复杂的交互任务都是这8种基本任务在时间或空间上的语义整合,最后实现了分布环境下三维交互的一个原型系统Easy3D。     

基于Leap Motion的三维手势交互系统研究

手势识别的快速发展及体感设备的不断更新为三维手势交互提供了灵感,基于Leap Motion 手势识别和最邻近算法,建立了一种三维手势交互系统。首先对手势设计理论和交互手 势设计原则进行研究,基于此设计手势功能和建立手势库,并将手势库分为 8 种手势;其次进 行手势特征提取,建立手指关键点模型,获取手势特征的角度特征;然后计算 KNN 算法和 SVM 算法的手势识别效率,KNN 改进算法取得较好的识别效率;最后,设计三维交互系统,手势分 类为 4 个模块,每个模块有 2 个手势任务;20 名测试者中提取 1 600 组手势数据,并进行总采 集样本关节点均值的数据分析;设计三维交互系统模块,在 Unity3D 中创建的三维交互系统中 导入 1 600 组手势数据,根据自定义的 8 种手势驱动虚拟手完成交互设计过程,完成用户体验 分析和手势识别效率统计。通过研究发现,基于 Leap Motion 手势识别具有较高的识别效率, 三维手势交互系统富有创新性。     

基于Arduino的虚拟现实交互系统实验案例设计

综合运用嵌入式、三维建模、虚拟现实等技术,提出一个软硬件结合的虚拟现实交互系统典型案例,实现虚拟场景与现实环境的实时交互控制。通过3DMAX和Unity3D软件设计虚拟现实交互场景,采用Arduino核心板搭建场景的控制模块,运用光敏电阻和湿度传感器实时获取环境信息并注入虚拟场景中,实现虚拟现实交互系统。     

Post-WIMP界面隐式交互特征研究

首先从认知心理学的角度对Post-WIMP界面下的隐式交互特征进行分析和描述。然后通过对传统界面的交互任务生成结构和Post-WIMP界面的交互任务生成结构进行比较,分析Post-WIMP界面交互任务的生成特点。根据这些特点提出了利用识别技术、上下文感知技术和用户修正技术(User Mediation)相结合的方法来支持Post-WIMP界面的隐式交互,并构造了Post-WIMP界面的交互任务生成框架。这些隐式交互特征的研究将为建立Post-WIMP界面软件框架和交互平台提供底层支持。     

基于Quest3D的钻床加工虚拟教学系统的研究

针对培训系统要求人机交互界面好以及沉浸感强等特点,在钻床教学系统开发中采用实时3D建构工具Quest3D,提出了一种针对钻床教学培训的虚拟现实系统的开发方案,将虚拟现实系统分为三维显示模块,运动控制模块,场景交互模块和场景声控模块等,通过Quest3D的图形编程使得整个系统开发周期缩短,运行效率提高。成功将三维场景虚拟交互技术运用于钻床教学培训系统中。     

基于J2EE的与纳税人交互系统模块的研究与实现

税务部门,承担着地方财政收入的征收任务,社会经济日新月异的发展对税务工作信息化的要求也不断提高。比较了传统人工大厅申报纳税以及网上申报与现在开发的采用B/S结构的与纳税人交互系统,详细分析并探讨了使用J2EE技术来实现与纳税人各种交互的基本原理、方法和机制,同时,通过横向比较几种开发B/S结构系统的技术,突出了采用J2EE开发与纳税人交互系统的优点。并使用数据流驱动整个系统的运作,分层设计底层数据库,使用ETL工具分层处理数据,详细的分析了每个模块的功能和任务,在此基础上设计了系统模块。     

基于虚拟引擎的交互系统研究

针对网络环境下虚拟交互的应用问题,提出虚拟交互引擎模型结构。借助多Agent协同以及3D交互互感的接口标准,为虚拟现实系统提供Agent库、交互规则库等4个核心模块结构库。通过交互库构建用户设计输入操作感知等虚拟交互子系统,并给出虚拟交互引擎解决方案。     

基于GMR-1 3G的RRC连接过程的研究与实现

GMR-1 3G通信标准开启了卫星通信新的里程碑.系统协议栈的性能决定了数据吞吐率和频谱利用率.GMR-1 3G系统无线资源控制层(RRC,radio resource control)起到传输非接入层信息,控制底层的承上启下作用.介绍了RRC层的结构与功能,主要分析RRC连接的建立与释放过程,并编码实现.在实现过程中采用一个进程多个任务实现方法大大节约了资源.通过设计状态机完成RRC连接功能,同时进行交互原语的设计,将交互原语和要发送的数据消息存储在一块连续的内存空间,有效提高了系统运行效率.测试结果表明RRC能正确实现协议所规定的功能.     

基于3D Widgets三维交互快速拾取算法研究

为解决图形、图像在三维交互及深度[10]信息处理过程中所存在的问题,提出了一种以3D Widgets为核心的三维交互框架,并研究了三维交互拾取的多种算法。基于3D Widget[4]的拾取技术能提供给用户交互旋转和交互拾取的功能。实验结果表明,该算法与已有的算法相比,将这些算法其应用在手术模拟三维交互系统中,可以提高用户使用的直观性,还有益于以后的功能扩展。为后续的交互过程奠定基础。本文的创新之处正是在此理论的基础上,将其应用在三维交互中具有重要的价值和意义。     

基于场景语义的3D交互体系结构

借鉴真实世界的认知心理学原理,将虚拟场景的可视表达和语义信息结合起来共同服务于用户的交互过程,多种3D交互技术被融合在一个统一的交互框架内,使复杂虚拟环境中的3D用户界面更容易被用户理解和使用.通过增强场景图的语义处理能力,建立支持高层语义的3D用户界面体系结构,3D交互系统不仅在几何层上而且还能在语义层上支持交互任务的执行.最后介绍了一个应用实例.     

Context-driven interaction in immersive virtual environments

There are many interaction tasks a user may wish to accomplish in an immersive virtual environment. A careful examination of these tasks reveals that they are often performed under different contexts. For each task and context, specialized interaction techniques can be developed. We present the context-driven interaction model: a design pattern that represents contextual information as a first-class, quantifiable component within a user interface and supports the development of context-sensitive applications by decoupling context recognition, context representation, and interaction technique development. As a primary contribution, this model provides an enumeration of important representations of contextual information gathered from across the literature and describes how these representations can effect the selection of an appropriate interaction technique. We also identify how several popular 3D interaction techniques adhere to this design pattern and describe how the pattern itself can lead to a more focused development of effective interfaces. We have constructed a formalized programming toolkit and runtime system that serves as a reference implementation of the context-driven model and a discussion is provided explaining how the toolkit can be used to implement a collection of representative 3D interaction interfaces.     

桌面虚拟现实环境下的双手交互技术

面向桌面虚拟环境,在分析通用交互设备特点的基础上,提出了具有广泛适用性的双手交互的设备组合;根据虚拟现实通用交互任务的需求,结合设备特点,提出了为左、右手设备分配不同的子任务的策略;组合不同的单手交互技术,提出了包括基于辅助平面的双手交互等3个适用于典型桌面设备组合的双手交互技术;开发了双手交互技术工具箱,并进行了应用验证.     

A Platform for User-Tailored Interaction Development in 2D, 3D, and VR

The discussion on the advantages and disadvantages of 2D, 3D, and VR interfaces and their applicability to different types of systems, users, and information led to a series of stand-alone implementations that lack the possibility of realizing an integrated approach. The acceptance of the different interaction techniques will depend on their success in practical applications, i.e. with systems that are used by different users for different purposes. Since this acceptance is especially hard to achieve in computer-critical environments, such as medicine, we developed a software environment that allows for the development, integration, and user-centered evaluation of existing and new interaction techniques for their use in medical applications. This environment is equipped with an innovative message-passing functionality that provides the communication to and among application objects in 2D, 3D, and VR. Furthermore, the environment contains a component for user-adapted interaction and system support at runtime.     

场景语义约束的三维交互技术

针对复杂虚拟环境下的交互需求,从面向高层应用的角度对交互任务进行分析,提出三维交互任务的层次模型。结合应用特点,将虚拟场景中的语义约束引入到三维交互技术的设计中,实现了多种面向高层应用的导航技术和选择操作技术,并在不同交互技术和操作隐喻模式之间实现了自然的融合和平滑的转换。用户界面利用这些语义约束更好地感知和理解用户的交互意图,实现更为直观、高效的三维交互过程。     

VR/AR技术在教育教学中的创新应用

VR/AR技术作为新兴的科学技术,在社会发展与进步中占有举足轻重的地位,在当前教育教学中的应用已成为不可或缺的环节。在教学过程中,通过VR/AR技术将知识更加立体直观地展现给学生,不仅极大地激发学习兴趣,还可以加强学习体验,培养核心素养。该文就VR/AR技术的概念和应用领域进行阐述,并根据其不同教育阶段进行探讨VR/AR技术的具体应用,为教育带来更多技术的改变,为实现人机交互互动技术提供理论支撑。     

虚拟现实技术在柔性上肢康复机器人中的应用

根据末端牵引式和外骨骼式上肢康复机器人的特性,研制了一种新型的柔性上肢康复机器人。机器人的康复训练系统结合了主动和被动模式的要素,将虚拟现实（VR）技术引入上肢康复机器人,通过现实环境中的光学3D位置捕获以及VR环境中的3D位置感知,设计了虚拟动态模型交互性节点和碰撞检测实验,实现虚拟现实交互,提高虚拟模型运动实时效果和上肢康复训练精度。VR和新颖的康复机器人的集成为具有特定任务的患者提供了有效的训练。     

Effects of Displays on Visually Controlled Task Performance in Three‐Dimensional Virtual Reality Environment

This study aims to evaluate three commercial virtual reality (VR) display devices on the market via a 3D Fitts's task. In addition, a symptom questionnaire was used to assess the severity of cybersickness symptoms induced by these displays. Ten participants performed repetitive pointing tasks over different conditions of varying display devices, movement directions, and indices of difficulty. On the basis of the results, the projection display obtained the best task performance with the lowest movement time and the highest throughput. It had the least symptoms among the three display devices. The HMD gave the worst results in all criteria. The 3D TV could be considered as good as the projection display in task performance but induced slight level of discomfort, fatigue, and eyestrain. These findings not only provided an initial understanding of differences between the 3D TV and the other two familiar display devices in human performance when interacting within a 3D VE but also pointed a direction to effectively improve future VR display technique.     

面向虚拟装配的三维交互平台

针对当前装配领域的特点，提出一个面向虚拟装配的三维交互平台（Virtual Assembly Toolkit,VAT），VAT中包含了新的三维交互思想，定义了装配领域中常有的三维交互原语，设计和实现了交互原语的捕获，解释和处理框架，同时，VAT封装了三维图形构造，零件间的约束和碰撞检测等功能，VAT可以大大简化虚拟装配应用的构造，便于应用的快速生成。