Supporting conceptual design with multiple VR based interfaces

Conventional computer aided design (CAD) systems have not provided enough support for conceptual design partly due to the lack of natural and intuitive human–computer interaction. Currently emerging virtual reality (VR) based techniques offer new ways to overcome these obstacles. In this paper, new CAD user interfaces including two-handed operation, haptic interaction, stereoscopic display and auditory feedback are investigated. The contribution of this work is to develop a new direct, natural and intuitive interaction paradigm required to support conceptual design. This paradigm enables designers to take fuller advantage of their visual, auditory and tactile sensorial channels to create, view, touch, hold, manipulate and listen to computer-generated virtual models. This is done more easily and freely in a more realistic three-dimensional (3D) environment through convenient interface device operation. A new conceptual design system called the LUCID system that fully integrates and implements these VR-based innovative interfaces into one design application is presented. As an approach to the next generation of human–computer interfaces for use in the design activity, the LUCID system has shown particular human computer interface benefits to designers during conceptual design based on the outcome from the user evaluation test.     

基于真实世界隐喻的虚拟现实用户界面范式研究及应用

目的 基于真实世界隐喻,研究虚拟现实用户界面范式,并指导应用实践。方法 通过整理虚拟现实和用户界面的相关文献资料,以基于真实世界的交互（RBI框架）作为指导,引出真实世界隐喻4个方面的要素,对比WIMP范式各个基础元件所承载的作用,研究虚拟现实用户界面范式。结论 提出了虚拟现实用户界面SOMM范式,分析了SOMM范式每一个要素,描述了用户在虚拟现实中的三维交互过程,并应用于工业机器人VR岗位实训系统用户界面当中,验证了SOMM范式的可行性。SOMM范式能让用户在虚拟现实环境中执行自然人机交互,减少了用户认知转换负荷,为其他研究者和设计师提供了指导和思路。     

情感化社交触觉界面的交互原型开发工具设计研究

目的 触觉交互是自然人机交互中的热点方向,触觉交互界面具备支持用户之间或人机之间情感交流的潜力。本研究旨在通过开发一种流程化、低门槛、轻成本且可体验的触觉界面原型工具,帮助设计师克服在触觉交互界面设计中的挑战,包括触觉生理学及触觉交互原理等知识基础、设计流程引导和技术开发支持,从而实现更有效的用户实验和设计深化。方法 首先,利用参与式设计方法,确定交互设计师在触觉交互界面设计中的主要挑战和核心需求;其次,以此为基础构建触觉交互设计流程引导及情感触觉信号编码界面设计的必要元素,开发支持情感触觉交互原型迭代的硬件工具,并完成原型开发工具的系统设计;最后,通过用户实验中的场景化测试验证初步的气动微流控柔性薄膜阵列的基础情感交互效果,并建立了基础的情感-触觉映射参考效果库。结论 本研究开发了触觉界面原型工具,通过系统化的设计流程和简易的操作方式,有助于触觉交互设计师更加灵活便捷地进行设计研究和实践。该工具创新性地提升了触觉界面的设计效率,为情感触觉交互体验设计提供了丰富的可能性。     

人工智能背景下的车载人机交互界面设计研究

通过人工智能技术对车辆用户的偏好、状态及环境信息进行分析处理,将在车载交互界面中展示更合理的驾驶建议和更符合用户习惯的车载人机交互界面布局,为用户提供更自然的人机交互体验。分析现有车载人机交互界面和人工智能技术的发展现状,将人工智能技术引入车载人机交互界面中,并对用户进行问卷调查及驾驶行为观察等定量和定性研究,分析用户的驾驶行为与偏好,了解用户在交互方式和界面展示形式等方面的需求,并根据这些需求和人工智能技术的特点提出车载人机交互界面的设计策略。本研究基于人工智能技术的特点和用户研究的结果,提出了车载人机交互界面的交互设计策略——车载人机交互界面应在层级设计、布局设计和信息呈现方面展开优化,以减少用户注意资源的占用。基于此策略,人工智能与车载人机交互界面应自然融合,车载人机交互界面将根据用户偏好和事件优先级进行动态调整。     

Evaluation of virtual reality interface for product shape designs

It is generally acknowledged that existing computer-aided design systems have inefficient user interfaces. Especially during the concept shape design stage, these systems prove to be cumbersome because of two reasons: (i) they require the usage of two-dimensional (2D) input devices, while the designs are typically three-dimensional (3D); and, (ii) CAD systems require the specification of dimensions, which may not be precisely known at the concept stage. To overcome these limitations, this research proposes the use of virtual reality (VR) devices to provide a physically intuitive interface for concept shape creation. The intuitiveness of the interface arises from the use of natural hand gestures and voice commands that emulate the way in which designers discuss concept shapes. In this scenario, the interface between the human and computer plays a central role with respect to usability, usefulness and accuracy. The focus of this research is on using two modalities: (i) hand input; and, (ii) voice driven commands, or a combination of these modalities to accomplish typical CAD tasks. Based on experience with a conventional CAD system, a set of typical CAD tasks are identified. A series of tests are then performed to determine the relative efficiency of the different modality combinations to achieve each task. The interface test results indicate that while voice commands are intuitive in initiating operations such as viewpoint zooming in/out and object creation/deletion, hand inputs are effective in performing spatial tasks such as interactive dimensioning and re-location of shapes. It was also found that a combination of voice and hand input can be used for accomplishing certain tasks more effectively such as, zooming in/out a particular direction (hand orientation indicates direction and voice is used for indicating zoom in/out operation). Based on the experience with the prototypical system developed it is concluded that voice and hand input are effective ways of building three-dimensional shapes in a virtual reality environment. To verify the efficiency of the VR-CAD interface, sample injection molded parts are built on the current VR-based CAD system and a traditional CAD system, and the times taken to build these parts are compared. The test results indicate that building geometry shapes containing canonical forms, such as block, cylinder, sphere, ⃛ etc, using a VR interface results in a speedup of five to ten times over traditional CAD systems.     

基于VR-CAD系统集成实现虚拟环境中建模

传统计算机辅助设计工具受制于桌面系统非自然的人机界面,而虚拟现实技术(VR)以其沉浸感、交互感等特性为设计师提供了新一代更为自然的交互方式。但由于虚拟环境中缺乏有效的建模工具,产品开发过程中这项技术主要是作为可视化工具使用。作者提出了通过VR-CAD系统集成,利用传统CAD系统所提供的强大建模工具实现虚拟环境中的建模的解决方案。分别从横向集成和纵向集成两个角度出发,文中详细分析了虚拟现实系统和传统计算机辅助设计系统之间的不同连接方式,并基于3DMAX与CUBE采用两种方式进行了集成试验。其中一种是在面片层次上通过Unix和Windows间的Socket通讯将两个软件进行整合,另一种更通用的方法则基于VRML文件的共享。尽管集成系统所能处理的产品模型复杂度还受到一定限制,但初步的结果已经显示出该设想具有很大潜力。     

人机交互技术在现代展示设计中的应用

以人机交互技术在现代展示设计中的应用为启示,分析了多通道用户界面、计算机支持的协同工作、三维人机交互等实现高效自然人机交互的关键技术,并结合人机交互技术的发展历程,论述了多媒体与超媒体的交互方式对展示设计的意义,进而分析了在展示设计中人机交互技术的应用原则和使用优势。在此基础上,提出了人机交互是展示设计的发展方向,会展设计师应该基于对展示主客体的正确分析和理解,遵循相应的设计原则,选择恰当的交互实现方式,以达到预期的展示设计效果。     

Identifying subassemblies and understanding their functions during a design review in immersive and non-immersive virtual environments

Design review (DR) is a product development (PD) activity used to inspect the technical characteristics of a design solution. Immersive virtual reality (IVR) technology enables the presentation of spatial information and interaction with 3D CAD models inside an immersive virtual environment (IVE). Such capabilities have shown the potential to mitigate the cognitive load needed for the visual perception of spatial information and, consequently, enhance design understanding and DR performance. Thus, an increasing number of studies have explored the effect of IVR technology on DR activities in different domains. However, determining when the implementation of IVR technology rather than a conventional user interface for DRs in mechanical engineering PD projects will be beneficial remains unclear. Hence, a conceptual DR experimental study was conducted to investigate the differences in the ability of engineering students to identify mechanisms and understand their functions when a design solution for a technical system is presented in an IVE by IVR technology and in a non-immersive virtual environment (nIVE) by a conventional user interface (monitor display, keyboard, and mouse). Data were collected by performing DR tasks and having participants complete a prior experience questionnaire, presence questionnaire, and mental rotations test. Findings of the study indicate that IVR does not support an enhanced ability of engineering students to identify mechanisms and understand their functions compared with a conventional user interface.     

智能家居中的触觉交互体验

目的 触觉是人类主动感知和响应外部世界及其他个体最直接、关键的感官渠道,近年已成为交互设计和用户体验设计的热点主题。由于触觉感知维度多、传感和驱动技术多样化,以及家居环境中已存在诸多天然触觉反馈等原因,触觉交互在智能家居场景中仍没有得到充分利用。在智能家居系统逐步普及的今天,触觉交互有助于智能设备更自然地融入用户熟悉的日常生活场景中,优化用户体验。方法 基于智能家居自然交互的内涵和发展趋势,论述了触觉的自然性优势和触觉交互技术的现状,确定了家居情境下的触觉交互界面的应用基础和设计框架。结论 通过大量案例调研发现,以辨别功能为主的触觉交互可以在智能家居的控制、监测、安全和提示场景中降低成本、提高操作效率、交互自然性和用户舒适度,保留用户熟悉的家居样式和与之相关的生活方式,优化用户的智能生活体验;同时,触觉交互还可以在感官增强、情感沟通、多模态媒体等方面提出新方案和新设备,发挥触觉独特的情感承载能力,为用户拓展智能家居的沉浸体验。此外,列举了一系列助力设计师搭建触觉交互体验的设计工具。     

基于文献计量的人机界面中用户体验中外对比研究

目的 对比分析国内外人机界面用户体验研究的异同,总结国内学界目前的研究现状并发现问题。方法 研究中使用WOS与CNKI作为数据来源,通过文献计量学的方法及综合运用CiteSpace 、VOSviewer等软件将文献资料进行可视化分析。结论 国内外人机界面用户体验研究领域文献产出较为一致,都在2019年及之前达到产出高峰,2019年后出现回落趋势。研究主体是与计算机科学、互联网技术等相关的理工科院校。在团队合作方面,国内跨团队的研究相对较少,存在明显的研究壁垒,需要加强研究合作的程度。在总体上呈现出“整体分散、局部集中”的特点。在     

《信息维度与交互设计原理》序言

目的探讨信息通讯技术支持下,信息维度与交互设计的关系,研究通用性的交互设计原理与方法。方法采用文献调查法、大数据分析法和用户参与式设计方法进行分析研究。结果信息所构成的11个基本的信息维度,在全息的量子奇点中映射对应不同的交互设计类型与交互设计方法。结论新型信息维度影响下的交互设计原理与方法,将交互内容、信息功能、传媒介质的交互设计元素进行抽象本质的分析,从信息升维与信息降维角度,阐释由交互载体、功能、内容三要素构成的新的人机交互范式,与信息维度的全息映射转化关系。     

基于深度学习的界面设计美学评价研究

目的美感已经成为人机交互(HCI)的核心结构之一,对用户的感知和态度具有明显的有益影响。然而界面美观性评价方法仍是设计师及其团队所面临的重要问题。引入深度学习技术来探讨其评价界面设计美感的可能性。方法分别使用基于深度卷积神经网络的闪屏美学分类方法和Google提出的基于深度学习NIMA神经网络,来预测闪屏图像的美学评价分布。结果通过研究发现,使用基于深度学习NIMA神经网络可以得到比传统方法更具体的评价结果,帮助设计师有效而客观地评价界面设计。结论将计算机图像美学评价的研究领域拓展到界面设计领域,验证了深度卷积神经网络在界面设计美学评价领域使用的可行性。未来图像美学评价还可以介入更多的设计相关领域,辅助设计师做出更有效的设计和商业决策。     

基于用户群习惯形态的自然交互设计研究

目的探讨一种自然交互设计方法,使得用户能够在自然用户界面替代原图形用户界面的过渡期间,能稳定维持良好的交互体验。方法分析习惯形态对系统交互效果的影响,提出基于用户群习惯形态的自然交互设计流程。定义用户群习惯形态矩阵,以此为依据建立新的自然交互系统设计方法。结论以数字绘画系统的自然交互设计为应用实例,实践了基于用户群习惯形态的自然交互设计方法,证实了方法的有效性。     

情境视角下就地热再生车辆产品设计策略

目的针对就地热再生车辆商品化程度低、功能构建不合理等问题,从情境意识出发,探究情境视角下就地热再生车辆的创新设计策略。方法引入情境意识理论,对就地热再生车辆特征与问题进行分析,结合智能控制技术、人机交互研究与用户体验研究发展趋势,从设备转运、工程作业、用户操作、设备养护四个方面构建了就地热再生车辆的情境模型,并从完善功能结构、优化内外饰设计、提升人机舒适性、注重用户体验的角度提出基于上述情境要素的产品设计策略。结论情境意识理论的应用有助于设计者打破“功能第一”的思维局限,从更加系统、全面的视角把握设计需求,优化产品开发流程,最终实现产品功能完善、用户体验良好的目标。     

面向虚拟现实模拟平台的动作编辑系统设计

目的 解决体感设计中虚拟现实模拟平台动作设计面临的技术门槛高、动作难以灵活编辑等问题,优化动作设计流程,提高体感设计师的设计质量。方法 通过对现有虚拟现实模拟平台的动作编辑过程和需求进行分析,提出一种非参数化的VR模拟平台动作编辑系统,对动作编辑系统的功能构架、操作流程和软件界面进行设计,实现了VR模拟平台动作设计的非线性编辑和关键信息可视化等功能。结论 所构建的动作编辑系统可以提高设计的可操作性,并有效提升体感设计的质量,论证了新系统的有效性和可行性,探讨了新手和专家体感设计师在借助不同系统进行设计时,设计工效评价的差异,为VR体感设计研究提供了参考和技术支持。     

Multimodal user interface for traffic incident management in control room

Efficient road traffic incident management (TIM) in metropolitan areas is crucial for the smooth traffic flow and the mobility and safety of community. TIM requires fast and accurate collection and retrieval of critical data, such as incident conditions and contact information for the intervention crew, public safety organisations and other resources. Access to critical data by traffic control operators can be facilitated through various human-computer interfaces. The judicious introduction of a multimodal interaction paradigm to the user interfaces (UIs) for incident handling in a metropolitan transport management centre is discussed. Two research prototypes supporting speech and gestural interactions have been developed on the basis of the User Centred Design methodology, and their evaluations have been conducted through user studies. The user studies on the prototypes suggest that multimodal UIs (MMUIs) can provide traffic control operators with intuitive, cognitively efficient ways to record traffic incident conditions, facilitate fast retrieval of contact details, and support time-critical incident handling. The research prototypes described herein represent some initial steps for the longer-term deployment of advanced MMUI systems for emergency management     

支持概念设计的电子白板系统研究

建立了一个支持概念设计的电子白板系统．该系统结合集中式和分布式的特点，采用B／S框架结构．为不同地理位置、不同学科的设计人员提供一个实时协同的工作环境，以便共同完成概念设计阶段的活动和任务，能获取、共享及重用概念设计数据，有助于设计人员在设计早期进行创新思维。     

软件界面设计技术探讨与实践

计算机软件用户界面设计是计算机科学与艺术设计等学科相交叉的一个崭新的研究领域和发展方向.文章从人机工程学、多状态界面以及视觉传达三个方面阐述了当前界面设计的先进技术与原则,提出并详细介绍了多层次多状态界面和各种图标的概念,并将这些方法实践于国产CAD软件界面的改进设计中,证明了这些先进技术的有效性.     

基于单目视觉的手势识别系统

在交互式图形学和虚拟现实的应用领域中,用户界面变得越来越重要。由于视觉是人类从外界获取信息的主要器官,人们希望计算机视觉在人机交互技术中发挥重要的作用。本文描述一个实时的基于视觉的手势识别系统,用于替代鼠标与计算机进行交互。与以前的工作不同,该系统仅用一个摄像机来实现多个手势的识别与跟踪,避免了多目视觉的特征匹配问题,进而提高了系统的稳定性和识别速度。进一步的实验证明,基于视觉的交互系统是一种自然舒适,符合人体器官的用户界面。     

基于Fitts定律的虚拟现实小目标选择模型

为了准确地选择虚拟现实人机交互过程中的小目标,避免因手和控制器抖动导致选择精度较低等情况,提出了一种基于Fitts定律的虚拟情境中有效测算小目标交互时间的方法。首先,类比图形用户界面中的移动距离和目标宽度,明确了虚拟情境中Fitts定律的适用性。其次,设计实验并对虚拟情境下的Fitts公式进行回归分析,得到相关系数R²=0.896 3,说明预测时间与真实时间有偏差。接着,利用MATLAB cftool拟合工具箱对不同目标尺寸进行回归分析,结合方差分析发现拟合直线的截距与目标尺寸之间显著相关,结合虚拟情境的Fitts公式建立了虚拟现实小目标选择模型。然后,对新模型进行多元回归分析,确定相关系数R²=0.976 7,说明新模型能够有效预测捕获小目标的时间;分析了运动方向对交互时间的影响,结果表明新模型在不同运动方向下都具有良好的适用性,能够有效指导虚拟情境交互任务中良好目标尺寸的计算。最后,以某VR（virtual reality,虚拟现实）隧道救援体验系统为例进行实验评估。实验结果表明,利用该模型能够在获取虚拟现实小目标时有效减少用户的交互时间,提供更好的用户体验。研究结果能为相关设计开发人员确定虚拟情境下的界面布局提供有效指导,并一定程度上优化用户的交互体验。