The Visualization Input Pipeline - Enabling Semantic Interaction in Scientific Visualization

Scientific Visualization systems are primarily output-oriented, Users can specify and change parameters that are controlling the visualization process, which will result in different data representations or images respectively. But no mechanism is provided to really interact with the application data (semantic interaction) that has been changed step by step by the process of visualization. In this paper general concepts are elaborated and presented to achieve semantic interaction in dataflow environments for Scientific Visualization.     

DaisyVA:支持信息多面体可视分析的智能交互式可视化平台

针对目前缺乏有效地支持信息多面体可视分析的交互式信息可视化平台的问题,提出并实现了一个面向最终用户的交互式可视化平台DaisyVA.首先建立了一个支持信息多面体可视分析界面模型IMFA,并定义了IMFA的多面体数据模型、可视表征模型和交互控制模型;然后围绕IMFA设计了DaisyVA的体系架构,讨论了基于模型的系统开发机制、核心模块与运行时框架机理,以及DaisyVA组件库;最后将DaisyVA应用于大型集团制造企业物流网络瓶颈的可视分析实例中.实例分析结果表明,DaisyVA能为多面体数据提供统一建模的支持和可扩展可视化算法库的支持、提供多种所需的交互技术并可灵活定制可视分析的交互任务、支持信息多面体间的内在语义关联分析,以及能够为最终用户提供一种简单快速原型方法,因此能够为信息多面体可视分析提供一种有效的支持.     

基于BBN情感模型的和谐人机交互研究

提出了一种将个性、情感、情绪分层表示的思想,并且利用贝叶斯网络进行情感建模,通过虚拟人脸的面部表情来反映情绪的变化,旨在赋予机器类人的情感,达到更加真实和谐的人机交互。最后将此情感模型应用于情感虚拟人交互系统,实验证明,该模型简单、稳定,且易于实现。     

基于混合自动机的Post-WIMP界面的建模

Post-WIMP界面作为继当前的主流界面范式——WIMP界面后的下一代界面范式,它和WIMP界面有着很大的不同,通过使用虚拟现实、语音交互、手势交互等技术,它能够提供更加自然高效的交互方式.然而,它却难以构造.为了有效地构造Post-WIMP界面,在构造之前不考虑实现细节,而在一个抽象的层次上描述它是一个较好的方法.首先,分析了Post-WIMP界面的交互本质,交互混合性是Post-WIMP界面一个最为重要的特点.从形式化系统的角度分析Post-WIMP界面,通过将Post-WIMP界面抽象为混合系统能够更为准确和严格地分析Post-WIMP界面的特性.混合自动机是用于描述混合系统的形式化工具,将Post-WIMP界面建模为一组相互协作的混合自动机.设计了一基于混合自动机理论的半形式化语言LEAFF作为Post-WIMP界面的描述工具.LEAFF通过结合文本描述和图形描述描述Post-WIMP界面中的交互行为,能够准确地反映交互中的控制关系、时序关系.给出了对两个典型Post-WIMP界面——虚拟现实交互和笔式交互的描述实例,同时讨论了Post-WIMP界面中交互并行性的描述、交互实时性的验证和从描述到实际交互系统构造的转换.     

弹性界面的设计与实现

在参阅现有的信息可视化技术的基础上,设计并实现了一种新型的可浏览和导航大规模信息空间的可视化交互技术——弹性界面,通过该界面用户可以灵活地设置和控制多个焦点的显示。     

Making Parameter Dependencies of Time-Series Segmentation Visually Understandable

This work presents an approach to support the visual analysis of parameter dependencies of time-series segmentation. The goal is to help analysts understand which parameters have high influence and which segmentation properties are highly sensitive to parameter changes. Our approach first derives features from the segmentation output and then calculates correlations between the features and the parameters, more precisely, in parameter subranges to capture global and local dependencies. Dedicated overviews visualize the correlations to help users understand parameter impact and recognize distinct regions of influence in the parameter space. A detailed inspection of the segmentations is supported by means of visually emphasizing parameter ranges and segments participating in a dependency. This involves linking and highlighting, and also a special sorting mechanism that adjusts the visualization dynamically as users interactively explore individual dependencies. The approach is applied in the context of segmenting time series for activity recognition. Informal feedback from a domain expert suggests that our approach is a useful addition to the analyst's toolbox for time-series segmentation.     

基于OP通道技术的远程交互系统设计与实现

文章提出一种基于ＯＰ通道技术的远程交互系统,采用分布式应用程序复制副本体系结构,不论应用程序如何,交互过程中只需在网络中传输ＯＰ信息,因此网络数据传输量将保持较少而且稳定。文章在Ｉｎｔｅｒｎｅｔ网络中就利用 ＯＰ通道技术来解决应用程序多用户远程交互问题做了一些有益的探索,并且给出远程交互系统的模型。实现原理,并通过五子棋游戏程序进行具体说明。     

海量层次信息的Focus+Context交互式可视化技术

综述了海量层次信息可视化与Focus Context技术的相关工作,针对海量层次信息可视化的交互问题,在嵌套圆可视化技术的基础上提出了基于上下文感知的Focus Context交互式可视化技术.首先,基于外切圆排列方法提出对圆心进行三角网格剖分的方法,为变形计算建立上下文;然后,针对变形计算前后上下文一致性问题,在三角网格邻居跟踪方法的基础上,提出了用于同层兄弟节点上下文感知的外切圆变形排列方法,以及用于父子节点上下文感知的嵌套圆迭代排列方法.实验结果表明。上述方法在实现焦点突出的鱼眼视图的同时,能够有效地解决Focus Context交互式可视化的上下文感知问题.上述方法应用于文件系统海量层次信息的交互式可视化问题,提供了交互式可视化工具.     

人机交互中的场景开发

场景是人机交互HCl(Human—Computer Interaction)中的重要技术。文章针对交互系统设计中通常存在的问题，比较深入地分析了基于模型的人机交互过程，对任务分析中场景的作用、应用、包含内容作了较深入的探讨。结果说明场景开发是交互系统深入研究、成功开发的关键步骤之一。     

面向情绪调节的多模态人机交互技术

目的 现代社会存在心理问题的人日趋增多,及时调节其负面情绪对社会和谐稳定具有重要现实意义。传统的情绪调节方法需要花费大量人力,为此提出一种面向情绪调节的多模态人机交互方法,识别用户情绪,采用文本对话和体感交互实现对用户情绪的调节。方法 综合运用了表情识别、文本对话和手势来实现对用户情绪的识别,构建了具有情绪表现力的智能体。用户的表情识别采用支持向量机方法,文本对话采用基于规则和融入情绪因素的Seq2Seq模型实现。设计了聊天、过生日和互动游戏（打篮球）等交互剧情,采用手势和肢体动作来辅助交互。为了更好地体现情绪调节的作用,在互动游戏中设计了强化学习算法,可根据用户的情绪反馈来自动调整游戏难度,最终让用户情绪调整到积极状态。结果 通过实验发现,采用单模态交互很难感知到用户的背景信息,因此对用户的情绪识别可能出现误判。而采用多模态的人机交互方式,可以通过文本对话了解用户的背景信息,从而对用户情绪的识别更为合理。在多模态的人机交互剧情中,用户能以更自然的方式实现情景互动,智能体在多模态交互中更能发挥情绪调节作用。结论 本文提出一种基于多模态人机交互的情绪调节方法,该方法不需要昂贵的硬件设备,便于推广普及,为消极情绪的调节提供了一种可计算方案。     

患者自助服务系统人机交互界面设计概述

患者自助服务系统通常是一系列用户可以自行操作并解决问题系统的总称,它可能包含了摆放在医院院内的自助机,用户手机上的小程序、公众号,甚至是在任何可能可以使用浏览器设备上所呈现的网页服务.自助服务系统以其便利、高效、减少人工降低成本等优势而在越来越多的地方得到广泛应用,但同时也由于用户认知上的差异及自助服务系统本身交互设计...     

Ferret: Reviewing Tabular Datasets for Manipulation

How do we ensure the veracity of science? The act of manipulating or fabricating scientific data has led to many high-profile fraud cases and retractions. Detecting manipulated data, however, is a challenging and time-consuming endeavor. Automated detection methods are limited due to the diversity of data types and manipulation techniques. Furthermore, patterns automatically flagged as suspicious can have reasonable explanations. Instead, we propose a nuanced approach where experts analyze tabular datasets, e.g., as part of the peer-review process, using a guided, interactive visualization approach. In this paper, we present an analysis of how manipulated datasets are created and the artifacts these techniques generate. Based on these findings, we propose a suite of visualization methods to surface potential irregularities. We have implemented these methods in Ferret, a visualization tool for data forensics work. Ferret makes potential data issues salient and provides guidance on spotting signs of tampering and differentiating them from truthful data.     

普适计算模式下的人机交互

普适计算使得信息空间与人们生活的物理空间相融合,与此相应人机接口也将随之扩展到人们生活工作的整个三维物理空间.因此需要研究物理空间中的人机交互方式.在传统的计算模式下,交互环境的物理因素不影响人机交互.而在普适计算的模式下,用户和环境的物理因素将成为交互的重要因素,这将使人机交互的性质产生一系列的变化,其中包括:人机交互本质上是与信息空间的交互;交互接口扩展到日常生活的用品和环境;动态的人机交互上下文;蕴含人机交互.     

Intuitive Human-Robot-Environment Interaction With EMG Signals: A Review

A long history has passed since electromyography (EMG) signals have been explored in human-centered robots for intuitive interaction. However, it still has a gap between scientific research and real-life applications. Previous studies mainly focused on EMG decoding algorithms, leaving a dynamic relationship between the human, robot, and uncertain environment in real-life scenarios seldomly concerned. To fill this gap, this paper presents a comprehensive review of EMG-based techniques in human-robot-environment interaction (HREI) systems. The general processing framework is summarized, and three interaction paradigms, including direct control, sensory feedback, and partial autonomous control, are introduced. EMG-based intention decoding is treated as a module of the proposed paradigms. Five key issues involving precision, stability, user attention, compliance, and environmental awareness in this field are discussed. Several important directions, including EMG decomposition, robust algorithms, HREI dataset, proprioception feedback, reinforcement learning, and embodied intelligence, are proposed to pave the way for future research. To the best of what we know, this is the first time that a review of EMG-based methods in the HREI system is summarized. It provides a novel and broader perspective to improve the practicability of current myoelectric interaction systems, in which factors in human-robot interaction, robot-environment interaction, and state perception by human sensations are considered, which has never been done by previous studies.

     

多用户眼动跟踪数据的可视化共享与协同交互

随着数字图像处理技术的发展,以及计算机支持的协同工作研究的深入,眼动跟踪开始应用于多用户协同交互.但是已有的眼动跟踪技术主要针对单个用户,多用户眼动跟踪计算架构不成熟、标定过程复杂,眼动跟踪数据的记录、传输以及可视化共享机制都有待深入研究.为此,建立了基于梯度优化的协同标定模型,简化多用户的眼动跟踪标定过程;然后提出面向多用户的眼动跟踪计算架构,优化眼动跟踪数据的传输和管理.进一步地,探索眼动跟踪数据的可视化形式在协同交互环境下对用户视觉注意行为的影响,具体设计了圆点、散点、轨迹这3种可视化形式,并验证了圆点形式能够有效地提高多用户协同搜索任务的完成效率.在此基础上,设计与开发了基于眼动跟踪的代码协同审查系统,实现了代码审查过程中多用户眼动跟踪数据的同步记录、分发,以及基于实时注视点、代码行边框和背景灰度、代码行之间连线的可视化共享.用户实验结果表明,代码错误的平均搜索时间比没有眼动跟踪数据可视化分享时减少了20.1%,显著提高了协同工作效率,验证了该方法的有效性.     

一种基于设计模式的GIS HCI复用框架

基于特征数据模型的GIS软件开发是一个重要方向。这就需要建立符合其特征的软件平台,以提高开发效率,减少重复应用。该文从软件框架的角度,利用设计模式分析了特征模型的软件结构,提出了GIS HCI框架,并进行了分析。     

结构分类的字母手势识别算法

提出了基于结构分类的手势识别方法,即在字母手势图像中寻找轮廓所包含的结构特征信息,并以此进行分类判断。这些结构特征中包含了大量的特征信息,如手指个数、手指间距离等,利用这些信息就可以运用传统的结构分类方法对手势加以识别     

面向虚实融合的人机交互

面向虚实融合的人机交互涉及计算机科学、认知心理学、人机工程学、多媒体技术和虚拟现实等领域，旨在提高人机交互的效率，同时响应人类认知与情感的需求，在办公教育、机器人和虚拟/增强现实设备中都有广泛应用。本文从人机交互涉及感知计算、人与机器人交互及协同、个性化人机对话和数据可视化等4个维度系统阐述面向虚实融合人机交互的发展现状。对国内外研究现状进行对比，展望未来的发展趋势。本文认为兼具可迁移与个性化的感知计算、具备用户行为深度理解的人机协同、用户自适应的对话系统等是本领域的重要研究方向。     

基于视觉的感知用户界面(VBPUI)研究

图形用户界面（ＧＵＩｓ）是当今人机交互技术（ＨＣＩ）的主要平台,它使得普通人都会使用计算机,然而,为了适应更广泛的应用,人机交互技术需要向自然、直观、自适应的交互界面发展,而感知用户界面（ＰＵＩ）交互技术正是为为实现这一自然交互模式,而成为人机交互研究的焦点,通过对新兴的ＰＵＩ领域及其重要分支－基于视觉界面（ＶＢＩ）的介绍,阐述了利用头部定位与手的跟踪来实现ＶＢＩ的方法,提出了在实学方法中,要进行