虚拟装配交互界面中的隐式交互算法研究

针对现有虚拟装配系统中交互是以设备为中心的显式交互,不能有效地感知用户操作意图,用户认知负担和操作负担较高的问题,为了提高虚拟装配系统的智能性,将隐式人机交互引入虚拟装配系统,提出一种基于场景任务的用户意图感知算法.首先建立场景知识模型和用户知识模型,并分别构建显式交互知识库和隐式交互知识库;然后利用专家系统推理用户显式操作意图和隐式操作意图,实现人手向目标位置平移时场景主动拉近和抓放场景物体时物体主动旋转2种情景下的人机相向互动.实验结果表明,该算法实现了人机协同交互,降低了用户的操作负担和认知负担.     

基于分块注意力机制和交互位置关系的群组活动识别

复杂场景下的群体活动识别是一项具有挑战性的任务,它涉及一组人在场景中的相互作用和相对空间位置关系。针对当前复杂场景下群组行为识别方法缺乏精细化设计以及没有充分利用个体间交互式特征的问题,提出了基于分块注意力机制和交互位置关系的网络框架,进一步考虑个体肢体语义特征,同时挖掘个体间交互特征相似性与行为一致性的关系。首先,采用原始视频序列和光流图像序列作为网络的输入,并引入一种分块注意力模块来细化个体的肢体运动特征;然后,将空间位置和交互式距离作为个体的交互特征;最后,将个体运动特征和空间位置关系特征融合为群体场景无向图的节点特征,并利用图卷积网络（GCN）进一步捕获全局场景下的活动交互,从而识别群体活动。实验结果表明,此框架在两个群组行为识别数据集（CAD和CAE）上分别取得了92.8%和97.7%的识别准确率,在CAD数据集上与成员关系图（ARG）和置信度能量循环网络（CERN）相比识别准确率分别提高了1.8个百分点和5.6个百分点,同时结合消融实验结果验证了所提算法有较高的识别精度。     

以用户为中心的场景设计方法研究

图形用户界面(GUI)的可用性在于给用户的任务提供了有用的图形表示和操作，以使用户无须分心于那些不必要的交互和领域特征，然而，当前的GUI设计通常反映了系统的状态和操作，迫使人们学习和适应预定义的系统任务，以用户为中心的GUI设计旨在提高系统可用性，但是众多的以用户为中心的设计研究只给出一些设计准则和经验性的方法，缺乏对实际软件设计的可操作指导，基于场景的设计是GUI设计的有效方法，然而，场景本身并没给出好的实现以用户为中心设计的方法，该文在研究以用户为中心的设计和基于场景的设计的基础上，提出一种以用户为中心的场景设计方法，力图给出一种提高GUI可用性的更有效的方法，该方法的核心是：用场景描述方式来体现用户为中心的设计思想，并将其贯穿到系统开发的各个阶段，真正实现从用户的角度设计系统，最后以ATM机的界面设计为例说明使用该方法进行设计的有效性。     

跨设备交互场景下参照域构建方法的设计策略研究

针对智能家居中跨设备交互的内容传输问题,从参照类型和工件数量 2 个方面定义交互的可见性, 并在此基础上提出了 4 种参照域构建方法(物理的,物理耦合的,数字的,自然的)。通过“绿野仙踪”实验探究 4 种方法在单一任务和主次任务场景下对用户体验的影响,实验结果表明,不同方法在同一场景,以及同一方法 在不同场景的用户体验有差异。得出 2 个方面结论：①方法的差异性,物理的方法是高效而有趣的,物理耦合的 方法最有趣但实行性较低,数字的方法最实用但也是常规的,自然的方法在主次任务场景下最实用;②场景的差 异性,主次任务场景中用户重点关注实用性,而用户在单一任务场景中既关注实用性也对享乐性提出了要求。     

UIDT:一种基于摄像头的用户界面模型

为了弥补WIMP界面模型对视觉交互描述的不足,提出一种基于视觉交互的用户界面模型．首先在分析和总结视觉交互过程的基础上,以活动理论为基础,提出一种以用户为中心、面向任务和基于事件驱动的用户界面模型;然后描述了该模型的组成结构及其相互关系;最后给出了一个基于此模型的视频手势交互系统实例．实验结果表明,该模型能够有效地支持视觉交互设计,使用户界面满足可用性要求．     

面向智能家居系统的主动交互设计研究

随着物联网和人工智能在智能家居领域的应用,智能家居具备了主动交互能力.针对智能家居主动交互平衡信息传递和用户体验的问题,提出面向智能家居系统主动交互设计策略.首先,通过文献研究总结了智能家居系统主动交互的发展现状,将其总结为3个特征,即交互策略逐步采用自适应场景模式、交互通道逐步转向多模态和交互程度逐步呈现低打扰度,为策略设计提供了理论支撑;其次,梳理出智能家居场景要素和不同交互模态打扰度等级,并提出了在不同场景的任务下智能家居对应的主动交互策略;最后,采用“绿野仙踪”方法在自行搭建的实验场景下进行实验,并以SUS量表和USE问卷作为评价指标,验证了所提策略的可用性和满意度.此外,构建了智能家居不同场景与主动交互打扰度的对应关系,以期为后续研究提供参考.     

用户任务预测研究进展与算法分析

用户在执行不同任务时,会表现出不同的感知行为。知道用户正在执行的任务可以帮助进行用户行为的分析,也可以作为智能交互系统的输入,使得系统自动根据用户不同的任务提供不同的功能,改善用户的体验。用户任务预测指的是根据用户的眼睛运动特征、场景内容特征等相关信息来预测用户正在执行的任务。用户任务预测是视觉研究领域中的一个热门研究课题,研究者们针对不同的场景提出了很多有效的任务预测算法。然而,以往工作中提出的算法大多是针对一种特定类型的场景,且不同算法之间缺乏统一的测试和分析。本文首先回顾了图片场景、视频场景、以及现实场景中用户任务预测问题的相关进展,接着对目前主要的任务预测算法进行了详细的介绍。并在一个现实场景任务数据集上对相关算法进行了测试和分析,为未来的相关研究提供了有意义的见解。     

基于Web2.0的知识管理关键技术研究

针对Web 2.0模式下网络交互多元化以及以用户为中心的特点,深入分析现有知识管理系统的不足,就web 2.0知识管理的相关关键技术进行了研究分析.提出了基于静态属性和动态属性的用户模型,基于成熟度和相关度的知识价值模型,以及细化的生命周期模型,有效的支持以用户为中心的知识管理职能,并规范了知识的采集、创新、增值应用过程,最后结合电子商务应用场景分析了其应用的可行性.     

基于Virtools的虚拟校园在线交互设计与实现

在虚拟校园中,人性化的人机交互设计可提高系统的可用性和用户友好性。本系统在线展示了校园的仿真模型,并提供了可供用户操作的虚拟人物及其交互功能,使用户能尽可能真实地了解校园。为了使用户在浏览虚拟校园时获得更好的在线交互体验,提出并实现了虚拟校园系统需要解决的几个主要交互功能:人物及其视角交互、场景链接交互、信息链接交互、信息提示交互以及虚拟场景中物体的交互。该系统采用了多场景建模方法,以大化小、分而治之,避免使用过大的场景,缩短了系统的在线响应时间;使用Virtools自带的VSL脚本语言实现系统较复杂的交互功能,提高了程序的可重用性和可维护性,同时减少了系统占用的内存空间,提高了运行速度,并且实现了一些Virtools内置的BB不能实现的功能。     

ICOMDT:一个面向动态任务的交互计算模型

近年来,包含动态任务的交互式系统得到了广泛的应用.基于现有对用户与动态任务交互的研究,提出一个面向动态任务的定量化可计算的交互模型ICOM^DT,用于解释用户与动态任务的交互行为,并实现用户意图预测.更具体地,将ICOM^DT应用于运动目标选择任务,设计了两个实验以验证模型的有效性.实验1收集用户数据对模型进行拟合并预测用户选择的错误率,实验结果表明,能够很好地拟合且预测值也与真实值接近;实验2将模型对用户意图的理解拓展为一种辅助运动目标选择技术ICOMPointer,通过在具体的游戏场景中与Windows原本的选择技术及两种现有的增强目标选择技术对比,发现使用ICOMPointer选中目标的平均完成时间更短,完成速度更快.ICOM^DT模型的提出对计算机理解用户意图,提高用户与动态任务的交互效率有着重要意义.     

Online continual learning for human activity recognition

Sensor-based human activity recognition (HAR), with the ability to recognise human activities from wearable or embedded sensors, has been playing an important role in many applications including personal health monitoring, smart home, and manufacturing. The real-world, long-term deployment of these HAR systems drives a critical research question: how to evolve the HAR model automatically over time to accommodate changes in an environment or activity patterns. This paper presents an online continual learning (OCL) scenario for HAR, where sensor data arrives in a streaming manner which contains unlabelled samples from already learnt activities or new activities. We propose a technique, OCL-HAR, making a real-time prediction on the streaming sensor data while at the same time discovering and learning new activities. We have empirically evaluated OCL-HAR on four third-party, publicly available HAR datasets. Our results have shown that this OCL scenario is challenging to state-of-the-art continual learning techniques that have significantly underperformed. Our technique OCL-HAR has consistently outperformed them in all experiment setups, leading up to 0.17 and 0.23 improvements in micro and macro F1 scores.     

: towards the modeling, design, control and execution of ETL processes

Extraction-Transformation-loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. Literature and personal experience have guided us to conclude that the problems concerning the ETL tools are primarily problems of complexity, usability and price. To deal with these problems we provide a uniform metamodel for ETL processes, covering the aspects of data warehouse architecture, activity modeling, contingency treatment and quality management. The ETL tool we have developed, namely , is capable of modeling and executing practical ETL scenarios by providing explicit primitives for the capturing of common tasks. provides three ways to describe an ETL scenario: a graphical point-and-click front end and two declarative languages: XADL (an XML variant), which is more verbose and easy to read and SADL (an SQL-like language) which has a quite compact syntax and is, thus, easier for authoring.     

: towards the modeling, design, control and execution of ETL processes

Extraction-Transformation-loading (ETL) tools are pieces of software responsible for the extraction of data from several sources, their cleansing, customization and insertion into a data warehouse. Literature and personal experience have guided us to conclude that the problems concerning the ETL tools are primarily problems of complexity, usability and price. To deal with these problems we provide a uniform metamodel for ETL processes, covering the aspects of data warehouse architecture, activity modeling, contingency treatment and quality management. The ETL tool we have developed, namely , is capable of modeling and executing practical ETL scenarios by providing explicit primitives for the capturing of common tasks. provides three ways to describe an ETL scenario: a graphical point-and-click front end and two declarative languages: XADL (an XML variant), which is more verbose and easy to read and SADL (an SQL-like language) which has a quite compact syntax and is, thus, easier for authoring.     

CAD系统的多任务模型

本文以实际系统为背景，利用Ｐｅｔｒｉ网建立分析ＣＡＤ系统的多任务模型。我们从最基本Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ的调用模型出发，按调用关系扩展了两类多任务模型；有环模型和无环模型，并利用面向对象的观点提出了建构实用系数模型的模块化构造方法，同时还给出了一个简单的差错处理模型。     

Building an e-Portfolio with a learning plan centric approach

A portfolio records achievements in the personal growth process.A personal development e-Portfolio assists an individual in planning his/her development path and reflecting upon his/her own learning.In this article,we propose an approach to constructing a personal development portfolio.An abstract information model is presented to support such a portfolio.The information model is proposed based upon and according to IMS standards.The use of this approach is illustrated by way of a prototype e-Portfolio system.The usage scenario and limitations of such a portfolio are also discussed.     

The effects of joint angle variability and different driving load scenarios on maximum muscle activity – A driving posture simulation study

To date, no studies have been conducted on the main and interaction effects of joint angles on maximum muscle activity in different driving load scenarios. To investigate the influence of joint angle variability on the muscular system, this study calculated maximum muscle activity during three static driving load scenarios through the use of musculoskeletal inverse dynamic simulation. Six joint angles in sagittal plane were varied with reference to reported driving posture angles in the literature. A digital manikin with a height of 180 cm and weight of 70 kg was used with simple muscles and a minimum fatigue criterion for muscle activation optimization. Three static driving load scenarios were simulated: sitting with no external forces except gravity, steering, and pedaling operation. Prediction models were developed for each driving load scenario using Least Squares Support Vector Machine. Finally, the Pareto optimization method was applied for multi-objective optimization combining the three developed models.The results indicate that the developed models can be used for the prediction of simulated maximum muscle activity. The six joint angles explain a higher percentage of maximum muscle activity variance in the steering and pedaling operation scenarios compared to the sitting scenario. The six joint angles differ in their main and interaction effects on maximum muscle activity depending on the driving load scenario. The optimum joint angle values of the driving posture depend on the driving load scenarios. The different driving postures based on minimum maximum muscle activity are presented for the three driving load scenarios.Relevance to industryThe results of this study can be utilized in establishing driving posture simulation models to improve vehicle interiors during the early development stage. Furthermore, the results of this study can provide base data for the development of a tool for real driving posture evaluation of maximum muscle activity.     

基于混合输入的场景设计工具

笔式用户界面作为Post-WIMP界面中的一种，以触控技术为依托，摒弃了物理键盘和鼠标，在一定程度上改变了人机交互的方式.草图绘制和识别软件不断涌现，但是却一直没有成熟的笔式界面设计开发工具.基于PGIS交互范式，利用场景设计方法，开发了基于笔式交互原语的图形和草图混合输入的场景设计工具SDT.首先，基于软件工程领域的高内聚低耦合原则提出了"分离-融合"设计方法，并据此提出了系统的总体架构；其次，从界面形式化描述、笔式交互原语和单字符、混合输入这3个方面介绍了关键技术；再次，通过一个完整示例对该工具进行了更具体的展示，同时佐证了该系统的可用性和可行性；最后，通过两个评估实验，验证了该工具的先进性和有效性.     

UMLTGF:一个基于灰盒方法从UML活动图生成测试用例的工具

UML已经成为建模语言的事实标准，如何从UML分析设计模型生成测试用例也为面向对象软件测试带来了新的挑战．为了从UML设计模型中的活动图直接生成测试用例，给出了UML活动图的形式化定义和灰盒测试方法．该方法首先分析UML活动图上的所有执行路径（每条路径称为一个测试场景），然后根据测试场景中的节点和转换所代表的活动及其输入／输出变量、相关约束条件等生成测试用例．并根据该方法实现了一个自动生成测试用例的工具UMLTGF，它可以从Rational Rose的规约文件中提取活动图信息并生成相应的测试用例．该工具能够提高软件测试的效率，降低测试成本．