支持用户界面自动生成的界面模型

为实现软件用户界面的工程设计,论文提出了一种支持用户界面自动生成的界面模型FMP。它利用功能模型(F)和对象模型(M)捕捉与界面相关的功能和数据信息,用交互模型(M)表达这些信息和控制关系。然后依据交互模型的描述,利用表示模型(P)建立内部对象和外部显示元素的对应关系,规划界面布局,从而指导实现用户界面的自动生成。     

Web用户界面自动生成系统中的界面模板

用户界面是交互式系统的重要组成部分.但是现有的界面开发模型都没有太多考虑Web环境对用户界面模型表达的特殊要求.结合Web软件用户界面的特点,拓展了FMP界面模型的界面模板;提出了基于界面模板的界面表示模型的4层结构.界面模板描述了以交互对象为基本元素的界面宏观布局和关系,以支持高质量的Web应用界面代码的自动生成.     

基于信息导航的三维用户界面动态构建方法

针对三维用户界面对非几何信息表达、交互研究不足的问题,在对界面导航进行研究的基础上,提出了一种基于信息导航的三维用户界面动态构建方法UIDCM。首先,总结了三维界面中的信息导航模型。然后针对导航模型以及复杂信息的表达需求,提出了三维用户界面动态构建方法,并利用此方法实现信息表达、导航交互、命令响应等三维界面功能。最后,利用光学跟踪工具作为三维人机交互手段,搭建了三维用户界面原型系统,并以飞机研制任务信息为实例进行了系统验证。实验表明,UIDCM方法对于三维空间下的信息获取、导航与交互能够提供一种有效的解决方案。     

支持Web软件用户界面自动生成的交互模型

讨论了Web软件用户界面的特点，提出了适应这些特点的界面交互模型；该模型用图形化的方式表达用户与软件界面之间的交互任务，并定义这些任务与相应域对象之间的关联；该模型支持Web应用界面代码的自动生成。     

基于界面模板的界面表示模型

介绍了一种新的表示模型——基于界面模板的表示模型。表示模型全面描述用户界面的外观，而界面模板描述以交互对象为基本元素的界面宏观布局和关系。基于界面模板的表示模型可以提高界面宏观布局的合理性，提高表示模型的表达能力和控制能力，满足自动生成高质量用户界面的需要。     

支持界面生成的扩展对象模型和交互模型

基于模型的用户界面分析和表达是实现界面工程设计的出路所在。FMP是一个涵盖需求、结构和实现的界面模型。该文重点讨论了FMP的内在模型Model部分和对界面实现的作用。指出内在模型由参与界面操作的扩充对象模型和它们的交互模型构成。对象模型给出了界面的局部布局。交互模型给出了界面的功能和对象构成以及它们之间的交互关系,在界面模板的支持下,可以给出界面的宏观布局并支持界面的自动生成。     

笔式用户界面交互信息模型研究

笔式用户界面是Post-WIMP界面的重要形态,在许多领域得到广泛应用.笔式界面设计需要设计者和用户的共同参与.捕获用户使用意图是设计笔式用户界面的前提,连接交互信息的表示与控制则是成功构造界面的关键.依据笔式交互信息连续性及模糊性特征,从设计参与者与交互信息管理两个维度建立了笔式用户界面交互信息模型OICM(orthogonal interaction information architecture coordinate model).从问题知识域、交互任务、规则集合以及上下文关联4个不同的象限对模型进行了详细的描述,并给出了基于XML的实现方法.在对模型进行分析后,介绍了基于OICM模型的开发平台和应用系统实例.     

智能文档操作界面的UIML描述方法

从智能文档的概念产生开始到现在,出现了不同的相关产品和研究成果,但是它们在灵活性、可重用性、跨平台等方面存在缺陷。针对这些问题,建立了基于UIML的智能文档模型,模型采用MVC架构,应用用户界面描述语言UIML描述智能文档的操作界面。解析器解析UIML文档,获得界面控件信息及事件响应,并生成动态操作界面。基于模型,建立了一个原型系统,对系统进行了用例测试,测试结果验证了模型的可行性和正确性。     

一种基于模式的界面生成方法

多设备环境下,应用程序在不同设备上用户界面的差异性导致了界面设计工作的重复和困难.应用界面模式,开发者可以脱离使用繁琐的底层控件生成用户界面的开发方法,专注于宏观的交互方案,从而为多设备界面生成问题提供一个可能的解.基于PLML,本文设计了一个设备无关的界面模式描述语言SPLML用于表示基于模式的界面元素信息,实现了不同平台上的界面模式生成框架UIPF用于支持界面自动化生成,并通过具体案例说明了该方案的可行性和有效性.     

一种支持访问控制的用户界面设计模型*

针对传统界面设计方法不能很好地支持多用户访问控制建模的缺点,提出一个面向多用户访问控制的用户界面ACUI（access control user interface）模型。该模型在传统界面设计模型的基础上,引入了RBAC（role based access control）机制,通过对用户模型中的角色及用例进行形式化分析,并根据内部模型中描述的界面构成元素及其交互关系,在用户界面模型中给出了针对不同角色的界面展示规则和界面布局树,最终实现了界面代码的自动生成。实验证明,该模型能很好地指导多用户权限访问控制     

Understanding and Generating Ultrasound Image Description

To understand the content of ultrasound images more conveniently and more quickly, in this paper, we propose a coarse-to-fine ultrasound image captioning ensemble model, which can automatically generate the annotation text that is composed of relevant n-grams to describe the disease information in the ultrasound images. First, the organs in the ultrasound images are detected by the coarse classification model. Second, the ultrasound images are encoded by the corresponding fine-grained classification model according to the organ labels. Finally, we input the encoding vectors to the language generation model, and the language generation model generates automatically annotation text to describe the disease information in the ultrasound images. In our experiments, the encoding model can obtain the high accuracy rate in the ultrasound image recognition. And the language generation model can automatically generate high-quality annotation text. In practical applications, the coarse-to-fine ultrasound image captioning ensemble model can help patients and doctors obtain the well understanding of the contents of ultrasound images.     

基于多尺度与注意力特征增强的遥感图像描述生成方法

遥感图像描述生成是同时涉及计算机视觉和自然语言处理领域的热门研究话题,其主要工作是对于给定的图像自动地生成一个对该图像的描述语句。文中提出了一种基于多尺度与注意力特征增强的遥感图像描述生成方法,该方法通过软注意力机制实现生成单词与图像特征之间的对齐关系。此外,针对遥感图像分辨率较高、目标尺度变化较大的特点,还提出了一种基于金字塔池化和通道注意力机制的特征提取网络(Pyramid Pool and Channel Attention Network,PCAN),用于捕获遥感图像多尺度以及局部跨通道交互信息。将该模型提取到的图像特征作为描述生成阶段软注意力机制的输入,通过计算得到上下文信息,然后将该上下文信息输入至LSTM网络中,得到最终的输出序列。在RSICD与MSCOCO数据集上对PCAN及软注意力机制进行有效性实验,结果表明,PCAN及软注意力机制的加入能够提升生成语句的质量,实现单词与图像特征之间的对齐。通过对软注意力机制的可视化分析,提高了模型结果的可信度。此外,在语义分割数据集上进行实验,结果表明所提PCAN对于语义分割任务同样具有有效性。     

Sensory interactive robot trajectory control using a real-time world model

A major consideration in the design of sensory interactive trajectory generation software for a Flight Telerobotic Servicer (FTS) is the availability and maintenance of a current model of the manipulator's world. The NASA/NBS Standard Reference Model for Telerobot Control System Architecture (NASREM), which has been adopted by NASA for control of the FTS, provides a logical computing architecture for telerobotics. It defines a hierarchical control system in which complex tasks are decomposed into progressively simpler subtasks, or objectives. It contains a hierarchy of world modeling modules which maintain the system's internal model of the manipulator and its world by continuously updating the model based upon sensory data. Each world modeling module contains support processes or functions which simultaneously and asynchronously support sensory processing and task decomposition. This paper discusses the role of world modeling in support of trajectory generation and execution. For sensory interactive robot motion control, the world modeling modules must operate rapidly so that the model of the world remains in registration with the real world.This paper discusses the world modeling modules of a hierarchical control system which facilitate sensory interactive trajectories by decoupling and supporting the sensory and manipulator planning processes. We define the types of information which should be included in the interfaces to the modules, as well as the modules' structure and function. Finally, we discuss the real-time implementation and experimental results of a particular sensory interactive algorithm performed in our laboratory.     

一种模型驱动的交互式信息可视化开发方法

设计与实现面向领域应用的交互式信息可视化软件十分困难.缺乏统一的开发方法与支撑工具箱,为非专家用户提供对层次、网络、多维等数据类型的统一支持,对各种可视化技术与交互技术的统一支持,以及对信息可视化任务的统一支持针对此问题,提出了一种模型驱动的交互式信息可视化开发方法Daisy.首先,提出了交互式信息可视化界面模型IIVM(interactive information visualization interface model);然后,提出了基于IIVM的交互式信息可视化开发方法Daisy,讨论了该方法的两个核心技术:IIVM建模与描述文件生成方法、系统自动生成方法.同时。给出了Daisy工具箱,包括Daisy建模工具、Daisy系统自动生成工具以及运行时框架与组件库.最后,给出了该开发方法与工具箱的应用实例.实例表明,该方法能够为交互式信息可视化开发的统一支撑方法问题提供一种有效的解决方案.     

基于对象关系网状转换器的图像描述模型

针对图像描述生成模型缺乏空间关系信息且图像特征利用不充分的问题,结合对象关系网状转换器,提出一种改进的图像描述模型。利用Faster R-CNN提取图像的外观和边界框特征,并将提取的特征输入到改进的转换器中经过编解码生成图像描述。通过将对象外观和边界框特征合并为关系特征的方式对编码器自我注意力层的注意力权值进行改进,以强化目标间的关联性。将编码器和解码器的连接设计为网状结构,从而充分利用图像特征。实验结果表明,与基于单一注意力的Top-down基线模型相比,该模型的BLUE@1和CIDEr评价指标值分别提高了7.6和3.7个百分点,显著提升了描述语句的准确性。     

基于事件—条件模式的PLC任务描述

介绍了基于事件－条件模式的ＰＬＣ任务描述方法：采用控制任务表（ＣＴＴ：Ｃｏｎｔｒｏｌ Ｔａｓｋ Ｔａｂｌｅ）描述ＰＬＣ控制任务。ＣＴＴ是一种面向控制对象、人－机交互式程序设计方法,方便而直观;ＣＴＴ与目标ＰＬＣ无关,用户选定模型库中ＰＬＣ模型后便可自动将ＣＴＴ转换成目标代码,因而具有很强的通用性,且摆脱了代码调试的麻烦;ＣＴＴ的事件－条件模式的运用网论,进行离线实时图形仿真提供了良好的基础。     

Dynamic highlight line generation for locally deforming NURBS surfaces

The highlight line model is a powerful tool in assessing the quality of a surface. Efficient highlight line generation is especially important for an interactive design environment. In this paper, a method for dynamic generation of highlight lines on a locally deforming NURBS surface is presented. The method generates frames of the deforming surface and the corresponding highlight lines by directly modifying the current highlight lines using a Taylor expansion technique, instead of going through a tracing process. The highlight lines computation process adopted here enables a unified distance surface to generate all highlight lines in the highlight line family. The computation process is facilitated by looking up pre-calculated information of the tessellation mesh and an indexing technique for the distance surface. The indexing technique is presented to determine when the highlight line model should be re-generated and, to facilitate the highlight line re-generation process. The new technique is suitable for interactive design environments and animation applications as the updating process takes only one subtraction and one vector inner product to get the new parameters for each new node.     

业务模型的描述语言

提出引入面向对象方法解决业务模型存在的问题，并讨论了如何借用UML中的建模元素描述业务模型中的基础设施、协同、信息和行为模型。