网上商店涉及的工程心理学因素

网上商店的信息环境,是指消费者为完成购物及相关任务而直接接触的"购物环境".由于网上购物是一种Web应用,因此网上购物信息环境也是一种Web环境.目前关于Web环境中人-机交互及界面设计的研究,相对于其发展的需求来说是很贫乏的,因此,关于用户界面设计的知识,如菜单系统和超文本,以及对信息提取的研究,对我们设计Web上的购物界面仍有一定帮助.     

AJAX技术在网上购物系统中的研究与应用

AJAX是新出现的Web客户端构建技术,它面向异步消息通讯机制,利用它可以构建动态、快速、灵活的Web应用程序。分析了AJAX的技术及工作原理,提出了利用Ajax技术优化Web异步交互的方法,最后通过一个网上购物系统的例子说明了Ajax技术在Web异步交互方面的优越性。     

基于Struts框架的网上购物系统设计与实现

简要阐述Struts框架的内容和功能。介绍了基于Struts的网上购物系统的设计过程,对购物车的实现和购物流程进行了研究。设计结果表明该系统稳定可靠,是今后Web发展的一个方向。     

运载火箭试验数据管理及可视化系统设计

针对现有运载火箭试验数据管理及可视化系统依赖于第三方功能插件,未实现纯浏览器端三维模型渲染及交互,系统对运行环境依赖性强、部署和维护成本高等问题,设计了基于JavaScript框架ExtJS和WebGL框架three.js的运载火箭试验数据管理及可视化系统;首先基于B/S架构设计了系统总体框架,然后针对二维图形数据传输延迟问题设计了基于Web Worker的数据读取方案,最后针对浏览器端三维模型渲染需求提出了基于VTK模型的转换算法,设计了三维模型渲染及交互方案;试验结果显示,该系统不依赖于运行环境和功能插件,能实现浏览器端二维图形和三维模型渲染及流畅交互,为兼容国产化操作系统、降低部署和维护成本创造了条件。     

基于ARM9和Linux的嵌入式动态Web技术设计与实现

给出了一种嵌入式动态Web技术的设计方案.该方案对基于ARM9和Linux的嵌入式Web Server系统的软硬件体系结构进行了详细的阐述,实现了嵌入式动态Web技术.既可在Windows或Linux操作系统下通过浏览器与嵌入式系统进行动态网页交互,也可将开源的浏览器(如:Dillo、Netbit等)移植到嵌入式系统中,从而实现嵌入式系统与Internet的动态交互.在此设计基础上,可轻松实现基于B/S结构的嵌入式智能控制技术.     

图书电子商务网站的设计与实现

阐述基于ASP.NET技术构建一个实现网上购物的图书电子商务网站,并详细分析了系统的功能需求,及主要功能模块的设计与实现方法。该系统将Web技术和数据库技术很好地融合在一起,使数据库成为Web的重要组成部分,实现了数据库技术和网络技术的有机结合。     

基于.NET架构的购物网站的设计和实现

网上购物系统的建设为各零售企业提供信息化管理方式。本购物系统基于微软的.NET2.0开发平台,利用ASP.NET、ADO.NET并结合SQLServer2005开发,采用B/S的三层体系结构,实现以浏览器为基础的网上购物系统,突破时间和空间及人为条件的限制,从而提高了交易效率。它主要包括三部分:商业街后台管理,企业后台管理和前台。     

基于图像的图形绘制技术的应用

本文对基于图像的图形绘制技术的特点及理论基础进行了简要介绍，并采用柱面全景图的方法设计、实现了一个基于图像的图形绘制技术的应用系统。该系统提供了全景图生成工具，能自动生成给定视点的全景图；采用独到的加速算法，满足了人－机交互所要求的实时性；采用ACTIVEX控件形式封装整个系统，与Internet浏览器相结合，增加了全景图浏览器的网络功能，实用了在Internet网上进行虚拟环境漫游的功能。     

电子沙盘应用的多通道交互系统设计与实现

多通道交互技术是人机交互研究领域的一个重要方面。将多通道交互技术应用于电子沙盘中,为指挥人员提供自然、高效的交互方式,必将大大提高指挥人员的指挥效率。文中采用模块化的思想描述以电子沙盘为平台的多通道交互系统架构,重点阐述了任务分析验证和多通道整合方法。其中任务分析与验证主要实现基于原子操作的交互任务模板构建和操作安全验证;多通道整合则基于任务模板最优匹配方法实现桌面协作机制。并基于上述设计实现了一个态势研讨原型系统。     

基于Internet的多通道用户界面

该文以作者承担的国家自然科学基金项目“基于互联网多通道用户界面的研究”为背景,总结了已完成的部分工作。文中介绍了作者提出的网络多通道界面模型、语音和指点相结合的基于上下文的查询、基于主通道的整合策略,并将受限的自然语言（汉语）理解技术应用于多通道交互中。文章给出了两个实例：汉语语音驱动的多通道文件管理器和网上购物多通道界面的ActiveX控件。结果表明,以上技术有助于提高人机交互的自然性和效率。     

手持移动设备中多通道交互的通用开发框架

提出的多通道交互通用开发框架可以快速地开发出支持多通道交互的应用,也可以将已经存在的应用快速更改为多通道交互应用;基于此理论,设计和实现了一种支持手写笔和语音输入的多通道家电开关控制系统.具体地阐明了实际开发中应该重点注意的环节,希望能够对当前手持移动设备的多通道交互化有所借鉴.     

Extending multimedia languages to support multimodal user interactions

Historically, the Multimedia community research has focused on output modalities, through studies on timing and multimedia processing. The Multimodal Interaction community, on the other hand, has focused on user-generated modalities, through studies on Multimodal User Interfaces (MUI). In this paper, aiming to assist the development of multimedia applications with MUIs, we propose the integration of concepts from those two communities in a unique high-level programming framework. The framework integrates user modalities —both user-generated (e.g., speech, gestures) and user-consumed (e.g., audiovisual, haptic)— in declarative programming languages for the specification of interactive multimedia applications. To illustrate our approach, we instantiate the framework in the NCL (Nested Context Language) multimedia language. NCL is the declarative language for developing interactive applications for Brazilian Digital TV and an ITU-T Recommendation for IPTV services. To help evaluate our approach, we discuss a usage scenario and implement it as an NCL application extended with the proposed multimodal features. Also, we compare the expressiveness of the multimodal NCL against existing multimedia and multimodal languages, for both input and output modalities.

     

任务制导的多通道分层整合模型及其算法

多通道整合是多通道交互系统的核心,旨在对来自不同通道的信息进行合一化处理,最终向计算机正确传达用户意图。围绕多通道整合问题,通过分析多通道输入信息流的特点,提出了一种任务制导的、分层的整合模型及相应算法,改变了通道间输入信息对时间的依赖方式,使人机交互更为自然和高效,该整合机制与宿主系统及交互设备无关,具有良好的通用性。     

多模态信息处理前沿综述:应用、融合和预训练

随着视觉、听觉、语言等单模态人工智能技术的突破,让计算机拥有更接近人类理解多模态信息的能力受到研究者们的广泛关注。另一方面,随着图文社交、短视频、视频会议、直播和虚拟数字人等应用的涌现,对多模态信息处理技术提出了更高要求,同时也给多模态研究提供了海量的数据和丰富的应用场景。该文首先介绍了近期自然语言处理领域关注度较高的多模态应用,并从单模态的特征表示、多模态的特征融合阶段、融合模型的网络结构、未对齐模态和模态缺失下的多模态融合等角度综述了主流的多模态融合方法,同时也综合分析了视觉-语言跨模态预训练模型的最新进展。     

基于关键词捕捉的中文语音网页浏览器

基于关键词捕捉技术的中文语音网页浏览器,除了提供传统网页浏览器的功能外,还提供了中文语音浏览的功能。语音网页浏览器综合运用了计算机网络、中文关键词捕捉、连续语音识别、端点检测、文本分析等技术,采用中文语音作为输入手段,在用户读出网页中包含的链接关键词后,对语音段进行关键词捕捉,根据结果连接到相应的网页,达到不用鼠标、只用“看和说”即可进行网页浏览的目的。采用关键词捕捉技术的语音网页浏览器具有操作简便、抗噪性能好、识别率高的特点。     

虚拟城市规划中的多通道整合

将多通道交互用于虚拟环境,研究自然和谐的交互方式已经成为虚拟现实的一个重要研究方向.文中以城市规划为应用背景,融合跟踪器、语音和笔输入,提出概率合一的任务制导多通道整合,并辅以上下文语义;以此为基础,有针对性地设计了多通道交互技术,并依据多通道交互的特性分别进行阐述,实现了自然、高效的多通道虚拟城市规划.     

多模态深度学习综述

模态是指人接收信息的方式,包括听觉、视觉、嗅觉、触觉等多种方式。多模态学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示。多模态学习的目的是建立能够处理和关联来自多种模式信息的模型,它是一个充满活力的多学科领域,具有日益重要和巨大的潜力。目前比较热门的研究方向是图像、视频、音频、文本之间的多模态学习。着重介绍了多模态在视听语音识别、图文情感分析、协同标注等实际层面的应用,以及在匹配和分类、对齐表示学习等核心层面的应用,并针对多模态学习的核心问题：匹配和分类、对齐表示学习方面给出了说明。对多模态学习中常用的数据集进行了介绍,并展望了未来多模态学习的发展趋势。     

多模态情感识别研究进展*

情感识别研究热点正从单模态转移到多模态。针对多模态情感特征提取与融合的技术难点,本文列举了目前应用较广的多模态情感识别数据库,介绍了面部表情和语音情感这两个模态的特征提取技术,重点阐述了多模态情感融合识别技术,主要对多模态情感特征融合策略和融合方法进行了综述,对不同算法下的识别效果进行了对比。最后,对多模态情感识别研究中存在的问题进行了探讨,并对未来的研究方向进行了展望。     

The Neem Platform: An Evolvable Framework for Perceptual Collaborative Applications

This paper introduces the Neem Platform, a generic research test bed for the development of a novel class of adaptive intelligent collaborative applications. These applications provide support for groups of people working together by facilitating their communication and by reacting adaptively to the perceived contexts of an ongoing interaction. Applications in Neem explore the multimodal context of mostly human-to-human communication, by “overhearing” conversations, monitoring user actions and reacting to perceived opportunities for augmentation via intelligent system interventions.The Neem Platform is designed to facilitate the integration of functionality for capture and reification of user communicative actions over a variety of modalities (e.g. speech, text, gestures), as well as facilitate analysis and reasoning based on this reified context. The platform promotes an exploratory and evolutionary style of development by affording rapid development of components, enactment of human-controlled real-time (Wizard of Oz) experiments, and remote collection of data for off-line analysis of interactions.This paper contributes the presentation of a novel coordination mechanism and shows how this underlying mechanism can be used to implement systems that support intelligent reaction to multimodal group interactions.This work was developed at the University of Colorado at Boulder.