认知无人机–环境系统的防碰撞稳定性

借鉴人在复杂动态环境中的自主防碰撞行为,可以构建具有认知防碰撞能力的无人机.针对认知防碰撞决策的有效性问题,将认知无人机与环境的动态交互过程作为整体,通过分析认知无人机-环境系统状态的运动模式,基于混合时间集建立了认知无人机-环境系统的脉冲微分包含(IDI)模型.按照认知无人机防碰撞过程的IDI运行机理,将系统状态空间划分为三类运行域,建立了认知无人机-环境系统的防碰撞稳定性定义,进而运用IDI理论,导出了使认知无人机-环境系统防碰撞稳定的充要条件.仿真实验结果表明,导出的防碰撞稳定条件可以为无人机认知防碰撞决策的有效性提供依据.     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用. 在RGB图像的手势识别与交互过程中, 一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低, 另一方面用户对交互手势的认知与设计师设计的手势有差异, 导致用户交互体验反馈较差. 针对这两个问题我们进行了系统性的优化: 首先把用户的认知与交互手势设计原则联系起来建立手势共识集; 其次进行手势图像的色彩平衡处理, 利用椭圆肤色模型分割手势区域; 然后将二值化手势图像输入到MobileNet-V2轻量化卷积神经网络进行手势识别率的计算. 手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计, 减少用户在实际交互过程中的认知偏差, 提高交互系统的可用性和效率.     

基于.NET的认知功能测验系统的设计与实现

阐述认知功能测验系统的总体架构、关键技术、系统功能和系统应用.系统基于微软.NET 2.0平台,采用三层体系结构,并使用MVC模式进行框架设计.使用XML文档作为不同设备上的交互媒介,可部署在桌面计算机和智能手持移动设备上,与已有的同类型测试系统相比,具有更好的可扩展性及实用性.     

认知灵活性理论指导下的网络教学交互设计

本文首先介绍了认知灵活性理论的涵义及其关于学习和教学的观点;探讨了认知灵活性理论对开展网络教学交互设计的启发性意义;从"人-机"交互和"人-人"交互两个方面,探究了认知灵活性理论柏导下的网络教学系统中的交互设计。     

基于笔式交互的农产品信息采集系统的研究与设计

在传统的农产品信息采集与发布过程中用户通常只能使用人工采集,之后二次录入计算机的方式,造成了资源的浪费;采用基于WIMP交互范式的界面软件分散了用户的注意力,给用户带来认知负担。针对此问题,本文基于笔式交互技术中的PGIS交互范式,结合笔式电子表单技术设计并实现农产品信息采集与发布系统。该系统有效地结合了笔交互自然、高效的特点和计算机强大的处理能力,具有较好的应用前景。     

交互设计中的软硬界面设计

随着体验时代的到来,以用户为中心的交互设计逐渐受到重视。作为人与产品互相传递信息的唯一媒介,界面设计在交互设计中起到重要作用。界面设计分为硬界面设计、软界面设计及软硬界面协同设计。文章讨论了软硬界面设计在交互设计中的意义,从几方面浅析交互设计中如何进行软硬界面设计,最后探讨了交互设计中软硬界面设计的发展方向。     

中国民俗节日文化在数字交互产品设计中的应用研究

文章分析了中国民俗节日的现状,阐述了民俗节日文化的主要艺术表现形式和主要功能,以及数字交互产品的概念。探讨分析了数字交互产品的形式,以及中国民俗节日文化在数字交互产品设计中的应用;提出了通过数字交互产品改善人与人、物、文化之间的交流、体验和认知方式。     

基于交互式可视组件的分析决策环境研究

针对人类分析决策活动的分步骤、交互化特点,基于认知心理学相关理论研究了分析决策过程中的人机协同工作模型,提出了基于交互式可视组件的分析决策交互任务框架,建立了交互式可视组件的统一描述,研究了交互式可视组件的实现技术,包括运行过程中信息可视化技术、交互技术和配置过程中的交互历史复用技术等,构建了一个交互式可视组件的分析决...     

用户认知驱动的VR自然交互认知负荷研究

针对目前虚拟现实自然交互系统中用户认知负荷难以量化问题,以量化认知负荷为目的,提出一种基于概率神经网络的多通道信息融合模型。首先根据认知理论建立“认知—行为—环境”框架,并在此基础上研究用户认知的数学表征（方法,过程,机理）,构建多通道认知模型;然后将多通道信息融合方法引入虚拟现实自然交互系统,建立一种面向虚拟现实自然交互系统的认知负荷模型;通过VR隧道应急救援系统实验对系统中用户认知进行验证。验证结果表明,具体提出的认知负荷模型具有一定的可行性。     

虚拟环境的用户意图捕获

目的虚拟制造环境中需要复杂精确的3D人机交互。目前的虚拟环境(VE)的主要问题是人在交互过程中的认知和操作负荷太重,交互效率亟需提高。解决此问题的重要途径是提高机器的认知能力。方法本文研究了用户意图的分析和抽取,并建立多通道用户意图理解的算法,以此来提高交互效率。结果结合虚拟装配应用给出了典型意图的实验结果并给予分析。通过实验对多通道意图的可用性和可靠性,以及基于意图系统的实时性进行了评估。实验是虚拟装配空间中用户拾取对象意图的实验。当3维鼠标和对象距离为5 000 mm时,传统系统中操作平均耗时5.344 7 s,而基于意图的系统中平均耗时2.326 6 s。基于意图的系统极大地降低了操作的时间和复杂度。结论采用意图驱动的系统情景转换能在虚拟环境工作中有效地降低人的认知负荷,并能很好地帮助系统开发者进行混成系统的建模和分析,降低开发的复杂度。实践结果表明用户意图理解的多通道模型和算法能极大地提高交互式系统的交互自然性和交互效率。该方法不仅适用于本文所用的虚拟装配系统,对于所有的虚拟环境应用场景都有同样的有效性。     

Touchy feely vectors: A compensatory design approach to support model-based reasoning in developing country classrooms

Educational technology designs in developing countries mostly focus on making knowledge resources widely available, through MOOCs, repositories and computer-based tutoring. The use of digital media for cognitive augmentation, particularly interactive designs that help learners understand modelling topics in STEM, is underexplored. We report a 3-year design study examining this potential in the Indian context, testing two iterations of an interactive system, Touchy-Feely Vectors (TFV). The design supports learning vectors, a modelling topic pre-university students struggle with. Virtual lesson-plans were co-designed with teachers to augment — but not replace — their existing practices, and to address classroom and resource constraints. Pre-post testing of TFV-1 (a computer-based prototype) showed that it helped students develop a more integrated vector concept, and improved their reasoning. Field-implementation of TFV-2 (a textbook-linked touch-screen based design) in 6-classrooms (3-Control, N=135; 3-Experimental, N=131) showed that it fostered cognitive engagement in average-students and geometry-algebra integration (model-based reasoning) in good-students. These results, along with a requirements analysis based on textbooks, indicate that the interaction possibilities supported by different representational media critically shape student reasoning. The study also illustrates a systematic approach to design and test digital media systems that support cognitive augmentation in developing countries.     

印刷媒体互动设计

本文从印刷媒体互动设计出发,分析了印刷媒体互动设计的特征以及如何取得印刷媒体与互动设计的统一展开论述,通过探索互动设计的审美构思到具体的设计手法,提出互动设计是印刷媒体设计的发展趋势之一。     

An overlay multicast protocol for live streaming and delay-guaranteed interactive media

In many collaborative multimedia applications, there is often a requirement for simultaneously supporting live streaming and shareable interaction. A major challenge in designing such an application by overlay multicast is how to simultaneously provide scalable live streaming and delay-guaranteed interactive media. Live streaming by overlay multicast incurs additional application-layer latency, which conflicts with the delay-sensitive property of interactive media. To handle this dilemma, in this paper, we propose a layered degree-constrained overlay multicast protocol, which organizes the overlay multicast tree as a layered degree-constrained core tree and an extended tree. The core tree maintains available resources in its top layers for subsequent two-way interaction, whereas the extended tree expands the core tree for one-way live streaming. Our simulation and experimental results show that the proposed overlay multicast protocol can simultaneously provide delay-guaranteed interactive media as well as scalable live streaming.     

基于ACT-R模型的互联网交互模式库设计

论文以用户行为中心的交互设计理念,提出了基于AC T-R认知模型的新型交互模式库的组织方法,并给出相应的界面评估方法和界面效率。设计者可根据设计需求和关注点发掘交互模式,并参考模式对应的认知原则以及界面效率,对交互方案进行选择和优化。     

远程实训平台下实训互动功能的实现

为实现基于网络的互动教学,采用视频会议技术实现可实时交互的互动课堂和远程实验,使用流媒体播放技术实现视频资料的共享访问.经测试,远程实训平台系统运行稳定,各模块能紧密配合,协调工作,弥补了传统教学平台互动性不足的缺陷.提高了远程教学效率.     

数字媒体发布系统轻量级部署

与传统媒体传播相比,以数字信息技术为基础,以互动传播为特点、具有创新形态的新型媒体型态得到了快速发展。新媒体的特征具有交互性与即时性,海量性与共享性,多媒体与超文本,个性化与社群化,随着科技的飞速发展,新媒体越来越受到人们的关注。本文以数字媒体发布系统为例,介绍了新媒体系统的分布式轻量级部署,期望在媒体行业的数字化平台建设方面提供一些参考。     

虚拟服装展示系统的比较研究

虚拟服装展示是借助立体全息技术、互联网或数字互动大屏幕来展示人体或数字角色“穿上”虚拟服装后的动态视觉效果。随着数字媒体艺术、交互技术和立体显示技术的发展,虚拟服装展示系统被广泛用于立体时装设计、服装表演、娱乐秀、商场试衣以及电视广告等领域。本文分析比较了近年来国内外虚拟服装展示领域的技术发展,并归纳总结出当前虚拟服装展示的5种人机交互模式。作者认为：随着全息技术、体感交互、立体视觉和增强现实等智能环境技术的发展,以“私人订制”为代表的个性化、时尚化和智能化的虚拟试衣体验将成为未来人们服装购买体验中不可或缺的重要环节之一。     

Interactive Multimedia Documents: A Modeling,Authoring and Rendering Approach

In this paper we present our research and development experience in the context of Interactive Multimedia Documents (IMDs). We define a rich model for such documents covering the issues of interaction and spatiotemporal compositions as means of representing the functionality of an IMD. We exploit the event concept to represent interaction, while complex interactions are covered by a rich algebraic and spatiotemporal event composition scheme. Based on the model we implemented an authoring methodology. Thereafter we present a generic framework for rendering (presenting) IMDs putting emphasis to the handling of interaction and to the temporal synchronization of media objects. The rendering system is implemented as a client-server architecture using Java and accompanying technologies. The implementation is suitable for WWW enabled interactive multimedia documents.